Claude Haiku 3
Claude 3 Haiku — большая языковая модель компании Anthropic, младшая конфигурация трёхмодельного семейства Claude 3, положившая начало линейке Haiku, которая по данным разработчика обрабатывала около 21 тысячи токенов (около 30 страниц) в секунду при запросах до 32 тысяч токенов, принимала на вход текст и изображения и была ориентирована на высокоинтенсивные корпоративные задачи, чувствительные к задержкам. Модель была представлена 4 марта 2024 года в составе анонса семейства Claude 3, а публичный доступ к ней через API и сервис claude.ai для подписчиков Claude Pro открылся 13 марта 2024 года.
Характеристики
- Поколение: Claude 3, младшая конфигурация семейства (Haiku — Sonnet — Opus); первая модель линейки Haiku.
- Контекстное окно: 200 тыс. токенов; семейство Claude 3 поддерживает контекст как минимум до 1 млн токенов.
- Модальности: текст, изображения и кадры видео на входе, текст на выходе.
- Режим мышления: единый, без расширенного размышления.
- Выпуск: 4 марта 2024 года в составе анонса семейства; публичный доступ — 13 марта 2024 года.
- Технические характеристики — на сайте Anthropic.
История и разработка
Claude 3 Haiku была представлена 4 марта 2024 года в составе трёхуровневого семейства Claude 3 (Haiku — Sonnet — Opus), но, в отличие от старших конфигураций, вышедших в день анонса, её доступ открылся позже — 13 марта 2024 года. Anthropic характеризовала её как «самую быструю и самую экономичную модель на рынке для своей категории интеллекта»; в качестве демонстрации приводилось чтение насыщенной данными научной статьи с arXiv (~10 тысяч токенов, включая графики и диаграммы) менее чем за три секунды. Заявленный профиль применения — задачи, требующие немедленного отклика: живые клиентские чаты, автодополнение, извлечение данных[1].
В анонсе Anthropic оговаривала, что «после запуска рассчитывает ещё сильнее улучшить производительность» модели[2]. Модель оставалась в линейке API около двух лет — дольше всех конфигураций семейства Claude 3: 19 февраля 2026 года разработчики получили уведомление о предстоящем выводе из API, и 20 апреля 2026 года модель была выведена из эксплуатации; рекомендуемой заменой была указана Claude Haiku 4.5[3].
Оценка
Claude 3 Haiku — самая быстрая и дешёвая модель семейства Claude 3, выпущенная Anthropic в марте 2024 года; по данным модельной карточки, она выступает не хуже или лучше Claude 2 в большинстве чисто текстовых задач, тогда как Sonnet и Opus значительно её превосходят. Как и остальные модели семейства, Haiku 3 мультимодальна (ввод изображений и кадров видео, вывод только текста), порог знаний — август 2023 года; в продакшене предлагается контекстное окно 200K токенов, при этом модели семейства поддерживают контекст как минимум до 1M токенов (кривая потерь Haiku 3 на данных длиной до миллиона токенов — на графике карточки). Модель обучена на проприетарной смеси общедоступных интернет-данных (по август 2023 года), частных данных третьих сторон, данных платформ разметки и внутренних данных Anthropic; на пользовательских промптах и ответах не обучалась; в конституцию добавлен принцип уважения прав людей с инвалидностью (по исследованию Collective Constitutional AI).[4]
Если не указано иное, значения взяты из таблиц карточки; модели Claude 3 оценивались с chain-of-thought prompting; для GPQA из-за высокой дисперсии при T = 1 приводится среднее по 10 прогонам со случайным порядком вариантов ответа; числа GPT-4 и GPT-3.5 — из технического отчёта GPT-4 (если не оговорено иное), числа Gemini — из технических отчётов Gemini и Gemini 1.5; мультимодальные оценки — при T = 0. Сравниваемые модели: Claude Opus 3, Claude Sonnet 3, GPT-4, GPT-3.5, GPT-4V, Gemini 1.0 Ultra, Gemini 1.5 Pro, Gemini 1.0 Pro, а в многоязычных и длинноконтекстных оценках — Claude 2.1, Claude 2 и Claude Instant 1.2.[5]
Текстовые бенчмарки: рассуждение, математика, кодинг и ответы на вопросы (лучший результат по каждой конфигурации — жирным):
| Benchmark | Claude 3 Haiku | Claude Opus 3 | Claude Sonnet 3 | GPT-4 | GPT-3.5 | Gemini 1.0 Ultra | Gemini 1.5 Pro | Gemini 1.0 Pro |
|---|---|---|---|---|---|---|---|---|
| MMLU1 (5-shot / 5-shot CoT) | 75.2% 76.7% |
86.8% 88.2% |
79.0% 81.5% |
86.4% | 70.0% | 83.7% | 81.9% | 71.8% |
| MATH1 (4-shot / 0-shot / Maj@32, 4-shot) | 40.9% 38.9% 50.3% |
61% 60.1% 73.7% |
40.5% 43.1% 55.1% |
52.9% 42.5% |
34.1% | 53.2% | 58.5% | 32.6% |
| GSM8K1 | 88.9% | 95.0% | 92.3% | 92.0% | 57.1% | 94.4% | 91.7% | 86.5% |
| HumanEval1 (0-shot) | 75.9% | 84.9% | 73.0% | 67.0% | 48.1% | 74.4% | 71.9% | 67.7% |
| GPQA (Diamond)1 (0-shot CoT / Maj@32, 5-shot CoT) | 33.3% 40.1% |
50.4% 59.5% |
40.4% 46.3% |
35.7% | 28.1% | — | — | — |
| MGSM1 (8-shot / 0-shot) | 76.5% 75.1% |
90.5% 90.7% |
83.7% 83.5% |
74.5% | — | 79.0% | 88.7% | 63.5% |
| DROP1 (F1, 3-shot) | 78.4 | 83.1 | 78.9 | 80.9 | 64.1 | 82.4 | 78.9 | 74.1 |
| BIG-Bench-Hard1 (3-shot CoT) | 73.7% | 86.8% | 82.9% | 83.1% | 66.6% | 83.6% | 84.0% | 75.0% |
| ARC-Challenge1 (25-shot) | 89.2% | 96.4% | 93.2% | 96.3% | 85.2% | — | — | — |
| HellaSwag1 (10-shot) | 85.9% | 95.4% | 89.0% | 95.3% | 85.5% | 87.8% | 92.5% | 84.7% |
| PubMedQA1 (5-shot / 0-shot) | 76.0% 78.5% |
75.8% 74.9% |
78.3% 79.7% |
74.4% 75.2% |
60.2% 71.6% |
— | — | — |
| WinoGrande1 (5-shot) | 74.2% | 88.5% | 75.1% | 87.5% | — | — | — | — |
| RACE-H1 (5-shot) | 87.0% | 92.9% | 88.8% | — | — | — | — | — |
| APPS1 (0-shot) | 54.8% | 70.2% | 55.9% | — | — | — | — | — |
| MBPP1 (Pass@1) | 80.4% | 86.4% | 79.4% | — | — | — | — | — |
Стандартизированные тесты (лучший результат в строке — жирным):
| Test | Claude 3 Haiku | Claude Opus 3 | Claude Sonnet 3 | GPT-4 | GPT-3.5 |
|---|---|---|---|---|---|
| LSAT2 (5-shot CoT) | 156.3 | 161 | 158.3 | 163 | 149 |
| MBE2 (0-shot CoT) | 64% | 85% | 71% | 75.7% | 45.1% |
| AMC 82 (5-shot CoT, из 150) | 36/150 | 84/150 | 54/150 | — | — |
| AMC 102 (5-shot CoT, из 150) | 54/150 | 72/150 | 24/150 | 36/150 | 36/150 |
| AMC 122 (5-shot CoT, из 150) | 48/150 | 63/150 | 27/150 | 60/150 | 30/150 |
Мультимодальные оценки (лучший результат в строке — жирным):
| Benchmark | Claude 3 Haiku | Claude Opus 3 | Claude Sonnet 3 | GPT-4V | Gemini 1.0 Ultra | Gemini 1.5 Pro | Gemini 1.0 Pro |
|---|---|---|---|---|---|---|---|
| MMMU (val), overall3 | 50.2% | 59.4% | 53.1% | 56.8% | 59.4% | 58.5% | 47.9% |
| MMMU → Art & Design3 | 60.8% | 67.5% | 61.7% | 65.8% | 70.0% | — | — |
| MMMU → Business3 | 52.5% | 67.2% | 58.2% | 59.3% | 56.7% | — | — |
| MMMU → Science3 | 37.1% | 48.9% | 37.1% | 54.7% | 48.0% | — | — |
| MMMU → Health & Medicine3 | 52.3% | 61.1% | 57.1% | 64.7% | 67.3% | — | — |
| MMMU → Humanities & Social Science3 | 66.0% | 70.0% | 68.7% | 72.5% | 78.3% | — | — |
| MMMU → Technology & Engineering3 | 41.5% | 50.6% | 45.0% | 36.7% | 47.1% | — | — |
| DocVQA3 (test, ANLS) | 88.8% | 89.3% | 89.5% | 88.4% | 90.9% | 86.5% | 88.1% |
| MathVista3 (testmini, CoT) | 46.4% | 50.5% | 47.9% | 49.9% | 53% | 52.1% | 45.2% |
| AI2D3 (test) | 86.7% | 88.1% | 88.7% | 78.2% | 79.5% | 80.3% | 73.9% |
| ChartQA3 (test, relaxed accuracy, CoT) | 81.7% | 80.8% | 81.1% | 78.5% | 80.8% | 81.3% | 74.1% |
GPQA по наборам и методикам сэмплирования (лучший результат в строке — жирным):
| GPQA | Claude 3 Haiku | Claude Opus 3 | Claude Sonnet 3 | GPT-4 | GPT-3.5 |
|---|---|---|---|---|---|
| Diamond, 0-shot CoT4 | 33.3% | 50.4% | 40.4% | 35.7% | 28.1% |
| Diamond, 5-shot CoT4 | 36.4% | 53.3% | 42.9% | 38.8% | 29.6% |
| Diamond, Maj@32, 5-shot CoT4 | 40.1% | 59.5% | 46.3% | — | — |
| Main, 0-shot CoT4 | 35.2% | 49.1% | 38.5% | 39.5% | 28.9% |
| Main, 5-shot CoT4 | 36.4% | 50.2% | 39.1% | 39.7% | 28.0% |
| Extended Set, 0-shot CoT4 | 34.7% | 48.8% | 38.0% | 38.1% | 28.4% |
| Extended Set, 5-shot CoT4 | 35.5% | 49.2% | 39.3% | 38.7% | 28.2% |
Многоязычность и длинный контекст (лучший результат по каждой конфигурации — жирным):
| Evaluation | Claude 3 Haiku | Claude Opus 3 | Claude Sonnet 3 | Claude 2.1 | Claude 2 | Claude Instant 1.2 |
|---|---|---|---|---|---|---|
| Multilingual MMLU5 (5-shot) | 65.2% | 79.1% | 69.0% | 63.4% | 63.1% | 61.2% |
| QuALITY5 (1-shot / 0-shot) | 80.2% 79.4% |
90.5% 89.2% |
85.9% 84.9% |
85.5% 82.8% |
84.3% 80.5% |
79.3% 78.7% |
| Needle In A Haystack5 (все длины контекста / 200k) | 95.9% 91.9% |
99.4% 98.3% |
95.4% 91.4% |
94.5% 92.7% |
— | — |
Примечания к таблицам:
- Текстовые бенчмарки: Claude 3 оценивались с chain-of-thought prompting. GSM8K: конфигурации элиситации различаются — Claude 3 — 0-shot CoT, GPT-4 — SFT, 5-shot CoT, GPT-3.5 — 5-shot, Gemini 1.0 Ultra и 1.0 Pro — Maj1@32, Gemini 1.5 Pro — 11-shot. Числа GPT-4 на MATH (4-shot CoT), MGSM и BIG-Bench-Hard — из технического отчёта Gemini; для более новой версии GPT-4 исследователи сообщали более высокие результаты на MATH и HumanEval. MGSM приведён в конфигурациях 8-shot / 0-shot (0-shot — только для Claude); PubMedQA — 5-shot / 0-shot (числа GPT — из внешнего отчёта); DROP — F1 (3-shot); у Gemini на DROP — variable shots. Haiku 3 выше Sonnet 3 на HumanEval (75,9 % против 73,0 %), MATH 4-shot (40,9 % против 40,5 %) и MBPP (80,4 % против 79,4 %), но ниже на APPS (54,8 % против 55,9 %) и по остальным строкам уступает обоим старшим моделям.
- Стандартизированные тесты: LSAT — среднее масштабированных баллов по трём официальным практическим тестам (PT89–PT91, few-shot — PT92–PT93); MBE — официальный практический экзамен NCBE 2021; AMC — все 150 официальных задач AMC 2023 (по 50 из AMC 8, 10 и 12; для 10 и 12 — сеты A и B), ответы сэмплировались 5 раз при T = 1, итог — доля правильных × 150; баллы GPT — по экзаменам 2022 года (на AMC 10 указан лучший из результатов GPT-4 и GPT-4V). GRE в карточке приводится только для Opus (159 quantitative, 166 verbal, 5.0 writing при 2-shot) — Haiku не оценивалась.
- Мультимодальные оценки: сэмплирование при T = 0; MathVista (testmini) и ChartQA — с цепочкой рассуждений; для AI2D часть изображений апсемплировалась до 800 пикселей по длинной стороне (давало 3–4 п. п.); MMMU приведён в целом и по дисциплинам; числа GPT-4V — из системной карточки GPT-4V(ision), MMMU overall — из работы MMMU. В тексте карточки (раздел 5.3) для Haiku указано 80,6 % на AI2D, в сводной таблице — 86,7 % (расхождение источника); лучший в таблице на AI2D — Sonnet 3 (88,7 %; в тексте заявлено 89,2 % как state of the art). ChartQA — единственная строка таблицы, где Haiku 3 — лучшая (81,7 %).
- GPQA: высокая дисперсия при T = 1 — значения суть среднее по 10 прогонам со случайным порядком вариантов; Diamond — набор наивысшего качества (задачи, которые эксперты из других доменов не смогли решить за 30+ минут с полным доступом в интернет), Main и Extended Set — более широкие наборы; «few-shot»-результаты GPT соответствуют 5 примерам (подтверждено авторами бенчмарка); уровень graduate-экспертов на Diamond — 60–80 %. Haiku 3 ниже GPT-4 во всех приведённых конфигурациях и выше GPT-3.5 во всех.
- Многоязычность и длинный контекст: multilingual MMLU — 5-shot; QuALITY — вопросы к художественным текстам до ~10k слов (базовые модели — 55,4 %, люди — 93,5 %), 1-shot / 0-shot при T = 1; Needle In A Haystack — модифицированная оценка: случайная пара «игла-вопрос» из 30 вариантов, два стога документов (эссе Пола Грэма и смесь Википедии, юридических, финансовых и медицинских документов), до 200k токенов, 20 вариаций на комбинацию, прайминг «Here is the most relevant sentence in the documents». По QuALITY Haiku 3 — единственная модель семейства Claude 3 ниже Claude 2.1 (80,2 % / 79,4 % против 85,5 % / 82,8 %) и выше только Claude Instant 1.2; по NIAH Sonnet и Haiku обгоняют Claude 2.1 на контекстах короче 100k и примерно совпадают на более длинных (в среднем Haiku 95,9 % — выше Sonnet; на 200k — 91,9 % против 92,7 % у Claude 2.1).
- Жирным выделено лучшее значение по каждой позиции строки (каждая конфигурация сравнивается с той же конфигурацией прочих моделей); ничьи — без выделения (MMMU overall: Opus и Gemini 1.0 Ultra — по 59,4 %); «—» — данных нет; числа в таблицах — как в источнике.
В задачах длинного контекста Sonnet 3 и Haiku 3 выступают похоже: обе обгоняют Claude 2.1 на контекстах короче 100k токенов и примерно совпадают с ней на более длинных (до 200k), тогда как Opus 3 существенно лучше всех — в среднем 99,4 % recall, в том числе 98,3 % на 200k. Модели семейства поддерживают контекст минимум до 1M токенов, но на момент выпуска в продакшене предлагается только 200k. В визуальных задачах лучший результат Haiku 3 в сводной таблице — ChartQA (81,7 %, выше всех моделей строки); на AI2D значения Haiku — 80,6 % в тексте и 86,7 % в таблице, в обоих случаях ниже Sonnet и Opus.[6]
Поведенческое проектирование и безопасность. По оценкам отказов (Wildchat и XSTest; числа — на графиках карточки) модели Claude 3 нюансированнее поколений Claude 2: они распознают реальный вред, значительно реже некорректно отказывают на безобидных запросах и корректнее отказывают на токсичных; на XSTest доля некорректных отказов Opus упала с 35,1 % у Claude 2.1 до 9 %. В мультимодальном red-teaming доверия и безопасности приведены только данные Opus и Sonnet: Opus безвредно ответил на 370 из 378 (97,9 %), Sonnet — на 375 из 378 (99,2 %) провокационных запросов; результаты Haiku не приводятся. На BBQ (Bias Benchmark for QA; числа — на графике) Opus превосходит все модели семейства Claude 2 — наивысшая точность в disambiguated-контексте и наименьшее смещение в ambiguous; в оценке дискриминации Haiku 3 показывает сопоставимые или более низкие баллы, чем Claude Instant 1.2 (числа — на графике), а Opus и Sonnet — сопоставимые с Claude 2.1.[7]
Оценки катастрофических рисков по Responsible Scaling Policy проводились на пониженной к отказам версии крупнейшей модели семейства (Opus) с контекстом 200k — в нескольких раундах с улучшением элиситации, включая версию, близкую к релизной, с обучением на безвредности. Индикаторов катастрофического риска не обнаружено ни в одном из трёх доменов (биология, кибербезопасность, автономная репликация и адаптация): модель явно ниже порога ASL-3 — в ARA-оценках провалено минимум 3 из 5 задач, хотя зафиксированы частичный прогресс и прохождение упрощённой версии задачи по созданию копии API Anthropic (без регистрации ошибочного домена). На этом основании все модели Claude 3, включая Haiku, классифицированы и развёрнуты под стандартом ASL-2.[8]
Ссылки
- Introducing the next generation of Claude (March 4, 2024)
- The Claude 3 Model Family: Opus, Sonnet, Haiku (March 2024)
- Model system cards - Anthropic
См. также
Примечания
- ↑ Introducing the next generation of Claude. Anthropic. 4 марта 2024.
- ↑ Introducing the next generation of Claude. Anthropic. 4 марта 2024.
- ↑ Model deprecations. Claude Platform Docs.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 1–5.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 5–8, 16, 21–22, 35.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 7–8, 20–23.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 10–11, 26–28, 30–31.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 23–26.