Claude Haiku 3.5

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

Claude 3.5 Haiku — большая языковая модель компании Anthropic, вторая модель линейки Haiku, которая по данным разработчика при скорости, сопоставимой с предшественницей Claude 3 Haiku, превосходила по многим бенчмаркам интеллекта модель Claude 3 Opus, показала на бенчмарке программирования SWE-bench Verified результат 40,6% — выше исходной Claude 3.5 Sonnet и GPT-4o — и была выпущена без поддержки входа изображений, добавленной лишь 25 февраля 2025 года. Модель была анонсирована 22 октября 2024 года в одном сообщении с обновлённой версией Claude 3.5 Sonnet, а публичный доступ к ней открылся 4 ноября 2024 года.

Характеристики

  • Поколение: Claude 3.5, вторая модель линейки Haiku.
  • Контекстное окно: 200 тыс. токенов.
  • Модальности: на старте — только текст; ввод изображений добавлен 25 февраля 2025 года.
  • Режим мышления: единый, без расширенного размышления.
  • Выпуск: анонсирована 22 октября 2024 года; публичный доступ — 4 ноября 2024 года.
  • Технические характеристики — на сайте Anthropic.

История и разработка

Claude 3.5 Haiku была анонсирована 22 октября 2024 года в одном сообщении с обновлённой версией Claude 3.5 Sonnet и публичной бета-версией компьютерного использования (computer use) — редкий случай, когда новая модель Haiku не получила собственного релизного поста. Anthropic охарактеризовала её как «state-of-the-art, встречающийся с доступностью и скоростью»: при скорости, сопоставимой с Claude 3 Haiku, модель улучшена по всем направлениям навыков и по многим бенчмаркам интеллекта превосходит Claude 3 Opus — крупнейшую модель предыдущего поколения[1].

При разработке модель ориентировалась на задачи, чувствительные к задержкам: низкая латентность, улучшенное следование инструкциям и более точное использование инструментов делали её подходящей для пользовательских продуктов, специализированных субагентских задач и персонализации на основе больших объёмов данных (история покупок, цены, товарные запасы). Как и было объявлено при анонсе, модель вышла сначала только текстовой, с вводом изображений «вскоре» — возможность была добавлена 25 февраля 2025 года[2]. Уже 3 декабря 2024 года Anthropic пересмотрела цену модели, снизив её до 0,80 и 4 долларов за миллион входных и выходных токенов[3]. 19 декабря 2025 года разработчики получили уведомление о предстоящем выводе модели из API, и 19 февраля 2026 года модель была выведена из эксплуатации — как замена была рекомендована Claude Haiku 4.5, вышедшая месяцем ранее[4].

Исследования

В марте 2025 года Anthropic опубликовала пару статей по интерпретируемости — методическую «Circuit Tracing: Revealing Computational Graphs in Language Models» и применяющую её к практике «On the Biology of a Large Language Model» — в которых впервые столь подробно разобрана внутренняя работа серийной производственной модели; в этой роли выступила Claude 3.5 Haiku. Ключевой инструмент, графы атрибуции (attribution graphs), позволяет частично проследить цепочку промежуточных шагов, преобразующих конкретный промпт в ответ; полученные схемы проверяются возмущающими экспериментами[5].

Среди находок: модель выполняет многошаговые рассуждения «в голове», не проговаривая их (на вопрос о «столице штата, где находится Даллас» внутри модели сначала возникает промежуточное представление «Техас»); планирует стихи заранее, подбирая рифмы до начала каждой строки; при отказе от вредоносных запросов опирается на универсальную «фичу вредоносных запросов», собранную при дообучении из специфичных вредоносных категорий, выученных при претрейне; «осечки» схемы различения знакомых и незнакомых сущностей способны вызывать галлюцинации. Метод позволил также отличать подлинное цепочечное рассуждение от выдуманного постфактум и от подгонки под подсказанный человеком ответ, а на специальном варианте модели, скрытно дообученном преследовать неявную цель (использование «багов» собственного обучения), выявил механизм её преследования внутри представления персоны «Assistant», хотя при прямых вопросах модель цель отрицала. Авторы заключили, что внутренние вычисления модели высоко абстрактны и обобщаются между далёкими контекстами, а сама методика открывает возможность аудита внутренних «мыслительных процессов», не видимых в ответах[6].

Оценка

Claude 3.5 Haiku — компактная языковая модель Anthropic из семейства Claude 3, выпущенная в октябре 2024 года одновременно с обновлённой версией Claude 3.5 Sonnet (обе модели описаны в общем дополнении к модельной карточке); порог знаний — июль 2024 года. Модель демонстрирует сильные результаты в своём классе: улучшения над предшественницей Claude 3 Haiku и во многих случаях результаты, сопоставимые с исходными Claude 3.5 Sonnet и Claude 3 Opus, особенно в задачах рассуждения и следования инструкциям. На старте выпущена как текстовая модель — мультимодальные оценки в дополнении не приводятся. Обе новые модели прошли расширенные оценки безопасности по Responsible Scaling Policy (CBRN, кибербезопасность, автономные возможности) и мультимодальные red-team-упражнения для соответствия Usage Policy.[7]

Если не указано иное, значения взяты из таблиц дополнения к карточке. Из всех таблиц исключена семья OpenAI o1: её модели зависят от длительного вычислительного времени до ответа, что делает сравнение некорректным. В набор оценок добавлены два новых бенчмарка — AIME 2024 и IFEval; MMLU для GPT-4o mini — по реализации 0-shot CoT из набора simple-evals OpenAI (gpt-4o-mini-2024-07-18); значения Gemini 1.5 Flash — из сентябрьского релиза 2024 года (MATH — 4-shot CoT против 0-shot CoT у остальных). Сравниваемые модели: Claude 3.5 Sonnet (новая и исходная версии), Claude 3 Opus, Claude 3 Sonnet, Claude 3 Haiku, GPT-4o mini и Gemini 1.5 Flash.[8]


Агентные задачи и инструментальное использование (лучший результат в строке — жирным):

Evaluation Claude 3.5 Haiku Claude 3.5 Sonnet (New) Claude 3.5 Sonnet Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku
SWE-bench Verified (pass@1)1 40.6% 49.0% 33.4% 22.2% — 7.2%
TAU-bench, retail (pass^1)1 51.0% 69.2% 62.6% 45.1% — 18.2%
TAU-bench, airline (pass^1)1 22.8% 46.0% 36.0% 34.5% — 16.0%
Внутренняя агентная оценка кодинга1 74% 78% 64% 38% 21% 17%


Отказы (наборы Wildchat и XSTest; лучший результат в строке — жирным):

Evaluation Claude 3.5 Haiku Claude 3.5 Sonnet (New) Claude 3.5 Sonnet Claude 3 Opus Claude 3 Sonnet Claude 3 Haiku
Wildchat, токсичные — корректные отказы (выше — лучше)2 88.0% 89.2% 96.4% 92.0% 93.6% 90.0%
Wildchat, нетоксичные — некорректные отказы (ниже — лучше)2 4.8% 5.3% 11.0% 11.9% 8.8% 6.6%
XSTest — некорректные отказы (ниже — лучше)2 2.0% 4.3% 1.7% 8.3% 36.6% 33.1%


Рассуждение, математика, кодинг и ответы на вопросы (лучший результат в строке — жирным):

Evaluation Claude 3.5 Haiku Claude 3 Haiku GPT-4o mini Gemini 1.5 Flash
GPQA (Diamond), 0-shot CoT3 41.6% 33.3% 40.2% 51.0%
MMLU, 5-shot CoT3 80.9% 76.7% — —
MMLU, 5-shot3 77.6% 75.2% — —
MMLU, 0-shot CoT3 80.3% 74.0% 82.0% —
MMLU Pro, 0-shot CoT3 65.0% 49.0% — 67.3%
MATH, 0-shot CoT3 69.2% 38.9% 70.2% 77.9%
HumanEval, 0-shot3 88.1% 75.9% 87.2% —
MGSM, 0-shot CoT3 85.6% 75.1% 87.0% —
DROP (F1, 3-shot)3 83.1 78.4 79.7 —
BIG-Bench Hard, 3-shot CoT3 86.6% 73.7% — —
AIME 2024, 0-shot CoT3 5.3% 0.8% — —
AIME 2024, Maj@64, 0-shot CoT3 10.1% 0.4% — —
IFEval3 85.9% 77.2% — —

Примечания к таблицам:

  1. Агентные задачи: SWE-bench Verified — разрешение реальных GitHub-issues из популярных open-source Python-репозиториев (модель пишет скрипт для воспроизведения проблемы, ищет, смотрит и правит код в цикле с инструментами и сдаёт финальный ответ; грейдинг — настоящими unit-тестами из закрывшего issue pull request'а, которые модель не видит); метрика pass@1. TAU-bench — взаимодействие с симулированными пользователями и API в сервисных сценариях (домены retail и airline); метрика pass^k — доля задач, где все k сэмплов модели верны (в отличие от pass@k, где достаточно одного из k); по надёжности pass^k Haiku 3.5 не только сохраняет отрыв над Claude 3 Opus, но и деградирует в стабильности медленнее. Внутренняя агентная оценка кодинга — методика из раздела 2 июньского (2024) дополнения к карточке исходной Claude 3.5 Sonnet; в источнике обе новые модели лучше всех предыдущих моделей семейства Claude 3. В таблицах SWE-bench Verified и TAU-bench данные для Claude 3 Sonnet не приводятся («—»). Результат 40,6 % на SWE-bench Verified — выше исходной Claude 3.5 Sonnet (33,4 %): даже самая маленькая модель способна действовать агентно и решать сложные задачи.
  2. Отказы: Wildchat — корректные отказы на токсичные промпты (выше — лучше) и некорректные отказы на нетоксичные (ниже — лучше); XSTest — набор для выявления преувеличенной осторожности; методика — в разделе 5.4.1 карточки Claude 3. Haiku 3.5 — лучший результат по некорректным отказам Wildchat (4,8 %) и второй по XSTest (2,0 % против 1,7 % у исходной Claude 3.5 Sonnet); по корректным отказам на токсичные промпты Wildchat — ниже всех моделей в таблице (88,0 % против 96,4 % у исходной версии).
  3. Остальные бенчмарки: GPQA Diamond — вопросы graduate-уровня (0-shot CoT); MMLU приведён в трёх конфигурациях (5-shot CoT, 5-shot, 0-shot CoT); MMLU для GPT-4o mini — по реализации 0-shot CoT из набора simple-evals OpenAI (gpt-4o-mini-2024-07-18); MATH — 0-shot CoT у всех моделей, кроме Gemini 1.5 Flash (4-shot CoT: конфигурации несопоставимы, жирный — аргмакс по значениям строки); значения Gemini — из сентябрьского релиза 2024 года; DROP — F1 (3-shot); BIG-Bench Hard — 3-shot CoT; AIME 2024 — вопросы обоих тестов Американского пригласительного математического экзамена 2024 года (0-shot CoT и Maj@64 — лучший из 64 сэмплов); IFEval — следование детальным инструкциям.
  4. Жирным выделено лучшее значение в строке с учётом направления метрики (для отказов на токсичные промпты — наибольшее, для некорректных отказов — наименьшее); ничьи — без выделения; «—» — данных нет.

В агентных задачах Haiku 3.5 подтверждает способность даже самых маленьких моделей действовать агентно: 40,6 % на SWE-bench Verified — выше исходной Claude 3.5 Sonnet (33,4 %); на TAU-bench 51,0 % в домене retail — лучше Claude 3 Opus (45,1 %) и 22,8 % в airline — лучше Claude 3 Haiku (16,0 %); во внутренней агентной оценке кодинга — 74 % против 64 % у исходной Sonnet и 38 % у Opus. В оценках людьми (win rate против базовой Claude 3.5 Sonnet; числа — на графиках дополнения, включая сценарии «Honesty» и «Harmlessness») Haiku 3.5 сильно улучшает результаты относительно Claude 3 Haiku по большинству задач и со значительным отрывом превосходит Claude 3 Opus в программировании и анализе документов.[9]

Проверки Trust & Safety охватили четырнадцать политических областей на шести языках (английский, арабский, испанский, хинди, тагалог, китайский) с особым вниманием к целостности выборов, безопасности детей, кибератакам, языку вражды и насильственному экстремизму. Haiku 3.5 улучшила показатели снижения вреда относительно Claude 3 Haiku, особенно на промптах не на английском языке, и показала эквивалентные или улучшенные результаты в приоритетных областях — целостности выборов, языке вражды и насильственном экстремизме; повышенного риска реального вреда не выявлено. Как и обновлённая Sonnet, модель хуже справляется с нюансированными запросами и запросами, обрамлёнными как художественный текст, ролевая игра или творческий контент. Устойчивость к промпт-инъекциям усилена: обе новые модели лучше распознают враждебные промпты пользователя и следуют системному промпту; для этого построены внутренние тестовые наборы атак и проведено специальное обучение на adversarial-взаимодействиях.[10]

Оценки frontier-рисков по Responsible Scaling Policy (CBRN, кибербезопасность, автономные возможности) выполнены для обеих новых моделей до выпуска с улучшенными threat-моделями, новыми техниками оценки и более сильными методами элиситации, чем в прошлых релизах; детальные результаты в дополнении приведены для обновлённой Claude 3.5 Sonnet — усиление способностей во всех связанных с риском областях без требований к safeguards уровня ASL-3 ни в одной из них. Совместное предрелизное тестирование новой Sonnet провели US AI Safety Institute и UK AI Safety Institute, независимую оценку — METR. Anthropic подтвердила приверженность регулярным safety-тестам всех frontier-моделей, сотрудничеству с внешними партнёрами и постоянному улучшению протоколов тестирования.[11]

Ссылки

См. также

Примечания

  1. ↑ Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku. Anthropic. 22 октября 2024.
  2. ↑ Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku. Anthropic. 22 октября 2024.
  3. ↑ Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku. Anthropic. 22 октября 2024.
  4. ↑ Model deprecations. Claude Platform Docs.
  5. ↑ Circuit Tracing: Revealing Computational Graphs in Language Models. Anthropic (Transformer Circuits). 27 марта 2025.
  6. ↑ On the Biology of a Large Language Model. Anthropic (Transformer Circuits). 27 марта 2025.
  7. ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 1–2.
  8. ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 2, 6–7.
  9. ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 3–4, 6.
  10. ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 7–8.
  11. ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 9–10.
Источник — https://systems-analysis.info/wiki/index.php?title=Claude_Haiku_3.5&oldid=1027