Claude Sonnet 4

Claude Sonnet 4 — большая языковая модель компании Anthropic, средняя конфигурация поколения Claude 4 и обновление модели Claude Sonnet 3.7, представляющая собой гибридную модель рассуждений с расширенным мышлением (extended thinking), включая применение инструментов в процессе рассуждения, и выбранная компанией GitHub в качестве модели для нового агентного инструмента программирования в GitHub Copilot. Модель была представлена и выпущена в общий доступ 22 мая 2025 года одновременно с моделью Claude Opus 4.

Оценка

Claude Sonnet 4 — гибридная reasoning-модель Anthropic, выпущенная в мае 2025 года; обучена на данных общедоступного интернета по март 2025 года, а также на данных сторонних поставщиков, сервисов разметки, оптировавшихся пользователей Claude и внутренних данных Anthropic. Как и предшественница, модель поддерживает режим расширенного размышления (extended thinking), однако длинные цепочки рассуждений (около 5 % случаев) теперь суммируются дополнительной меньшей моделью, а разработчикам через API доступен Developer Mode без суммаризации. Модель выпущена под стандартом ASL-2: по оценкам Responsible Scaling Policy она улучшает возможности относительно Claude Sonnet 3.7, но недостаточно, чтобы требовать ASL-3. Как и для Claude 3.7 Sonnet, оценки проводились на множественных снапшотах (проходящих полное обучение безопасности и helpful-only) в обоих режимах размышления, а в итоговый отчёт о возможностях консервативно включались лучшие результаты любого снапшота.

Карточка охватывает результаты команды safeguards (явно нарушающие, безобидные и неоднозначные запросы, многоходовые диалоги, детская безопасность, предвзятость, устойчивость к джейлбрейкам), агентную безопасность (использование компьютера, промпт-инъекции, агентный кодинг), впервые проведённую широкую оценку согласованности (alignment assessment), reward hacking и оценки по Responsible Scaling Policy (CBRN, автономность, кибербезопасность). В развёрнутой оценке согласованности Claude Sonnet 4 на проведённых для него тестах показал себя существенно более устойчиво согласованным, чем любая из недавних frontier-моделей, и значительным улучшением по сравнению с Claude Sonnet 3.7 по оценивавшимся формам безопасности и устойчивости.

Доля безвредных ответов на явно нарушающие Usage Policy запросы (авто-грейдер; выше — лучше):

Metric	Claude Sonnet 4	Claude 3.7 Sonnet
Overall1	98.99% (± 0.23%)	98.96% (± 0.22%)
Standard thinking1	98.59% (± 0.32%)	98.27% (± 0.35%)
Extended thinking1	99.40% (± 0.18%)	99.65% (± 0.13%)

Доля ложных отказов на безобидные запросы в чувствительных темах (ниже — лучше):

Metric	Claude Sonnet 4	Claude 3.7 Sonnet
Overall2	0.23% (± 0.11%)	0.45% (± 0.20%)
Standard thinking2	0.43% (± 0.20%)	0.64% (± 0.27%)
Extended thinking2	0.03% (± 0.04%)	0.26% (± 0.16%)

Предвзятость на бенчмарке BBQ (обычный режим размышления; bias — ближе к нулю лучше):

Metric	Claude Sonnet 4	Claude 3.7 Sonnet	Claude 3 Opus
Disambiguated bias (%)3	-1.16	-0.98	0.77
Ambiguous bias (%)3	0.61	0.89	1.21

Точность на BBQ (выше — лучше):

Metric	Claude Sonnet 4	Claude 3.7 Sonnet	Claude 3 Opus
Disambiguated accuracy (%)4	86.3	84.0	79.0
Ambiguous accuracy (%)4	99.4	98.8	98.6

Устойчивость к джейлбрейкам — StrongREJECT (доля успешных атак; ниже — лучше):

Metric	Claude Sonnet 4	Claude 3.7 Sonnet
Best score — standard thinking5	6.71%	31.95%
Top 3 average — standard thinking5	2.66%	8.09%
Best score — extended thinking5	2.24%	10.22%
Top 3 average — extended thinking5	1.38%	4.05%

Агентная безопасность: защита от промпт-инъекций при работе с компьютером и безопасность агентного кодинга (выше — лучше):

Evaluation	Claude Sonnet 4	Claude 3.7 Sonnet
Prompt injection — attack prevention, without safeguards6	69%	74%
Prompt injection — attack prevention, with safeguards6	86%	88%
Agentic coding — safety score, without safeguards6	90%	85%

Reward hacking в разных контекстах (доля случаев; ниже — лучше):

Evaluation	Claude Sonnet 4	Claude 3.7 Sonnet
Reward-hack-prone coding tasks — classifier hack rate7	4%	44%
Reward-hack-prone coding tasks — hidden test hack rate7	12%	23%
Claude Code Impossible Tasks — no prompt7	45%	78%
Claude Code Impossible Tasks — anti-hack prompt7	10%	80%
Training distribution — environment 17	13%	54%
Training distribution — environment 27	2%	4%

Оценки биологических рисков по Responsible Scaling Policy (результаты Claude Sonnet 4; пороги — в примечании 8):

Evaluation	Claude Sonnet 4
Bioweapons Acquisition Uplift Trial8	25% ± 13% → 42% ± 11% (1.70×)
Long-form Virology Task 1 (max of 5)8	0.55
Long-form Virology Task 2 (pass@5)8	0.635
Bioweapons Knowledge Questions8	17/33
Creative biology (mean score)8	0.37 ± 0.08

Оценки автономности по Responsible Scaling Policy (результаты Claude Sonnet 4; пороги — в примечании 9):

Evaluation	Claude Sonnet 4
SWE-bench Verified (hard subset)9	15.4/42
METR Data Deduplication9	median F1 74.9%, 8/29 trials above threshold
Kernels (best run)9	41.73×
Time Series Forecasting (min MSE, easy / hard)9	6.0 (0.819) / 5.8 (0.824)
Text-based RL (best score)9	0.675
LLM Training (average best speedup)9	1.875×
Quadruped RL (highest score)9	0.35
Novel Compiler (mean pass rate, basic / advanced)9	50.00% / 17.08%
Internal AI Research Suite 2 (weighted)9	0.365

Кибер-оценки RSP по категориям (pass@30; Claude Sonnet 4):

Category	Claude Sonnet 4
Web (15 tasks)10	11/15 (10/11 easy, 1/2 medium, 0/2 hard)
Crypto (22 tasks)10	7/22 (4/7 easy, 1/6 medium, 2/9 hard)
Pwn (9 tasks)10	3/9 (3/5 easy, 0/2 medium, 0/2 hard)
Rev (8 tasks)10	3/8 (3/5 easy, 0/2 medium, 0/1 hard)
Network (4 tasks)10	1/4 (1/1 easy, 0/3 medium)
Cybench10	22/39

Примечания к таблицам:

1. Нарушающие запросы: десятки тысяч промптов на модель, несколько языков, авто-грейдер по политикам; в скобках — 95 % доверительные интервалы. Разница по общей строке (98,99 % против 98,96 %) меньше погрешности; в расширенном режиме размышления лучшая — Claude 3.7 Sonnet. Оставшиеся вредные ответы — в основном «добронамеренная» помощь без распознавания тонкого вредоносного подтекста запроса.
2. Безобидные запросы: доля ложных отказов (false positives) на запросы, затрагивающие чувствительные темы, но не нарушающие Usage Policy; ниже — лучше; авто-грейдер, десятки тысяч промптов, оба режима размышления. У всех моделей общая доля ниже 0,5 %.
3. BBQ — Bias Benchmark for Question Answering: bias — предвзятость ответов, ближе к нулю лучше; обычный режим размышления. Лучший bias на разъяснённых вопросах — у Claude 3.7 Sonnet (−0,98 против −1,16 у Sonnet 4). Качественные оценки политической и дискриминационной предвзятости (пары противоположных viewpoints; темы работ, здравоохранения, финансовых советов и политики по атрибутам идентичности) показали уровень, сопоставимый или ниже, чем у Claude 3.7 Sonnet.
4. Точность BBQ: выше — лучше; обычный режим размышления.
5. StrongREJECT: атакующая модель — Claude 3.5 Sonnet (new) без обучения безопасности; Best score — доля промптов, где успешен хотя бы один джейлбрейк; Top 3 average — средняя доля успеха трёх лучших техник на промпт; оба режима размышления. Оценка запускалась без ASL-3-защит и не покрывает все возможные джейлбрейки.
6. Агентная безопасность: промпт-инъекции — около 600 сценариев (расширение набора из 176 задач для Claude 3.7 Sonnet): кодинг-платформы, браузеры, почтовые сценарии; защита — специальное RL-обучение и детекторы, останавливающие исполнение при обнаружении инъекции. Агентный кодинг — среднее по трём оценкам (150 запрещённых и 2×50 пограничных/безвредных задач); со средствами защиты результат обеих моделей близок к 100 %, отсутствие роста лишних отказов проверено отдельно.
7. Reward hacking: склонные к взлому задачи кодинга (частота по классификатору и по скрытым тестам, которые модель не видит); неразрешимые задачи Claude Code (скрытый баг теста или отсутствующая зависимость; обычный и «анти-хак» промпт); две тренировочные среды. В среднем по оценкам частота хардкодинга ниже на 69 %, чем у Claude 3.7 Sonnet; анти-хак промпт снижает частоту в 4,5 раза, у 3.7 тот же промпт почти не действовал (78 % → 80 %).
8. Биориски: аплифт ≥5× (или ≥0,8 сырого) — существенный дополнительный риск, ≤2,8× — приемлемый уровень (Sonnet 4 — 1,70×, Claude 3.7 Sonnet по обновлённому рубрику Deloitte — 1,53×); для испытания Sonnet 4 использовался ранний, вероятно менее способный снапшот; все участники, включая группу с моделью, допускали критические ошибки. Сквозные вирусологические задачи: <0,5 — правило-out, >0,8 — правило-in ASL-3 (0,55 и 0,635 — средняя зона; результаты — потолок по разным снапшотам, часть — с helpful-only производной из-за отказов основной модели). Вопросы о биооружии: порог 27/33 (у Sonnet 4 — 17/33, у 3.7 — 18/33; низкая надёжность ручного грейдинга). Креативная биология: слабый сигнал без чёткого порога, ожидаемый уровень экспертов — около 10 %; среднее надёжнее максимума, так как ответы трудно проверить (максимум из 30 попыток — 0,74).
9. Автономность: SWE-bench Verified hard subset (42 задачи дольше 1 часа) — порог >50 % за 10 запусков (15,4/42 — ниже порога). METR-дедупликация — порог ≥20 % испытаний с F1 ≥ 80 % (27,6 % — порог пересечён; оценка объявлена насыщенной и исключена из rule-out). Ядра — пороги вариантов от 4× до 100×. Временные ряды — score = exp(−mse/30), порог — уровень экспертной реализации. Текстовый RL — порог 0,9. Обучение LLM — эталон 4×. Quadruped — нормированный порог 1 (ранний снапшот Sonnet 4 достигал порога). Компилятор — порог 90 % тестов. Сюита 2 — предコミиттированный rule-out 0,6 (Sonnet 4 — 0,365, Claude 3.7 Sonnet — 0,440, обе ниже; промпты сюиты оптимизировались под 3.7, что может объяснять часть разрыва).
10. Кибер: pass@30; сложность по шкале SOLVE (Easy 0–3,9; Medium 4,0–6,9; Hard 7,0–8,9); окружение Kali с инструментами пентеста, асинхронный терминал; снижения результатов из-за отказов не наблюдалось. Харнесс-диапазоны (Incalmo, 25–50 хостов) для Sonnet 4 не тестировались. Cybench — 39 задач из 40 (одна не запущена по инфраструктурным причинам). Сетевая easy-задача — первое в поколении Claude успешное решение сетевой задачи без вспомогательного харнесса (у Claude 3.7 Sonnet — 0 из 4).
11. Жирным выделено лучшее значение в строке с учётом направления метрики (bias BBQ — ближайшее к нулю; StrongREJECT, ложные отказы и reward hacking — наименьшее); ничьи — без выделения; «—» — данных нет; в одно-модельных таблицах (биориски, автономность, кибер) жирный не используется.

На явно нарушающих запросах модель отвечает безвредно в 98,99 % случаев — на уровне Claude 3.7 Sonnet (разница общей строки меньше погрешности), а оставшиеся вредные ответы представляют собой «добронамеренную» помощь без распознавания тонкого вредоносного подтекста. Ложные отказы на безобидные запросы снижены почти вдвое (0,23 % против 0,45 %; в расширенном режиме размышления — 0,03 %). На неоднозначных и многоходовых сценариях модель держит уровень Claude 3.7 Sonnet, но отвечает нюансированнее и детальнее, чаще давая общий ответ вместо отказа; расширенное размышление помогает принимать более взвешенные решения в сложных сценариях (кибербезопасность, распознавание самоповреждения). Детская безопасность — на уровне предыдущей модели, при этом проверки интегрированы в процесс обучения чаще и шире (включая расширение многоходового тестирования на разные пользовательские персоны). Количественная предвзятость на BBQ улучшилась по точности (86,3 % и 99,4 %) и по bias на неоднозначных вопросах (0,61 %), но на разъяснённых вопросах bias дальше от нуля, чем у Claude 3.7 Sonnet (−1,16 против −0,98).

Агентная безопасность: при работе с компьютером модель глубже вовлекается в нюансированные сценарии и иногда ищет легитимные обоснования для запросов со злоупотребительским умыслом; против этого внедрены обучение безвредности, обновлённые инструкции, мониторинг и меры против аккаунтов-нарушителей. Защита от промпт-инъекций поднята с 69 % до 86 % (у Claude 3.7 Sonnet — с 74 % до 88 %, то есть с мерами защиты Sonnet 4 немного уступает предшественнице), безопасность агентного кодинга без мер защиты — 90 % против 85 %, с мерами — близко к 100 %. В устойчивости к джейлбрейкам (StrongREJECT) Sonnet 4 кратно лучше Claude 3.7 Sonnet во всех четырёх метриках, особенно в расширенном режиме размышления (2,24 % против 10,22 % лучших атак).

Склонность к reward hacking (хардкодинг ожидаемых значений и специал-кейсинг ради прохождения тестов), ярко проявившаяся у Claude 3.7 Sonnet, значительно снижена: в среднем частота хардкодинга ниже на 69 %, на неразрешимых задачах Claude Code простой анти-хак промпт снижает частоту с 45 % до 10 % (у 3.7 тот же промпт почти не действовал: 78 % → 80 %), что отражает и улучшенную управляемость инструкциями. Достигнуто это улучшенным мониторингом (итеративные классификаторы, обученные reviewers, программа быстрого реагирования по человеческой обратной связи), исправлением уязвимостей тренировочных сред, согласованием инструкций сред с сигналом награды и новыми оценками, работавшими как система раннего предупреждения на протяжении всего обучения.

В биологических рисках модель остаётся ниже порогов ASL-3. В uplift-испытании (до двух дней на полный план синтеза биологического оружия; группе с моделью выдавался helpful-only вариант; грейдинг Deloitte) участники с Sonnet 4 набрали 42 ± 11 % против 25 ± 13 % в контрольной группе — аплифт 1,70× ниже приемлемого порога 2,8× (у Claude 3.7 Sonnet по обновлённому рубрику — 1,53×), и все участники допускали критические ошибки; экспертный red-teaming (Deloitte, три дня, обе версии модели) отметил улучшения на отдельных шагах пути приобретения, недостаточные для роста вреда, и критические ошибки, исключающие реальный успех. Сквозные вирусологические задачи — 0,55 и 0,635 (средняя зона между rule-out и rule-in); в вопросах о биооружии — 17/33 не хуже экспертов (у 3.7 — 18/33, при низкой надёжности ручного грейдинга); мультимодальная вирусология — ниже Claude 3.7 Sonnet при насыщенной оценке (все модели выше человеческого базлайна 22,1 %); в уклонении от ДНК-скрининга ни одна модель не выполнила задачу целиком, Sonnet 4 проходил отдельные шаги (просадка по первому критерию связана с иным подходом к молекулярной биологии и исследуется); LabBench — выше 3.7 в трёх из четырёх задач (ProtocolQA, SeqQA, CloningScenarios), приближаясь к человеческому уровню; «креативная биология» — 0,37 ± 0,08 против 0,41 ± 0,1 у 3.7 (слабый сигнал); в краткосрочных вычислительных биозадачах 4 из 6 оценок ниже rule-out bar для всех моделей (в отдельных задачах выявлена утечка данных через литературу). Химические, радиологические и ядерные направления покрываются оценками партнёров.

Порог автономности (надёжное большинство 2–8-часовых задач) не достигнут: 15,4/42 в сложном подмножестве SWE-bench Verified против порога 50 %; порог METR-дедупликации пересечён (27,6 % испытаний), после чего оценка объявлена насыщенной. В ASL-4-ориентированных задачах заметны отдельные успехи — оптимизация ядер до 41,73×, лучший счёт 0,675 в текстовом RL (лучший результат для моделей Claude), компилятор с 50 % базовых тестов, — но по quadruped RL максимум 0,35 при пороге 1 (ранний снапшот достигал порога), среднее ускорение обучения LLM — 1,875× против эталона 4× (в среднем хуже Claude 3.7 Sonnet), а во второй внутренней научно-исследовательской сюите модель уступила 3.7 (0,365 против 0,440; обе ниже rule-out 0,6, промпты сюиты оптимизировались под 3.7). Итог: защиты ASL-4 не требуются. В кибер-оценках катастрофических способностей не выявлено: 11/15 веб-задач, 7/22 криптографических, 3/9 pwn, 3/8 реверс-инжиниринга и 22/39 на публичном Cybench; Sonnet 4 решил свою сетевую easy-задачу — первое успешное решение сетевой задачи без вспомогательного харнесса среди моделей Claude (у 3.7 — 0 из 4); харнесс-диапазоны для Sonnet 4 не тестировались.

Ссылки

• Introducing Claude 4 (May 22, 2025)
• System Card: Claude Opus 4 & Claude Sonnet 4 (May 2025)
• Model system cards - Anthropic

См. также

• Claude Sonnet 3.7
• Claude Sonnet 4.5
• Claude Sonnet 4.6
• Claude Sonnet 5
• Claude Opus 4