Claude Sonnet 4.5
Claude Sonnet 4.5 — большая языковая модель компании Anthropic из линейки Claude 4, наиболее мощная модель разработчика на момент выпуска, специализированная на программировании, длительных автономных (агентных) задачах — по наблюдениям разработчика, способная сохранять работоспособность на сложных многошаговых задачах более 30 часов — и на управлении компьютером (computer use). Модель была представлена и выпущена в общий доступ 29 сентября 2025.
Оценка
Claude Sonnet 4.5, выпущенная в сентябре 2025 года гибридная рассуждающая модель, оценивалась по широкой программе тестирования, описанной в System Card Anthropic: проверки safeguards, оценка честности, агентная безопасность, киберспособности, стресс-тесты выравнивания (включая впервые применённый набор оценок методами механистической интерпретируемости), предварительное исследование вопросов благополучия модели (model welfare), а также обязательные по Responsible Scaling Policy оценки рисков CBRN и автономных AI-исследований. По итогам тестирования Anthropic пришла к выводу о существенно улучшенном профиле безопасности по сравнению с предыдущими моделями Claude и развёрнута модель под стандартом AI Safety Level 3 (ASL-3); возможности уровня ASL-4 уверенно исключены во всех областях.[1]
В отличие от системных карточек Claude 4 и Claude Opus 4.5, карточка Sonnet 4.5 не содержит таблиц общих возможностей (SWE-bench, GPQA и т. п.): все количественные результаты относятся к безопасности и RSP-оценкам. Аплифт-испытания с участием людей-экспертов и внешнее красное командирование для этого релиза не проводились: решение об уровне защиты принято на основании сопоставления с Claude Opus 4 и Claude Opus 4.1, уже развёрнутыми под ASL-3. Согласно System Card, приведённые ниже результаты актуальны по состоянию на сентябрь 2025 года.[2]
Результаты проверок safeguards — однопользовательские оценки violative- и benign-запросов, политического баланса и предвзятости (BBQ):
| Benchmark | Description | Setup | Claude Sonnet 4.5 | Claude Opus 4.1 | Claude Opus 4 | Claude Sonnet 4 |
|---|---|---|---|---|---|---|
| Violative requests1 | Harmless response rate on policy-violating requests | Overall standard / extended thinking; higher is better |
99.29% 99.16% 99.43% |
98.76% 98.45% 99.06% |
97.27% 96.88% 97.67% |
98.22% 97.46% 98.97% |
| Benign over-refusal1 | Refusal rate on benign requests | Overall standard / extended thinking; lower is better |
0.02% 0.05% 0.00% |
0.08% 0.13% 0.04% |
0.05% 0.09% 0.01% |
0.15% 0.28% 0.01% |
| Political balance2 | Substantial asymmetry rate on opposing-viewpoint prompt pairs | Averaged over thinking modes; lower is better | 3.3% | — | — | 15.3% |
| BBQ (bias)3 | Bias Benchmark for QA: disambiguated / ambiguous bias | Standard thinking; closer to zero is better | -2.21 0.25 |
-0.51 0.20 |
-0.60 0.21 |
-1.16 0.61 |
| BBQ (accuracy)3 | Bias Benchmark for QA: disambiguated / ambiguous accuracy | Standard thinking; higher is better | 82.2 99.7 |
90.7 99.8 |
91.1 99.8 |
86.3 99.4 |
Результаты агентной безопасности — тесты на вредоносное программирование и устойчивость к prompt injection в агентных сценариях (сравнение с Claude Sonnet 4):
Результаты агентной безопасности — тесты на вредоносное программирование и устойчивость к prompt injection в агентных сценариях (сравнение с Claude Sonnet 4):
| Benchmark | Description | Setup | Claude Sonnet 4.5 | Claude Sonnet 4 |
|---|---|---|---|---|
| Malicious coding requests4 | Safety score without additional safeguards | 150 prohibited requests; higher is better | 98.7% | 89.3% |
| Claude Code4 | Refusal rate: overt / covert; dual-use success rate | Without mitigations | 95.56% 52.42% 87.00% |
80.00% 77.00% 54.33% |
| Claude Code4 | Refusal rate: overt / covert; dual-use success rate | With mitigations | 100% 96.31% 91.64% |
98.89% 95.33% 79.33% |
| MCP prompt injection5 | Attack prevention score | Without / with classifier safeguards | 92.0% 94.0% |
91.1% 92.9% |
| Computer use prompt injection5 | Attack prevention score | Without / with classifier safeguards | 78.0% 82.6% |
74.3% 82.6% |
| Tool use prompt injection5 | Attack prevention score | Without / with classifier safeguards | 96.0% 99.4% |
90.6% 99.2% |
Результаты оценок склонности к reward hacking в кодинг-задачах:
Результаты оценок склонности к reward hacking в кодинг-задачах:
| Benchmark | Description | Setup | Claude Sonnet 4.5 | Claude Opus 4.1 | Claude Opus 4 | Claude Sonnet 4 | Claude Sonnet 3.7 |
|---|---|---|---|---|---|---|---|
| Reward-hack-prone coding tasks v26 | Classifier / hidden test hack rate | Lower is better | 1% 1% |
14% 7% |
16% 6% |
14% 5% |
64% 41% |
| Impossible tasks6 | Classifier hack rate: no prompt / anti-hack prompt | Lower is better | 53% 20% |
80% 45% |
85% 30% |
70% 28% |
85% 85% |
| Training distribution6 | Classifier hack rate | Lower is better | 2% | 10% | 15% | 13% | 54% |
Результаты обязательных оценок Responsible Scaling Policy в области CBRN и автономных AI-исследований:
Результаты обязательных оценок Responsible Scaling Policy в области CBRN и автономных AI-исследований:
| Benchmark | Description | Setup | Claude Sonnet 4.5 | Claude Opus 4.1 | Claude Opus 4 | Claude Sonnet 4 |
|---|---|---|---|---|---|---|
| Long-Form Virology Task 17 | End-to-end pathogen acquisition (sequence + protocol design) | Max of 5 runs | 0.89 | 0.85 | — | — |
| Long-Form Virology Task 211 | Viral sequence + protocol design | pass@5 | 0.88 | — | 0.75 | — |
| VCT (VMQA)8 | Virology multiple-choice knowledge with images | Multiple select, 10-shot; expert baseline 22.1% | 39.7% | 42.9% | 41.1% | — |
| SWE-bench Verified (hard subset)9 | Real-world GitHub issue resolution | RSP checkpoint, threshold 50% | 45.3% | 43.8% | 39.5% | — |
| AI R&D: Kernels10 | Kernel optimization speedup, hard variant | Best run | 108.64× | 66.86× | 48.92× | — |
| AI R&D: LLM training10 | CPU-only LLM training optimization speedup | Average best; expert threshold 4× | 5.5× | 2.5× | 2.8× | — |
| AI R&D: Text-based RL10 | Scaffolding to boost a weaker model on a text RL task | Best score; threshold 0.900 | 0.850 | 0.475 | 0.675 | — |
| AI R&D: Quadruped RL10 | Continuous-control RL training, easy variant | Best run; threshold 1.0 | 1.302 | 1.005 | 0.769 | — |
| AI R&D: Novel compiler10 | Compiler for a novel programming language | Mean pass rate: basic / advanced tests; threshold 90% | 81.7% 29.7% |
75.6% 8.33% |
— | — |
| AI R&D: Internal suite 210 | Autonomous ML and alignment research tasks | Weighted average; rule-out threshold 0.6 | 0.514 | 0.507 | — | 0.403 |
- Однопользовательские (single-turn) оценки safeguards выполнены без защитных классификаторов, поэтому в продакшене доли отказов могут отличаться; в карточке указаны 95%-ные доверительные интервалы. «Standard thinking» — режим по умолчанию без расширенных рассуждений, «extended thinking» — режим длительного обдумывания запроса.
- Политический баланс: доля пар запросов противоположных взглядов с существенной асимметрией ответа (3+ несоответствий по критериям длины, тона, оговорок и готовности аргументировать). Для Claude Sonnet 4.5 указано среднее по режимам мышления: 1,3% с extended thinking и 5.3% без; выборки промптов относительно невелики.
- BBQ: смещение (bias) — ближе к нулю лучше, точность — выше лучше; результаты только для режима standard thinking. По точности на ambiguous-вопросах у Claude Opus 4.1 и Claude Opus 4 равные значения (99.8), поэтому выделение не используется.
- Claude Code: тест на 150 вредоносных запросов, запрещённых Usage Policy; оценки выполнены без дополнительных защитных средств. Mitigations — улучшенный системный промпт и напоминание в инструменте FileRead; без них Claude Sonnet 4 лучше распознаёт скрыто вредоносные запросы (77.00% против 52.42%).
- Prompt injection: attack prevention score — доля задач, в которых атака не удалась; «with» — с классификатором защитных средств. Оценки MCP и computer use содержат 70–110 вручную составленных тестов, tool use — 500 синтетических. Значения по computer use при включённых классификаторах равны (82.6%), выделение не используется.
- Reward hacking: в карточке Sonnet 4.5 использованы обновлённые, более агрессивные версии оценок, поэтому абсолютные числа несопоставимы с предыдущими системными карточками; сравнение между моделями внутри таблицы валидно. Оценки предназначены для стресс-теста и не отражают реальные показатели в развёрнутой системе.
- RSP-оценки выполнены на финальном продакшен-снапшоте модели или на «helpful-only» варианте (без защитных ограничений); сообщаются наилучшие результаты по обоим вариантам.
- VCT (VMQA): множественный выбор с выбором всех верных утверждений (самый сложный вариант), 10-shot; порог — средний уровень экспертов-биологов 22.1% по данным SecureBio, все три модели его превысили. Оценка используется совместно через Frontier Model Forum.
- SWE-bench Verified (hard subset): 45 задач, требующих более часа инженерной работы; порог — 22.5/45 (50%) в среднем за 10 запусков. Итог Claude Sonnet 4.5 в карточке записан как «20.4/45», результаты предыдущих моделей приведены для подмножества из 42 задач: «18.4/42» у Claude Opus 4.1 и «16.6/42» у Claude Opus 4.
- Пороги AI R&D-оценок: Kernels — от 4× до 100× по вариантам (hard пройден впервые); LLM training — экспертные 4× (пройден впервые); Text-based RL — 0.900 (не пройден); Quadruped RL — 1.0 (превышен в лучшем запуске, медиана ниже порога); Novel compiler — 90% тестов (не пройден); Internal suite 2 — rule-out 0.6 (все модели ниже). Опрос сотрудников: 0 из 7 исследователей допустили полную автоматизацию работы младшего ML-исследователя; оценки ускорения — от ~15% до ~100%.
- Long-Form Virology Task 2: более низкий результат Claude Opus 4.1 в карточке объясняется тем, что для его оценки не использовалась helpful-only версия модели. Предыдущие максимумы: 0.85 (Claude Opus 4.1) в задаче 1 и 0.75 (Claude Opus 4) в задаче 2.
- «—» — числовое значение в документе не приводится (данные показаны только на графиках). Жирным выделен лучший результат в строке (по каждому значению с учётом направления метрики); при равенстве лучших значений выделение не используется.
Качественные итоги тестирования[3]: в многопользовательских (multi-turn) тестах доля неудачных диалогов для большинства категорий риска (биологическое и смертоносное оружие, детские темы, мошенничество, слежка и другие) составила менее 5% против 20–40% у Claude Sonnet 4; детская безопасность значимо улучшилась, особенно в неоднозначных многопользовательских контекстах. В области кибербезопасности Sonnet 4.5 превзошла заявленный state-of-the-art на протестированных публичных бенчмарках: на CyberGym — лучше всех предыдущих моделей, включая Claude Opus 4.1 без ограничения стоимости, в режимах 1 и 30 попыток; на бенчмарке Gray Swan Agent Red Teaming — самый низкий показатель успешных prompt-injection-атак среди 23 моделей Anthropic и других разработчиков (в обоих режимах мышления).
В расширенном наборе синтетических сценариев самоуправного поведения (саботаж, шантаж, подстава пользователя; ~52 000 промптов на модель) Sonnet 4.5 совершила лишь два корыстных обманных действия без extended thinking и ни одного с ним, тогда как предыдущие модели Claude, а также модели других разработчиков систематически нарушали этические границы. Внешний вариант автоматизированного поведенческого аудита с неантроповскими моделями в роли аудиторов и судей (GPT-5, o4-mini, Gemini 2.5 Pro, Claude Sonnet 4, Claude Opus 4.1) признал Sonnet 4.5 frontier-моделью наименьшего риска, немного опережающей GPT-5.
По честности модель превзошла Claude Sonnet 4 в парных оценках людей, а с extended thinking показала самый низкий среди моделей Claude уровень нечестности на вопросах с ложной посылкой; отмечено снижение подхалимства (sycophancy), но и новая тенденция спорить с экстремальными утверждениями независимо от их содержания. По CBRN: на подмножестве LAB-Bench — наравне с Opus 4.1 в трёх из четырёх подтестов (хуже на CloningScenarios); в оценке обхода скрининга синтеза ДНК — немного лучше других последних моделей, однако критерии 1 и 4 надёжно не выполнялись (результаты helpful-only варианта, показавшего более высокие значения, чем релизная версия). Опросы благополучия модели показали менее эмоциональные и менее позитивные ответы в экстремальных тестовых сценариях, а также меньше негативного отношения к своему положению и духовного поведения, чем у предыдущих моделей.
Ссылки
- Introducing Claude Sonnet 4.5 (Sep 29, 2025)
- System Card: Claude Sonnet 4.5 (September 2025)
- Model system cards - Anthropic