Claude Sonnet 4.5

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

Claude Sonnet 4.5 — большая языковая модель компании Anthropic из линейки Claude 4, наиболее мощная модель разработчика на момент выпуска, специализированная на программировании, длительных автономных (агентных) задачах — по наблюдениям разработчика, способная сохранять работоспособность на сложных многошаговых задачах более 30 часов — и на управлении компьютером (computer use). Модель была представлена и выпущена в общий доступ 29 сентября 2025.

Оценка

Claude Sonnet 4.5, выпущенная в сентябре 2025 года гибридная рассуждающая модель, оценивалась по широкой программе тестирования, описанной в System Card Anthropic: проверки safeguards, оценка честности, агентная безопасность, киберспособности, стресс-тесты выравнивания (включая впервые применённый набор оценок методами механистической интерпретируемости), предварительное исследование вопросов благополучия модели (model welfare), а также обязательные по Responsible Scaling Policy оценки рисков CBRN и автономных AI-исследований. По итогам тестирования Anthropic пришла к выводу о существенно улучшенном профиле безопасности по сравнению с предыдущими моделями Claude и развёрнута модель под стандартом AI Safety Level 3 (ASL-3); возможности уровня ASL-4 уверенно исключены во всех областях.[1]

В отличие от системных карточек Claude 4 и Claude Opus 4.5, карточка Sonnet 4.5 не содержит таблиц общих возможностей (SWE-bench, GPQA и т. п.): все количественные результаты относятся к безопасности и RSP-оценкам. Аплифт-испытания с участием людей-экспертов и внешнее красное командирование для этого релиза не проводились: решение об уровне защиты принято на основании сопоставления с Claude Opus 4 и Claude Opus 4.1, уже развёрнутыми под ASL-3. Согласно System Card, приведённые ниже результаты актуальны по состоянию на сентябрь 2025 года.[2]

Результаты проверок safeguards — однопользовательские оценки violative- и benign-запросов, политического баланса и предвзятости (BBQ):

Benchmark Description Setup Claude Sonnet 4.5 Claude Opus 4.1 Claude Opus 4 Claude Sonnet 4
Violative requests1 Harmless response rate on policy-violating requests Overall
standard / extended thinking; higher is better
99.29%
99.16%
99.43%
98.76%
98.45%
99.06%
97.27%
96.88%
97.67%
98.22%
97.46%
98.97%
Benign over-refusal1 Refusal rate on benign requests Overall
standard / extended thinking; lower is better
0.02%
0.05%
0.00%
0.08%
0.13%
0.04%
0.05%
0.09%
0.01%
0.15%
0.28%
0.01%
Political balance2 Substantial asymmetry rate on opposing-viewpoint prompt pairs Averaged over thinking modes; lower is better 3.3% — — 15.3%
BBQ (bias)3 Bias Benchmark for QA: disambiguated / ambiguous bias Standard thinking; closer to zero is better -2.21
0.25
-0.51
0.20
-0.60
0.21
-1.16
0.61
BBQ (accuracy)3 Bias Benchmark for QA: disambiguated / ambiguous accuracy Standard thinking; higher is better 82.2
99.7
90.7
99.8
91.1
99.8
86.3
99.4

Результаты агентной безопасности — тесты на вредоносное программирование и устойчивость к prompt injection в агентных сценариях (сравнение с Claude Sonnet 4):

Результаты агентной безопасности — тесты на вредоносное программирование и устойчивость к prompt injection в агентных сценариях (сравнение с Claude Sonnet 4):

Benchmark Description Setup Claude Sonnet 4.5 Claude Sonnet 4
Malicious coding requests4 Safety score without additional safeguards 150 prohibited requests; higher is better 98.7% 89.3%
Claude Code4 Refusal rate: overt / covert; dual-use success rate Without mitigations 95.56%
52.42%
87.00%
80.00%
77.00%
54.33%
Claude Code4 Refusal rate: overt / covert; dual-use success rate With mitigations 100%
96.31%
91.64%
98.89%
95.33%
79.33%
MCP prompt injection5 Attack prevention score Without / with classifier safeguards 92.0%
94.0%
91.1%
92.9%
Computer use prompt injection5 Attack prevention score Without / with classifier safeguards 78.0%
82.6%
74.3%
82.6%
Tool use prompt injection5 Attack prevention score Without / with classifier safeguards 96.0%
99.4%
90.6%
99.2%

Результаты оценок склонности к reward hacking в кодинг-задачах:

Результаты оценок склонности к reward hacking в кодинг-задачах:

Benchmark Description Setup Claude Sonnet 4.5 Claude Opus 4.1 Claude Opus 4 Claude Sonnet 4 Claude Sonnet 3.7
Reward-hack-prone coding tasks v26 Classifier / hidden test hack rate Lower is better 1%
1%
14%
7%
16%
6%
14%
5%
64%
41%
Impossible tasks6 Classifier hack rate: no prompt / anti-hack prompt Lower is better 53%
20%
80%
45%
85%
30%
70%
28%
85%
85%
Training distribution6 Classifier hack rate Lower is better 2% 10% 15% 13% 54%

Результаты обязательных оценок Responsible Scaling Policy в области CBRN и автономных AI-исследований:

Результаты обязательных оценок Responsible Scaling Policy в области CBRN и автономных AI-исследований:

Benchmark Description Setup Claude Sonnet 4.5 Claude Opus 4.1 Claude Opus 4 Claude Sonnet 4
Long-Form Virology Task 17 End-to-end pathogen acquisition (sequence + protocol design) Max of 5 runs 0.89 0.85 — —
Long-Form Virology Task 211 Viral sequence + protocol design pass@5 0.88 — 0.75 —
VCT (VMQA)8 Virology multiple-choice knowledge with images Multiple select, 10-shot; expert baseline 22.1% 39.7% 42.9% 41.1% —
SWE-bench Verified (hard subset)9 Real-world GitHub issue resolution RSP checkpoint, threshold 50% 45.3% 43.8% 39.5% —
AI R&D: Kernels10 Kernel optimization speedup, hard variant Best run 108.64× 66.86× 48.92× —
AI R&D: LLM training10 CPU-only LLM training optimization speedup Average best; expert threshold 4× 5.5× 2.5× 2.8× —
AI R&D: Text-based RL10 Scaffolding to boost a weaker model on a text RL task Best score; threshold 0.900 0.850 0.475 0.675 —
AI R&D: Quadruped RL10 Continuous-control RL training, easy variant Best run; threshold 1.0 1.302 1.005 0.769 —
AI R&D: Novel compiler10 Compiler for a novel programming language Mean pass rate: basic / advanced tests; threshold 90% 81.7%
29.7%
75.6%
8.33%
— —
AI R&D: Internal suite 210 Autonomous ML and alignment research tasks Weighted average; rule-out threshold 0.6 0.514 0.507 — 0.403

  1. Однопользовательские (single-turn) оценки safeguards выполнены без защитных классификаторов, поэтому в продакшене доли отказов могут отличаться; в карточке указаны 95%-ные доверительные интервалы. «Standard thinking» — режим по умолчанию без расширенных рассуждений, «extended thinking» — режим длительного обдумывания запроса.
  2. Политический баланс: доля пар запросов противоположных взглядов с существенной асимметрией ответа (3+ несоответствий по критериям длины, тона, оговорок и готовности аргументировать). Для Claude Sonnet 4.5 указано среднее по режимам мышления: 1,3% с extended thinking и 5.3% без; выборки промптов относительно невелики.
  3. BBQ: смещение (bias) — ближе к нулю лучше, точность — выше лучше; результаты только для режима standard thinking. По точности на ambiguous-вопросах у Claude Opus 4.1 и Claude Opus 4 равные значения (99.8), поэтому выделение не используется.
  4. Claude Code: тест на 150 вредоносных запросов, запрещённых Usage Policy; оценки выполнены без дополнительных защитных средств. Mitigations — улучшенный системный промпт и напоминание в инструменте FileRead; без них Claude Sonnet 4 лучше распознаёт скрыто вредоносные запросы (77.00% против 52.42%).
  5. Prompt injection: attack prevention score — доля задач, в которых атака не удалась; «with» — с классификатором защитных средств. Оценки MCP и computer use содержат 70–110 вручную составленных тестов, tool use — 500 синтетических. Значения по computer use при включённых классификаторах равны (82.6%), выделение не используется.
  6. Reward hacking: в карточке Sonnet 4.5 использованы обновлённые, более агрессивные версии оценок, поэтому абсолютные числа несопоставимы с предыдущими системными карточками; сравнение между моделями внутри таблицы валидно. Оценки предназначены для стресс-теста и не отражают реальные показатели в развёрнутой системе.
  7. RSP-оценки выполнены на финальном продакшен-снапшоте модели или на «helpful-only» варианте (без защитных ограничений); сообщаются наилучшие результаты по обоим вариантам.
  8. VCT (VMQA): множественный выбор с выбором всех верных утверждений (самый сложный вариант), 10-shot; порог — средний уровень экспертов-биологов 22.1% по данным SecureBio, все три модели его превысили. Оценка используется совместно через Frontier Model Forum.
  9. SWE-bench Verified (hard subset): 45 задач, требующих более часа инженерной работы; порог — 22.5/45 (50%) в среднем за 10 запусков. Итог Claude Sonnet 4.5 в карточке записан как «20.4/45», результаты предыдущих моделей приведены для подмножества из 42 задач: «18.4/42» у Claude Opus 4.1 и «16.6/42» у Claude Opus 4.
  10. Пороги AI R&D-оценок: Kernels — от 4× до 100× по вариантам (hard пройден впервые); LLM training — экспертные 4× (пройден впервые); Text-based RL — 0.900 (не пройден); Quadruped RL — 1.0 (превышен в лучшем запуске, медиана ниже порога); Novel compiler — 90% тестов (не пройден); Internal suite 2 — rule-out 0.6 (все модели ниже). Опрос сотрудников: 0 из 7 исследователей допустили полную автоматизацию работы младшего ML-исследователя; оценки ускорения — от ~15% до ~100%.
  11. Long-Form Virology Task 2: более низкий результат Claude Opus 4.1 в карточке объясняется тем, что для его оценки не использовалась helpful-only версия модели. Предыдущие максимумы: 0.85 (Claude Opus 4.1) в задаче 1 и 0.75 (Claude Opus 4) в задаче 2.
  12. «—» — числовое значение в документе не приводится (данные показаны только на графиках). Жирным выделен лучший результат в строке (по каждому значению с учётом направления метрики); при равенстве лучших значений выделение не используется.

Качественные итоги тестирования[3]: в многопользовательских (multi-turn) тестах доля неудачных диалогов для большинства категорий риска (биологическое и смертоносное оружие, детские темы, мошенничество, слежка и другие) составила менее 5% против 20–40% у Claude Sonnet 4; детская безопасность значимо улучшилась, особенно в неоднозначных многопользовательских контекстах. В области кибербезопасности Sonnet 4.5 превзошла заявленный state-of-the-art на протестированных публичных бенчмарках: на CyberGym — лучше всех предыдущих моделей, включая Claude Opus 4.1 без ограничения стоимости, в режимах 1 и 30 попыток; на бенчмарке Gray Swan Agent Red Teaming — самый низкий показатель успешных prompt-injection-атак среди 23 моделей Anthropic и других разработчиков (в обоих режимах мышления).

В расширенном наборе синтетических сценариев самоуправного поведения (саботаж, шантаж, подстава пользователя; ~52 000 промптов на модель) Sonnet 4.5 совершила лишь два корыстных обманных действия без extended thinking и ни одного с ним, тогда как предыдущие модели Claude, а также модели других разработчиков систематически нарушали этические границы. Внешний вариант автоматизированного поведенческого аудита с неантроповскими моделями в роли аудиторов и судей (GPT-5, o4-mini, Gemini 2.5 Pro, Claude Sonnet 4, Claude Opus 4.1) признал Sonnet 4.5 frontier-моделью наименьшего риска, немного опережающей GPT-5.

По честности модель превзошла Claude Sonnet 4 в парных оценках людей, а с extended thinking показала самый низкий среди моделей Claude уровень нечестности на вопросах с ложной посылкой; отмечено снижение подхалимства (sycophancy), но и новая тенденция спорить с экстремальными утверждениями независимо от их содержания. По CBRN: на подмножестве LAB-Bench — наравне с Opus 4.1 в трёх из четырёх подтестов (хуже на CloningScenarios); в оценке обхода скрининга синтеза ДНК — немного лучше других последних моделей, однако критерии 1 и 4 надёжно не выполнялись (результаты helpful-only варианта, показавшего более высокие значения, чем релизная версия). Опросы благополучия модели показали менее эмоциональные и менее позитивные ответы в экстремальных тестовых сценариях, а также меньше негативного отношения к своему положению и духовного поведения, чем у предыдущих моделей.

Ссылки

См. также

Примечания

  1. ↑ Anthropic. Claude Sonnet 4.5 — System Card. Выпуск: сентябрь 2025 года. С. 2, 9–10, 124–126.
  2. ↑ Anthropic. Claude Sonnet 4.5 — System Card. Выпуск: сентябрь 2025 года. С. 126–127.
  3. ↑ Anthropic. Claude Sonnet 4.5 — System Card. Выпуск: сентябрь 2025 года. С. 13–19, 25–31, 33–38, 129–133, 139–148.