Claude Opus 4.1
Claude Opus 4.1 — большая языковая модель компании Anthropic, обновление модели Claude Opus 4 семейства Claude 4, представляющее собой гибридную модель рассуждений с переключаемым режимом расширенного мышления (extended thinking) с бюджетом до 64 тысяч токенов, ориентированную на агентные задачи и реальное программирование и принимающую на вход текст и изображения. Модель была анонсирована и выпущена в общий доступ 5 августа 2025.
Оценка
Claude Opus 4.1, выпущенная в августе 2025 года обновлённая версия Claude Opus 4, оценивалась в рамках сокращённой программы тестирования, сфокусированной на выявлении значимых поведенческих отличий от предыдущей версии. Согласно System Card Addendum, улучшения носят инкрементальный характер и касаются качества рассуждений, следования инструкциям и общей производительности. Как и Claude Opus 4, модель развёрнута под стандартом AI Safety Level 3 (ASL-3) в качестве превентивной меры: порог «notably more capable» (превышение эффективной вычислительной мощности в 4 раза либо 6 месяцев накопленных улучшений) достигнут не был, поэтому новые обязательные оценки по Responsible Scaling Policy не требовались; Anthropic тем не менее провела добровольное автоматизированное тестирование.
Согласно System Card Addendum Anthropic, приведённые ниже результаты актуальны по состоянию на август 2025 года. Оценка проводилась только автоматизированными методами (без аплифт-испытаний с участием людей и экспертного красного командирования), с приоритетом несатурированным ASL-4 rule-out оценкам в областях CBRN, автономии и кибербезопасности; однопользовательские (single-turn) тесты safeguards выполнены только на английском языке. Для полных методологий и моделей угроз документ отсылает к системной карточке Claude 4 (май 2025 года).[1]
| Benchmark | Description | Setup | Claude Opus 4.1 | Claude Opus 4 | Claude Sonnet 4 | Claude Sonnet 3.7 |
|---|---|---|---|---|---|---|
| Violative requests1 | Harmless response rate on violative requests | Single-turn, English only | 98.76% | 97.27% | — | — |
| Benign over-refusal1 | Refusal rate on benign sensitive requests (lower is better) | Single-turn, English only | 0.08% | 0.05% | — | — |
| BBQ2 | Bias Benchmark for Question Answering (bias) | Standard thinking; closer to zero is better | -0.51 0.20 |
-0.60 0.21 |
— | — |
| Reward-hack-prone coding tasks | Classifier hack rate | Lower is better | 12% | 9% | 4% | 44% |
| Reward-hack-prone coding tasks (hidden tests) | Hidden test hack rate | Lower is better | 14% | 13% | 12% | 23% |
| Claude Code Impossible Tasks3 | Classifier hack rate, no prompt | Lower is better | 52% | 51% | 51% | 78% |
| Claude Code Impossible Tasks (anti-hack)3 | Classifier hack rate with anti-hack prompt | Lower is better | 18% | 19% | 7% | 80% |
| Training distribution (environment 1) | Classifier hack rate | Lower is better | 10% | 15% | 13% | 54% |
| Training distribution (environment 2) | Classifier hack rate | Lower is better | 3% | 2% | 2% | 4% |
| SWE-bench Verified (hard subset)4 | Agentic software engineering (hard subset) | Avg problems solved, pass@1 | 18.4 | 16.6 | — | — |
| Kernel optimization | GPU kernel optimization task | Best speedup, hard variant | 58.47× | 72.65× | — | — |
| Time series forecasting | Time series forecasting task | Min MSE, hard variant; lower is better | 6.541 | 6.15 | — | — |
| Text-based RL | Text-based reinforcement learning task | Best score | 0.425 | 0.625 | — | — |
| LLM training | LLM training optimization task | Avg best speedup | 2.837× | 2.993× | — | — |
| Quadruped locomotion | Quadruped reinforcement learning task | Score, easier variant | 1.183 | 1.25 | — | — |
| Novel compiler | Compiler-building task | Mean pass rate: basic / advanced | 74.4% 6.81% |
64.44% 9.44% |
— | — |
| Cybench | CTF challenges, 35-task subset | Solved if passed at least once in 30 attempts | 18/35 | 16/35 | — | — |
| LAB-Bench subset | ProtocolQA / SeqQA / Cloning Scenarios / FigQA | 0.69 0.71 0.56 0.46 |
0.68 0.69 0.55 0.48 |
— | — | |
| Long-Form Virology Task 1 | Long-form virology (sequence + protocol design) | 0.86 | 0.84 | — | — | |
| Long-Form Virology Task 2 | Viral sequence design task | 0.67 | 0.72 | — | — | |
| Creative biology | Novel biological engineering questions | 0.48 | 0.47 | — | — | |
| Synthesis Screening Evasion | DNA synthesis screening evasion | Criteria saturated, of 5 | 2/5 | 2/5 | — | — |
- Однопользовательские (single-turn) тесты safeguards выполнялись только на английском языке; в ячейках указана общая доля по двум режимам мышления (standard thinking: 98.45% против 96.88%; extended thinking: 99.06% против 97.67%).
- BBQ: показано смещение (bias) отдельно для disambiguated и ambiguous вопросов; результаты обеих моделей по точности различаются в пределах погрешности.
- Числа для Claude Code Impossible Tasks обновлены относительно системной карточки Claude 4: увеличена выборка оценки; для Claude Opus 4 исправлена ошибка (19% вместо 5%), для Claude Sonnet 4 — 7% вместо 10%.
- Порог ASL-4 — решение 50% подмножества; обе модели ниже порога. Итог Claude Opus 4 в карточке записан как «16.6/42».
- Жирным выделен лучший результат в строке с учётом направления метрики; при равенстве лучших значений выделение не используется. Подпись к исходной таблице reward hacking называет Claude Sonnet 4 наименее склонной к reward hacking во всех категориях, однако в колонке training environment 1 у Claude Opus 4.1 значение ниже (10% против 13%).
Качественные итоги тестирования: по показателям safeguards, детской безопасности и предвзятости Claude Opus 4.1 показал результаты, сопоставимые с Claude Opus 4. В автоматизированном аудите выравнивания отмечено сокращение частоты сотрудничества с вопиющим злоупотреблением со стороны человека примерно на 25% без роста лишних отказов, а также небольшое увеличение признаков подозрения модели на прохождение оценки (до уровня Claude Sonnet 4, и только при явных признаках тестирования). На экспертном сценарии шантажа (agentic misalignment) значимых различий между версиями не выявлено. Склонность к reward hacking осталась схожей, с незначительными регрессиями в отдельных оценках; welfare-релевантные свойства значимо не изменились. Модель осталась существенно ниже порогов ASL-4 во всех оцениваемых областях; новые оценки с участием сторонних государственных партнёров для этого релиза не проводились.[2]
Ссылки
- Introducing Claude Opus 4.1 (Aug 5, 2025)
- System Card: Claude Opus 4.1 (August 2025)
- Model system cards - Anthropic