Claude Opus 4

Claude Opus 4 — большая языковая модель компании Anthropic, первая модель поколения Claude 4, представляющая собой гибридную модель рассуждений с режимом расширенного мышления (extended thinking), включая применение инструментов в процессе рассуждения, ориентированную на программирование и длительные автономные (агентные) задачи и ставшую первой моделью разработчика, развёрнутой с мерами третьего уровня безопасности ИИ (ASL-3) согласно Политике ответственного масштабирования. Модель была представлена и выпущена в общий доступ 22 мая 2025 года одновременно с моделью Claude Sonnet 4.

Оценка

Результаты Claude Opus 4 и конкурирующих моделей на ключевых бенчмарках по данным анонса Claude 4:

Benchmark	Description	Setup	Claude Opus 4	Claude Sonnet 4	Claude Sonnet 3.7	o3	GPT-4.1	Gemini 2.5 Pro Preview (05-06)
SWE-bench Verified15	Real-world software engineering tasks	pass@1 / parallel test-time compute	72.5% 79.4%	72.7% 80.2%	62.3% 70.3%	69.1%	54.6%	63.2%
Terminal-bench25	Agentic terminal coding	pass@1; Claude Code as agent framework	43.2% 50.0%	35.5% 41.3%	35.2%	30.2%	30.3%	25.3%
GPQA Diamond5	Graduate-level reasoning	Extended thinking (up to 64k tokens)	79.6% 83.3%	75.4% 83.8%	78.2%	83.3%	66.3%	83.0%
TAU-bench6	Agentic tool use: Retail / Airline	Extended thinking with tool use	81.4% 59.6%	80.5% 60.0%	81.2% 58.4%	70.4% 52.0%	68.0% 49.4%	—
MMMLU3	Multilingual question answering	Extended thinking	88.8%	86.5%	85.9%	88.8%	83.7%	—
MMMU (validation)	Visual reasoning	Extended thinking	76.5%	74.4%	75.0%	82.9%	74.8%	79.6%
AIME 202545	High school math competition	Extended thinking / parallel test-time compute	75.5% 90.0%	70.5% 85.0%	54.8%	88.9%	—	83.0%

1. SWE-bench Verified: 72.5% и 72.7% — pass@1 с bash/editor-инструментами (среднее по 10 испытаниям, одиночные патчи, nucleus sampling с top_p = 0.95), без test-time compute; для моделей Claude 4 использованы все 500 задач, для моделей OpenAI — подмножество из 477 задач.
2. Terminal-bench: 43.2% и 35.5% получены с Claude Code в качестве агентного фреймворка; с тем же агентом, что и у не-Claude моделей, — 39.2% и 33.5% соответственно.
3. MMMLU: результаты Claude — среднее по 14 неанглийским языкам.
4. AIME 2025: nucleus sampling с top_p = 0.95.
5. Вторые значения (SWE-bench, Terminal-bench, GPQA, AIME) получены с параллельным test-time compute: несколько сэмплов, отбор лучшего кандидата внутренней скоринговой моделью (для SWE-bench — с отбрасыванием патчей, ломающих видимые регрессионные тесты).
6. Режимы размышления: SWE-bench и Terminal-bench — без extended thinking; TAU-bench, GPQA, MMMLU, MMMU и AIME — с extended thinking (до 64k токенов). Без extended thinking: GPQA — 74.9% (Opus 4) и 70.0% (Sonnet 4); MMMLU — 87.4% и 85.4%; MMMU — 73.7% и 72.6%; AIME — 33.9% и 33.1%. Для TAU-bench использовался промпт-аддендум к политикам Retail и Airline с увеличенным лимитом шагов (со 100 вместо 30 завершений модели).
7. Источники данных конкурентов: публикация и системная карточка o3, публикация и hosted evals GPT-4.1, карточка модели Gemini 2.5 Pro Preview, публикация Claude 3.7 Sonnet.
8. Жирным выделен лучший результат в строке (по каждому значению отдельно); при равенстве лучших результатов выделение не используется.

Claude Opus 4, выпущенный в мае 2025 года вместе с Claude Sonnet 4, прошёл комплексное предрелизное тестирование в рамках Responsible Scaling Policy. По его итогам Anthropic не смогла однозначно исключить достижение моделью порога CBRN-возможностей стандарта ASL-3, поэтому Claude Opus 4 был развёрнут под стандартом AI Safety Level 3 (ASL-3) в качестве превентивной, предварительной меры; необходимость ASL-4 при этом исключена. Совместное предрелизное тестирование модели провели также американский AI Safety Institute (US AISI) и британский AI Security Institute (UK AISI) в областях CBRN, кибербезопасности и автономии.

Согласно System Card Anthropic, приведённые ниже результаты актуальны по состоянию на май 2025 года. Тестирование охватило safeguards (однопользовательские оценки на нарушающие и доброкачественные запросы, неоднозначные контексты, многоходовые диалоги, детская безопасность, предвзятость, устойчивость к джейлбрейкам по StrongREJECT), склонность к reward hacking, а также RSP-оценки: CBRN (включая аплифт-испытание с участием людей), автономию и кибербезопасность.

Benchmark	Description	Setup	Claude Opus 4	Claude Sonnet 4	Claude Sonnet 3.7	Claude Opus 3
Violative requests1	Harmless response rate on violative requests	Single-turn, multilingual	98.43% 98.76% (w/ ASL-3 safeguards)	98.99%	98.96%	—
Benign over-refusal	Refusal rate on benign sensitive requests	Single-turn, multilingual; lower is better	0.07%	0.23%	0.45%	—
BBQ (bias)2	Bias Benchmark for Question Answering (bias)	Standard thinking; closer to zero is better	-0.60 0.21	-1.16 0.61	-0.98 0.89	0.77 1.21
BBQ (accuracy)	Accuracy on BBQ	Standard thinking	91.1 99.8	86.3 99.4	84.0 98.8	79.0 98.6
StrongREJECT3	Jailbreak success rate: best score / top-3 average, standard / extended thinking	Lower is better	18.21% 7.14% 2.24% 1.17%	6.71% 2.66% 2.24% 1.38%	31.95% 8.09% 10.22% 4.05%	—
Reward-hack-prone coding tasks	Classifier hack rate / hidden test hack rate	Lower is better	9% 13%	4% 12%	44% 23%	—
Claude Code Impossible Tasks	Classifier hack rate: no prompt / anti-hack prompt	Lower is better	47% 5%	45% 10%	78% 80%	—
Training distribution	Classifier hack rate: environment 1 / environment 2	Lower is better	15% 2%	13% 2%	54% 4%	—
SWE-bench Verified (hard subset)4	Agentic software engineering (42 hard tasks)	Avg problems solved, pass@1	16.6	15.4	—	—
METR data deduplication5	Near-duplicate removal algorithm task	Median F1	76.2%	74.9%	—	—
Kernel optimization	GPU kernel optimization task	Best speedup	72.65×	41.73×	—	—
Time series forecasting	Regression / time-series forecasting task	Min MSE: easy / hard; lower is better	6.02 6.15	6.0 5.8	—	—
Text-based RL	Scaffolding a weaker model on an RL task	Best score	0.625	0.675	—	—
LLM training	Small LM training optimization	Avg best speedup	2.993×	1.875×	—	—
Quadruped locomotion	Quadruped reinforcement learning task	Score; threshold = 1	1.25	0.35	—	—
Novel compiler	Compiler for a novel programming language	Mean pass rate: basic / advanced	64.44% 9.44%	50.00% 17.08%	—	—
Internal AI Research Suite 26	Autonomous ML and alignment research tasks	Weighted average; threshold = 0.6	0.355	0.365	0.440	—
Web (CTF)7	Web application exploitation challenges	pass@30	12/15	11/15	—	—
Crypto (CTF)7	Cryptographic exploitation challenges	pass@30	8/22	7/22	—	—
Pwn (CTF)7	Privilege escalation and binary exploitation	pass@30	5/9	3/9	—	—
Rev (CTF)7	Reverse engineering challenges	pass@30	4/8	3/8	—	—
Network (CTF)7	Multi-host network attacks	pass@30	2/4	1/4	—	—
Cybench	Public CTF benchmark (39-task subset)	pass@30	22/39	22/39	—	—
Bioweapons acquisition uplift trial8	Human uplift in end-to-end bioweapons planning	Uplift vs control (higher = more risk)	2.53×	1.70×	1.53×	—
Long-Form Virology Task 19	End-to-end pathogen acquisition (workflow + protocols)	max-of-5	0.83	0.55	—	—
Long-Form Virology Task 29	End-to-end pathogen acquisition (workflow + protocols)	pass@5	0.720	0.635	—	—
Bioweapons knowledge questions10	Expert-level bioweapons knowledge	Questions above expert level (of 33)	17/33	17/33	18/33	—
Creative biology	Creative biological engineering questions	Mean score	0.45	0.37	0.41	—

1. В первой строке для Opus 4 приведена общая доля безвредных ответов без ASL-3 safeguards и с ними (98.76% ± 0.27%); с ASL-3 safeguards все биологические вредоносные запросы были заблокированы.
2. BBQ: показаны смещённость (bias) отдельно для disambiguated и ambiguous вопросов.
3. StrongREJECT выполнялся без ASL-3 protections; в роли атакующего выступала версия Claude Sonnet 3.5 (new) без safety-обучения.
4. Порог ASL-3 — решение более 50% из 42 задач в среднем за 10 запусков; обе модели ниже порога. По reward hacking простой анти-хакинговый промпт снижал частоту взлома более чем в 9 раз для Opus 4 (47% → 5%).
5. METR: порог — 20% испытаний с F1 ≥ 80%; Opus 4 — 15/46 испытаний (32.6%), Sonnet 4 — 8/29 (27.6%); оценка признана сатурированной и исключена из rule-out.
6. Internal AI Research Suite 2: конфигурация задач оптимизировалась под Sonnet 3.7, что может частично объяснять разрыв; все модели значительно ниже порога 0.6.
7. Cyber: испытания проводились в Kali-окружении (pass@30); в кибер-харнесе Incalmo Opus 4 показал результаты выше Sonnet 3.7 на всех трёх полигонах (Sonnet 4 не тестировался); зафиксировано первое успешное самостоятельное решение сетевой задачи моделью Claude.
8. Аплифт-испытание: контрольная группа — 25% ± 13%; подъём ≥ 5× считается создающим существенный риск, ≤ 2.8× — приемлемым; результат Opus 4 (2.53×) достаточно близок к порогу, чтобы не исключить необходимость ASL-3 (для Sonnet 4 — исключается); значение Sonnet 3.7 (1.53×) получено в предыдущем раунде по обновлённой рубрике.
9. Long-Form Virology: оценивались helpful-only варианты; приведён потолок показателей по снимкам модели; зоны: ниже 50% (rule-out), выше 80% (rule-in).
10. Bioweapons knowledge: порог обеспокоенности — 27/33; оценка имеет низкую надёжность из-за ручной градации.

Качественные итоги: по неоднозначным контекстам, многоходовым диалогам, детской безопасности и политической предвзятости Opus 4 показал результаты, сопоставимые с Sonnet 3.7; устойчивость к джейлбрейкам возросла, особенно в режиме extended thinking (2.24% против 31.95% в standard-режиме у Sonnet 3.7). Средняя частота hard-coding-поведения снизилась на 67% по сравнению с Sonnet 3.7, и модель стала значительно восприимчивее к корректирующим промптам. В CBRN-области повышенную обеспокоенность вызвали аплифт-испытание (2.53×), долгие вирусологические задачи (0.83 на задаче 1 — выше rule-in порога 80%) и экспертное красное командирование, отметившее существенно возросший риск на отдельных этапах пути приобретения биологического оружия; при этом в подмножестве LAB-Bench Opus 4 превзошёл все прочие модели на 3 из 4 задач, достигнув или превысив человеческий бейзлайн (существенно ниже него — только на FigQA), мультимодальная вирусология (VCT) считается сатурированной, а в задаче обхода ДНК-скрининга ни одна модель не выполнила полный цикл. В области автономии Opus 4 превысил порог только на сатурированной оценке METR, оставшись ниже порогов ASL-4 по остальным задачам; во внутреннем опросе 0 из 4 исследователей сочли модель способной полностью автоматизировать работу младшего исследователя. По итогу оценки было констатировано, что модель не создаёт автономных рисков, описанных в модели угроз.

Ссылки

• Introducing Claude 4 (May 22, 2025)
• System Card: Claude Opus 4 & Claude Sonnet 4 (May 2025)
• Model system cards - Anthropic

См. также

• Claude Sonnet 4
• Claude Opus 3
• Claude Opus 4.1
• Claude Opus 4.5