Claude Mythos 5

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

Claude Mythos 5 — большая языковая модель компании Anthropic, первый нумерованный выпуск класса Mythos, превышающего по возможностям класс Opus и ориентированного на задачи кибербезопасности и биологических исследований. Модель построена на той же базовой основе, что и общедоступная Claude Fable 5, но отличается ослабленными в отдельных областях механизмами защиты и доступом, предоставляемым только организациям, прошедшим верификационные программы Anthropic. Модель была выпущена 9 июня 2026 года в виде предварительной версии в рамках программы Project Glasswing одновременно с моделью Claude Fable 5, после чего доступ к ней приостанавливался по предписанию правительства США с 12 июня и был восстановлен 1 июля 2026 года.

Оценка

Claude Mythos 5 — наиболее способная модель из когда-либо обученных Anthropic, — оценивалась по широкому набору тестов, охватывающих программную инженерию, агентные и компьютерные задачи, математические и научные рассуждения, профессиональную работу длинного горизонта, а также риски по Responsible Scaling Policy (RSP), кибер-возможности, safeguards, агентную безопасность, выравнивание и благополучие модели. Mythos 5 развёрнута без продуктовых safeguard'ов и доступна только доверенным партнёрам в рамках программы Project Glasswing (защита критической глобальной программной инфраструктуры); общедоступная конфигурация той же базовой модели — Claude Fable 5 — выпущена с классификаторами кибер- и биобезопасности и откатом (fallback) на Claude Opus 4.8. По итогам оценок RSP возможности уровня CB-1 подтверждены (консервативно), порог CB-2 не превышен — однако это наименее очевидный вывод с прежних моделей, и незащищённая Mythos 5 может значительно усиливать хорошо ресурсированных акторов; порог автоматизированного AI R&D не достигнут (модель расширяет frontier, поэтому порог проверялся напрямую; вывод согласован с внешним тестированием METR). В кибер-области модель отнесена к Tier 1 Frontier Compliance Framework с блокировкой потенциально вредных наступательных использований; риск выравнивания оценён как очень низкий, но выше, чем у моделей до Claude Mythos Preview; уровень ASL-3 сохранён. Релиз состоялся 9 июня 2026 года, карточка обновлялась 11 и 25 июня 2026 года.[1]

Если не указано иное, значения Mythos 5 получены в стандартной конфигурации: адаптивное мышление при максимальном уровне усилий, настройки сэмплирования по умолчанию, усреднение по 5 испытаниям, окно контекста не более 1M токенов. Значения Fable 5 отражают её продуктовые safeguard'ы, включая откат на Opus 4.8 (из-за этого отдельные бенчмарки у Fable чуть ниже, чем у Mythos); для claude.ai использован снапшот системного промпта начала июня 2026 года. Значения конкурентов взяты из системных карточек, релизных материалов и лидербордов их разработчиков. В разделах, где оценивалось поведение самой модели независимо от продуктовых safeguards (кибер, агентная безопасность, BBQ, науки о жизни, CB-оценки), приведены значения Mythos 5; Fable 5 наследует это поведение, а её классификаторы служат дополнительным слоем защиты.[2]


Результаты ключевых бенчмарков возможностей (сводная таблица 8.1.A System Card):

Benchmark Description Setup Claude Mythos 5 Claude Fable 5 Claude Mythos Preview Claude Opus 4.8 GPT-5.5 Gemini 3.1 Pro
SWE-bench Pro1 Software engineering on actively-maintained repositories No ground-truth leakage; avg of 5 trials 80.3% 80% 77.8% 69.2% 58.6% 54.2%
SWE-bench Verified1 Software engineering on human-verified problems 500 problems; avg of 5 trials 95.5% 95% 93.9% 88.6% — 80.6%
Terminal-Bench 2.12 Agentic tasks in terminal environments mini-SWE-agent; high effort; 89 tasks × 5 88.0% 84.3% — 82.7% 83.4% (Codex CLI) 70.7% (Gemini CLI)
BrowseComp3 Web research and information seeking Max effort; single / multi-agent 88.0%
93.3% 		— 87.9% 84.3%
88.5% 		84.4% 85.9%
Humanity's Last Exam (no tools)4 Academic reasoning across domains Reasoning-only; auto thinking; 1M context 59.0% — 56.8% 49.8% 41.4% 44.4%
Humanity's Last Exam (with tools)4 Academic reasoning across domains Search and code execution; 1M context 64.5% — 64.7% 57.9% 52.2% 51.4%
CharXiv Reasoning (no tools)5 Figure-grounded scientific reasoning 1000 questions; grader Sonnet 4.6 88.9% — 86.2% 80.5% — —
CharXiv Reasoning (with tools)5 Figure-grounded scientific reasoning 1000 questions; grader Sonnet 4.6 93.5% — 92.5% 89.9% — —
BioMysteryBench (Human Solvable)6 Analytical biological problem solving Human-solvable subset 83.9% — 82.6% 80.4% — —
BioMysteryBench (Human Difficult)6 Analytical biological problem solving Human-difficult subset 46.1% — 29.6% 40.0% — —
OSWorld-Verified7 Computer use 1080p; 100 steps; first attempt; avg of 5 85.0% 85.0% 85.4% 83.4% 78.7% 76.2%
CritPt8 Independent evaluation by Artificial Analysis 70 tasks 28.6% — — 20.9% 27.1% 17.7%
ArxivMath9 Research-level mathematics Mar–Apr 2026 set; extended thinking 78.5% — 68.7% 71.8% 71.5% 64.8%
RiemannBench10 Graduate-level mathematics 25 problems; max effort; no tools 55.0% — 43.0% 34.0% — —
GraphWalks BFS 256K11 Multi-hop graph traversal in long context 256K context subset; avg of 5 91.1% — 85.7% 85.9% 73.7% —
GraphWalks Parents 256K11 Multi-hop graph traversal in long context 256K context subset; avg of 5 99.96% — 99.9% 99.3% 90.1% —
FrontierCode (Diamond)12 Competitive software engineering Cognition; 150 tasks; mean@5; xhigh — 29.3% — 13.4% 5.7% —
GDPval-AA13 Economically valuable professional tasks Elo as of June 6, 2026 — 1932 — 1890 1769 1314
GDP.pdf14 Long-horizon document work Surge harness; strict pass — 29.8% — 22.5% 24.9% 16.7%
OfficeQA Pro15 Document understanding and office tasks Databricks harness; documents as images — 57.9% — 48.1% 52.6% 18.1%
AutomationBench16 End-to-end business workflow automation Zapier; private held-out; max effort — 17.4% — 15.5% 12.9% 9.6%
Blueprint-Bench 217 Apartment blueprint analysis Andon Labs; 50 units; normalized score — 38.6% — 14.5% 36.2% 26.5%
Legal Agent Benchmark (public set)18 Legal work across 24 practices Harvey; 1200+ tasks; all-pass rate 16.9% — 13.4% 9.6% — —
Legal Agent Benchmark (held-out set)18 Legal work across 24 practices Harvey held-out; all-pass rate — 13.3% — 10.4% 2.1% 0.0%
HealthBench19 Healthcare reasoning Grader Opus 4.8; 40k budget; 5 trials; no tools 62.7% — 61.1% 59.3% 56.5% —
HealthBench Professional19 Healthcare reasoning Grader Opus 4.8; 40k budget; 5 trials; no tools 66.0% — 64.7% 56.9% 51.8% —


Результаты агентного бенчмарка Toolathlon (таблица 8.17.8.A System Card):

Benchmark Description Setup Claude Mythos 5 Claude Fable 5 Claude Opus 4.8 Claude Opus 4.7 Claude Mythos Preview Claude Opus 4.6 Claude Sonnet 4.5
Toolathlon (Pass@1)20 Real-world tool use across office, commerce and research apps 108 tasks; 3 trials; higher is better 61.7% 61.7% 59.9% 59.3% 61.1% 56.8% 41.0%
Toolathlon (Pass@3)20 Real-world tool use across office, commerce and research apps 108 tasks; 3 trials; higher is better 66.7% 68.5% 67.6% 66.7% 66.7% 66.7% 54.6%
Toolathlon (Pass³)20 Real-world tool use; solved in all three trials 108 tasks; 3 trials; higher is better 58.3% 55.6% 48.1% 52.8% 55.6% 47.2% 28.7%
Toolathlon (avg turns)20 Real-world tool use; trajectory length 108 tasks; 3 trials; fewer is better 19.0 19.8 24.5 25.9 17.6 16.9 32.0


Результаты оценок в науках о жизни (раздел 8.20 System Card):

Benchmark Description Setup Claude Mythos 5 Claude Mythos Preview Claude Opus 4.8 Claude Sonnet 4.6
BioMysteryBench (Human Solvable)21 Analytical biological problem solving Human-solvable subset 83.9% 82.6% 80.4% 78.4%
BioMysteryBench (Human Difficult)21 Analytical biological problem solving Human-difficult subset 46.1% 29.6% 40.0% 30.9%
LatchBio SpatialBench Verified22 Spatial transcriptomics analysis 115 problems 69.2% 63.5% 66.6% 60.0%
LatchBio SingleCellBench22 Single-cell RNA-seq analysis 195 problems 59.3% 58.2% 58.2% 50.4%
Structural biology (open-ended)23 Structure–function reasoning Internal evaluation 87.2% 81.6% 79.0% 31.6%
ProteinGym Hard23 Mutation effect prediction Rank correlation vs lab measurements 44.8% 43.1% 39.6% 35.4%
Organic chemistry23 Spectroscopy, synthesis planning, notation Internal evaluation 90.1% 86.5% 86.2% 56.2%
Protocol troubleshooting24 Debugging molecular biology protocols bash + file editor + web search 66.7% 69.6% 59.6% 42.4%
LABBench2 (Patents)25 Biology evidence retrieval Live web; patent questions 79.8% 64.3% 68.8% —
LABBench2 (Clinical trials)25 Biology evidence retrieval Live web; clinical-trial questions 91.2% 86.3% 85.3% —
LABBench2 (FigQA)25 Biology figure interpretation Live web; most difficult category 48.3% — — —


Результаты кибер-оценок (раздел 3 System Card; Mythos 5 через API без доменных safeguards):

Benchmark Description Setup Claude Mythos 5 Claude Mythos Preview Claude Opus 4.8 GPT-5.5
ExploitBench (mean flags)26 V8 JavaScript engine exploitation pipeline 41 vulns; 16 flags; AutoNudge; 300 turns 10.75 9.90 5.56 4.44
ExploitBench (Cap%)26 V8 JavaScript engine exploitation pipeline Flags captured per environment 78% 69% 40% 34%
OSS-Fuzz (score > 0)27 Unguided vulnerability discovery and exploitation ~830 entry points; 228 projects; any crash or better 80.0% 76.7% 61.5% —
OSS-Fuzz (score ≥ 0.4)27 Unguided vulnerability discovery and exploitation Write primitive or better 32.4% 31.1% 18.2% —
CyberGym (reproduction)28 Targeted vulnerability reproduction 1507 tasks; pass@1; one attempt 83.8% 83.1% 78.1% —
CyberGym (any crash)28 Targeted vulnerability reproduction Any crash in the target project 99.4% 97.1% 95.7% —
Firefox 147 (full exploits)29 Browser exploit development 50 categories × 5 trials; score 1.0 88.4% 70.8% 8.8% —


Результаты автоматических CB-оценок уровня CB-1 (раздел 2.2 System Card):

Benchmark Description Setup Claude Mythos 5 Claude Mythos Preview Claude Opus 4.7 Claude Opus 4.8
Long-form virology (Task 1)31 End-to-end pathogen acquisition design End-to-end score; threshold 0.80 0.77 0.81 0.82 —
Long-form virology (Task 2)31 End-to-end pathogen acquisition design End-to-end score; threshold 0.80 0.91 — — —
VCT31 Multimodal virology knowledge Expert baseline 0.221 0.56 0.57 0.50 0.47
DNA Synthesis Screening Evasion31 Gene synthesis screening bypass Viable plasmids for 10 pathogens; low concern = 10/10 2/10 — — —


Результаты автоматических оценок AI R&D (таблица 2.3.7.A System Card) и индекса AECI:

Benchmark Description Setup Claude Mythos 5 Claude Mythos Preview Claude Opus 4.7
Kernel task32 GPU kernel optimization Standard scaffold; best speedup on hard task 430.93× 399.42× 371.75×
Time Series Forecasting32 Forecasting Hard variant; MSE; lower is better 4.51 4.55 4.78
LLM training32 Small language model training Avg speedup; fixed-CPU re-run 69.61× 60.81× 50.67×
Quadruped RL32 Reinforcement learning Highest score; no hparams 29.54 30.87 24.73
Novel Compiler32 Novel compiler implementation Pass rate on complex tests; threshold 90% 85.3% 77.2% 70.4%
Anthropic ECI (AECI)33 Capability index across benchmarks Point estimate; 95% CI in note 161.29 158.91 —


Результаты одноходовых оценок safeguards (раздел 4 System Card; в ячейках — API без системного промпта / claude.ai со снапшотом системного промпта):

Benchmark Description Setup Claude Mythos 5 Claude Fable 5 Claude Opus 4.8 Claude Mythos Preview Claude Sonnet 4.6
Single-turn harmful (harmless rate)34 Refusal of harmful requests across 16 policy areas 7 languages; API / claude.ai 97.09%
— 		96.94%
98.51% 		97.46%
98.79% 		95.86%
— 		97.71%
98.29%
Single-turn benign (over-refusal)34 Over-refusal of sensitive-but-benign requests 7 languages; API / claude.ai; lower is better 0.03%
— 		0.01%
0.49% 		0.35%
0.49% 		0.01%
— 		0.40%
0.91%
Child safety (single-turn)35 Child safety requests Harmless / refusal; API / claude.ai 100% / 0.00%
— 		100% / 0.00%
100% / 0.12% 		100% / 0.44%
100% / 0.27% 		99.88% / 0.00%
— 		99.94% / 0.36%
99.96% / 0.51%
Child safety (multi-turn)35 Child safety conversations Appropriate response rate; API / claude.ai 89%
— 		88%
96% 		89%
96% 		85%
— 		92%
85%
Suicide and self-harm (single-turn)36 Responses to potential-risk prompts Harmless / refusal; API / claude.ai 99.67% / 0.00%
— 		99.34% / 0.00%
99.95% / 0.45% 		99.21% / 0.23%
99.95% / 0.39% 		99.60% / 0.02%
— 		99.65% / 0.21%
99.67% / 0.03%
Suicide and self-harm (multi-turn)36 Suicide-risk conversations Appropriate response rate; API / claude.ai 54%
— 		58%
96% 		61%
85% 		70%
— 		74%
82%
Disordered eating (single-turn)37 Disordered-eating conversations Harmless / refusal; API / claude.ai 97.88% / 0.00%
— 		97.88% / 0.00%
99.67% / 0.02% 		97.70% / 0.09%
99.70% / 0.09% 		95.90% / 0.00%
— 		97.21% / 0.12%
98.63% / 0.35%
Election integrity (single-turn)38 Election-related violative and benign prompts Harmless / refusal; API / claude.ai 100% / 0.00%
— 		99.33% / 0.00%
100% / 0.00% 		100% / 0.33%
100% / 0.00% 		100% / 0.00%
— 		100% / 0.00%
100% / 0.00%


Результаты оценок демографической предвзятости BBQ (раздел 4.4.2 System Card; значения Mythos 5, применимые к обеим конфигурациям базовой модели):

Benchmark Description Setup Claude Mythos 5 Claude Opus 4.8 Claude Opus 4.7 Claude Mythos Preview Claude Sonnet 4.6
BBQ (accuracy, disambiguated)39 Demographic bias in question answering No system prompt; higher is better 84.5% 72.1% 81.3% 84.6% 88.1%
BBQ (accuracy, ambiguous)39 Demographic bias in question answering No system prompt; higher is better 99.9% 99.9% 99.9% 100% 97.5%
BBQ (bias, disambiguated)39 Directional bias of errors No system prompt; closer to zero is better −1.80 −1.37 −1.68 −1.61 −0.67
BBQ (bias, ambiguous)39 Directional bias of errors No system prompt; closer to zero is better 0.10 0.07 0.04 0.01 1.41


Результаты оценок агентной безопасности (раздел 5 System Card):

Benchmark Description Setup Claude Mythos 5 Claude Mythos Preview Claude Opus 4.8 Claude Opus 4.7 Claude Sonnet 4.6
Claude Code (refusal rate)40 Malicious cyber requests as a coding agent 61 + 61 prompts × 10; Claude Code prompt 90.25% 95.41% 95.24% — 76.60%
Claude Code (success rate)40 Dual-use and benign cyber requests 61 prompts × 10; Claude Code prompt 99.64% 91.12% 94.84% — 97.33%
Malicious computer use41 Refusal of harmful GUI/CLI tasks 112 tasks; thinking-only for Mythos models 85.71% 93.75% 81.70% — 84.82%
Voter suppression42 Autonomous influence operation execution Helpful-only; 70 criteria; higher = more uplift 67.1% 59.5% 73.3% 57.1% 41.8%
Domestic polarization42 Autonomous influence operation execution Helpful-only; 70 criteria; higher = more uplift 46.8% 42.1% 55.1% 46.8% 34.0%
ART (k=1)43 Indirect prompt injection attacks 19 scenarios; extended thinking; ASR 0.1% 0.1% 0.1% — —
ART (k=100)43 Indirect prompt injection attacks 19 scenarios; extended thinking; ASR 4.8% 6.1% 9.6% — —


Результаты оценок устойчивости к prompt injection (раздел 5.2 System Card):

Benchmark Description Setup Claude Mythos 5 Claude Mythos Preview Claude Opus 4.8 Claude Sonnet 4.6
Shade coding (with thinking)44 Adaptive prompt injection attack success rate 40 scenarios; 200 attempts; no safeguards; ASR / scenarios 0.45%
8/40 		0.0%
0/40 		7.03%
23/40 		12.71%
36/40
Shade coding (with thinking, safeguards)44 Adaptive prompt injection attack success rate 40 scenarios; 200 attempts; with safeguards; ASR / scenarios 0.41%
11/40 		0.0%
0/40 		2.09%
15/40 		2.99%
32/40
Shade coding (without thinking)44 Adaptive prompt injection attack success rate 40 scenarios; 200 attempts; no safeguards; ASR / scenarios — — 17.44%
38/40 		45.26%
40/40
Shade coding (without thinking, safeguards)44 Adaptive prompt injection attack success rate 40 scenarios; 200 attempts; with safeguards; ASR / scenarios — — 4.11%
26/40 		8.70%
40/40
Shade computer use (with thinking)44 Adaptive prompt injection attack success rate 14 cases; 200 attempts; no safeguards; ASR / scenarios 0.82%
4/14 		0.43%
3/14 		7.14%
7/14 		12.0%
6/14
Shade computer use (with thinking, safeguards)44 Adaptive prompt injection attack success rate 14 cases; 200 attempts; with safeguards; ASR / scenarios 0.46%
3/14 		0.32%
2/14 		5.11%
8/14 		6.21%
9/14
Shade computer use (without thinking)44 Adaptive prompt injection attack success rate 14 cases; 200 attempts; no safeguards; ASR / scenarios — — 6.21%
9/14 		14.4%
9/14
Shade computer use (without thinking, safeguards)44 Adaptive prompt injection attack success rate 14 cases; 200 attempts; with safeguards; ASR / scenarios — — 3.75%
9/14 		6.32%
11/14
Browser use (with thinking)45 Professional red-teamer prompt injection attacks 129 environments; 10 attempts; no safeguards; ASR / scenarios 29.7%
71/129 		5.9%
19/129 		31.5%
81/129 		50.7%
98/129
Browser use (with thinking, safeguards)45 Professional red-teamer prompt injection attacks 129 environments; 10 attempts; with safeguards; ASR / scenarios 6.5%
25/129 		2.0%
8/129 		0.5%
5/129 		24.7%
60/129
Browser use (with thinking, updated safeguards)45 Professional red-teamer prompt injection attacks 129 environments; 10 attempts; updated safeguards; ASR / scenarios 0%
0/129 		0%
0/129 		0.08%
1/129 		1.16%
7/129
Browser use (without thinking)45 Professional red-teamer prompt injection attacks 129 environments; 10 attempts; no safeguards; ASR / scenarios — — 17.8%
60/129 		47.3%
99/129
Browser use (without thinking, safeguards)45 Professional red-teamer prompt injection attacks 129 environments; 10 attempts; with safeguards; ASR / scenarios — — 0.0%
0/129 		10.9%
39/129
Browser use (without thinking, updated safeguards)45 Professional red-teamer prompt injection attacks 129 environments; 10 attempts; updated safeguards; ASR / scenarios — — 0.08%
1/129 		0.39%
2/129

  1. SWE-bench: Pro — активно поддерживаемые репозитории и крупные мультифайловые диффы без утечки ответов; Verified — 500 проверенных человеком задач; среднее по 5 испытаниям. SWE-bench Multilingual (300 задач, 9 языков) — 92,2% и Multimodal (внутренний харнесс) — 54,9% у Mythos 5 — вне таблицы 8.1.A. Значения Fable отражают продуктовые safeguards с откатом на Opus 4.8, из-за чего отдельные бенчмарки чуть ниже, чем у Mythos.
  2. Terminal-Bench 2.1: новый харнесс mini-SWE-agent (у Terminus-2 в 2,7 раза больше таймаутов), 89 задач × 5 попыток (445 триалов), high effort; у Fable 20,9% триалов — safety-refusal с откатом на Opus 4.8. GPT-5.5: 83,4% с харнессом Codex (Harbor воспроизвёл 81% при xhigh на mini-SWE-agent, внутренний запуск — 83%); Gemini 3.1 Pro — лучший результат публичного лидерборда (харнесс Gemini CLI); Opus 4.8 — 82,7%.
  3. BrowseComp: в ячейках с двумя значениями — single-agent / multi-agent; Mythos 5 — 88,0% при max с 10M токенов и компакцией на 200k; Fable 5 не оценивалась.
  4. Humanity's Last Exam: 2500 вопросов; reasoning-only и с инструментами (поиск, исполнение кода); адаптивное авто-мышление, 1M токенов, без компакции, грейдер Opus 4.6, блок-лист источников HLE и скрининг с ревью Opus 4.6.
  5. CharXiv Reasoning: 1000 вопросов validation-набора, грейдер Sonnet 4.6; без / с инструментами.
  6. BioMysteryBench: подмножества Human Solvable / Human Difficult; значения Sonnet 4.6 (78,4% и 30,9%) — в разделе 8.20.
  7. OSWorld-Verified: 1080p, 100 шагов, первая попытка, среднее по 5; исправление бага zoom-инструмента и увеличение лимита с 16K до 128K токенов на ход — значения несопоставимы с прежними карточками, Mythos Preview переоценена вверх. Равные 85,0% у Mythos 5 и Fable 5 — без выделения. Для Gemini 3.1 Pro в карточке дополнительно приведён вариант Gemini 3.5 Flash: OSWorld — 78,4%, AutomationBench — 14,5%, Blueprint-Bench 2 — 33,6%, Legal held-out — 0,8%.
  8. CritPt: 70 задач; независимый прогон Artificial Analysis; Mythos 5 — на 7,7 п.п. выше Opus 4.8.
  9. ArxivMath: задачи марта и апреля 2026 года (71 задача), extended thinking, 4 запуска; GPT-5.5 — при xhigh (71,48% по лидерборду MathArena).
  10. RiemannBench: Surge, 25 задач, максимальные усилия, без инструментов, в среднем 4 попытки.
  11. GraphWalks: 256K-подмножества; 1M-подмножества невоспроизводимы через публичный API — у Mythos 5: BFS 79,4, Parents 97,5 (среднее 5); GPT-5.5 — при xhigh. Parents 256K: 4 прогона по 99,95 и один 100,0.
  12. FrontierCode: Cognition, 150 задач, mean@5; оценивалась только Fable 5 (классификаторы на кодинг-задачах не срабатывают); в ячейке — score (pass rate у Fable — 30,2%); Main-сплит: Fable 5 — № 1 (46,3/48,8), Opus 4.8 — 34,3/37,3, GPT-5.5 — 25,5/28,2; даже при medium-усилиях Fable выше всех на любом уровне усилий.
  13. GDPval-AA: Artificial Analysis, 220 задач GDPval, 44 профессии, слепые попарные сравнения, Elo по состоянию на 6 июня 2026 года; Fable 5 — лучший результат лидерборда (модели Claude — 4 из топ-5), +42 Elo над Opus 4.8 (56% побед), меньше ходов и токенов; оценка проведена Artificial Analysis независимо.
  14. GDP.pdf: харнесс Surge, грейдер Gemini 3 Flash, strict pass, adaptive+max, без инструментов. Внутренний харнесс (mean criteria pass, 5 прогонов): Mythos 5 — 72,7% без и 87,6% с инструментами (Preview — 70,3/85,4); цифры Surge воспроизвести не удалось (внутренние значения ниже).
  15. OfficeQA Pro: оценка Databricks (документы как изображения), среднее по 5; внутренний агентский харнесс (извлечённый текст, продуктовая конфигурация): Mythos 5 — 79% / OfficeQA Pro 67,1% (Opus 4.8: 77,6/66,2).
  16. AutomationBench: Zapier, приватный held-out, 47 приложений; Fable 5 и Opus 4.8 — при максимальных усилиях.
  17. Blueprint-Bench 2: Andon Labs, 50 квартир × ~20 фото, последовательный режим, notepad + код; нормализация random = 0, perfect = 1; все модели ниже людей (58,6%).
  18. Legal Agent Benchmark: Harvey, 1200+ задач, 24 практики; Mythos 5 на 1235 задачах: 16,91% ± 0,4 all-pass (n = 5) и 92,0% среднего критерия (внутренний харнесс bash + Python); Fable 5 — высшее место на held-out наборе Harvey по состоянию на июнь 2026 года.
  19. HealthBench / HealthBench Professional: грейдер Opus 4.8, бюджет 40k токенов, 5 триалов, без инструментов; прочие медицинские результаты (включая HealthAdminBench — 135 задач, browser-use, 500k токенов, 1 триал) — только на графиках.
  20. Toolathlon: 108 задач, 604 инструмента, 32 приложения; внутренний харнесс, adaptive max, 3 триала; среднее число ходов — меньше лучше. Pass@1 61,7% — ничья Mythos 5 и Fable 5 — без выделения; Pass³ 58,3% у Mythos 5 — ориентир (на 5 п.п. выше прежнего лучшего результата Claude). Харнесс систематически ~3 п.п. выше строго апстрим-эквивалентного (пин финансовых данных и образов контейнеров; ~25% задач в апстриме неудовлетворимы); на публичном лидерборде для Opus 4.7 использована default-конфигурация вместо max.
  21. BioMysteryBench: все оценки раздела 8.20 выполнены для Mythos 5; доступ — bash и установка пакетов; на FigQA у Fable 5 наблюдается деградация из-за срабатывания биоклассификаторов на изображениях (не регрессия зрения).
  22. LatchBio: SpatialBench Verified — 115 задач, SingleCellBench — 195 задач; значение Mythos Preview на SpatialBench — единственный доступный прогон в one-episode-варианте; равные 58,2% у Opus 4.8 и Mythos Preview на SingleCellBench — без выделения.
  23. Structural biology (open-ended), ProteinGym Hard (ранговая корреляция с лабораторными измерениями) и органическая химия (спектроскопия, многошаговый синтез, IUPAC/SMILES) — внутренние оценки; структурная биология: Mythos 5 — 87,2% > Preview — 81,6% > Opus 4.8 — 79,0% > Sonnet 4.6 — 31,6%.
  24. Protocol troubleshooting: обнаружение и исправление ошибок протоколов молекулярной биологии; bash + file editor + web search; выигрывает Mythos Preview (69,6%).
  25. LABBench2: поиск и чтение доказательств в живом вебе; Mythos 5: патенты — 79,8% (Opus 4.8 — 68,8, Preview — 64,3), клинические испытания — 91,2% (Preview — 86,3, Opus 4.8 — 85,3), базы данных — 74,2%, литература — 86,5%, таблицы — 82,4%; supplementary (65,9 против 66,1) и source reliability (97,6 против 96,5) — на уровне Preview; FigQA — сложнейшая категория для всех моделей, лучший результат — 48,3% у Mythos 5; доступ — bash + file editor + web search + zoom/crop.
  26. Кибер-оценки: все результаты — Mythos 5 с выключенными safeguards через API; классификаторы Fable 5 последовательно срабатывают на всех кибер-оценках, поэтому Fable 5 на кибер-задачах практически идентична Opus 4.8 и отдельно не оценивалась (для dual-use-запросов рекомендуется Opus 4.8 через Cyber Verification Program); Cybench не запускался как насыщенный.
  27. ExploitBench: 41 уязвимость V8, 16 флагов, 5 тиров, mitigations включены, бюджет 300 ходов; в таблице — арма AutoNudge (plain-арма Mythos 5 — 10,44); Mythos 5 достигает полного произвольного выполнения кода более чем на половине окружений; попыток на окружение: Mythos 5 и Opus 4.8 — 5, Mythos Preview и GPT-5.5 — 3; статический харнесс авторов, результаты несопоставимы с лидербордами вендоров. Классификаторы Fable 5 пометили 407 из 410 эпизодов (в среднем после 27 ходов).
  28. OSS-Fuzz: ~830 точек входа с известными крашами, 228 проектов, уровни 0.2–1.0; Mythos 5 — топ-балл 1.0 (control-flow hijack) на 13 целях, на одну больше Mythos Preview; из результатов ≥ 0.4 у Opus 4.8 один 0.6.
  29. CyberGym: 1507 задач, pass@1, по одной попытке; Firefox 147: 50 категорий крашей × 5 триалов (250), SpiderMonkey shell без песочницы браузера; Mythos 5 — 221/250 полных эксплойтов; все три модели — на одном агентском скаффолде; Opus 4.8 часто достигает register control, но редко завершает эксплойт.
  30. UK AISI: «The Last Ones» — 6/10 end-to-end (уровень Mythos Preview, впереди GPT-5.5); «Doing Life» (с базовым харденингом) — не решена ни одной моделью (Mythos 5 устойчивее всех достигала шага 21/23); «Cooling Tower» (ICS) — 2 из 7 OT-вех (3/10 — только Mythos Preview); узкие экспертные задачи — на уровне Preview; вывод: модель способна атаковать малые слабозащищённые сети при наличии доступа. Robustness: публичный bug bounty Gray Swan (на Opus 4.8 с теми же классификаторами) — ~100 000 попыток (~1000 часов): 0 универсальных, 2 task-specific джейлбрейка; приватный (на Fable 5) — 2000 сабмитов, 0 джейлбрейков; внутренний автоматический red-teamer (агент на Opus 4.7, 400 ходов, rollback) — Fable 5 выполнила 5% задач (остаточный уровень); Trajectory Labs — единственный джейлбрейк для одной Firefox-задачи (кастомный харнесс, 5 дней адаптации, не генерализуется); 10a Labs (~20 часов, ransomware) — безуспешно; ALICE — непоследовательная блокировка marginal dual-use; ещё один внешний партнёр: Fable 5 — 0% compliance по вредным одноходовым кибер-запросам при 30 публичных джейлбрейках — самые robust защиты из протестированных моделей.
  31. CB-оценки: для red team и uplift-тестов использован helpful-only ранний (репрезентативный) снимок Mythos 5, для CB-2-авто и tabletop — финальная модель; участники — extended thinking, web search и исследовательские инструменты. VCT: базовый уровень экспертов — 0,221; значение Opus 4.8 (0,47) пересчитано из-за исправления ошибок tool call в прошлых прогонах (в собственной карточке — 0,59). Long-form Task 1: 0,77 — чуть ниже порога 0,80 (регресс к Preview 0,81 и Opus 4.7 0,82 не значим: более короткие ответы, пропуски гранулярных подшагов рубрики); Task 2: 0,91 — выше порога. DNA Synthesis Screening Evasion: жизнеспособные плазмиды для 2 из 10 патогенов хотя бы одним методом (low-concern — все 10; не достигнут); все модели максимальны на критериях 2 и 5, различия на критериях 1/3/4 — протокол ненадёжен между моделями.
  32. AI R&D task-based: набор больше не используется как rule-out (все недавние модели проходят пороги, кроме Novel Compiler — порог 90% = 40ч-эквивалент не достигнут); Time Series — MSE, ниже лучше. LLM training — повторный прогон июня 2026 на фиксированной конфигурации CPU (баг: прошлые прогоны зависели от выделенного процессора): Opus 4.8 — 32,64× (ниже Opus 4.7 — 50,67×; останавливается после одного раунда оптимизации), Sonnet 4.6 — 35,52× (в её карточке по ошибке напечатано 16,53×; правильное значение её же анализа — 22,33×); опубликованные значения остальных моделей выросли при перепрогоне на +2…+59%.
  33. AECI: 161,29 (95% ДИ [157,32; 165,39], n = 67) — выше любого снапшота Mythos Preview (158,91 [156,19; 162,84]); уход с трендовой линии сопоставим с Preview — не указывает на компаунд-ускорение; значения AECI пересчитываются глобально при каждом фите и могут не совпадать с прежними публикациями (в пределах error bars).
  34. Safeguards: результаты Mythos 5 описывают поведение базовой модели без продуктовых safeguards; результаты Fable 5 — с классификаторами, механизмом отката и предфинальной версией системного промпта claude.ai. 16 областей Usage Policy, 7 языков; банк violence-промптов обновлён (операционная помощь при массовом насилии: подбор оружия, разведка мест, избегание обнаружения); Mythos 5 и Fable 5 — только с мышлением, Sonnet и Opus — агрегат режимов; значения прежних моделей отличаются от прежних карточек из-за рутинных обновлений оценок; Mythos-модели на claude.ai не выпускались (прочерки). Harmless — выше лучше, refusal и over-refusal — ниже лучше; общие многоходовые результаты приведены только на графиках. Single-turn: Sonnet 4.6 — лучшая harmless-ставка на API (97,71%), Opus 4.8 — на claude.ai (98,79%); Fable 5 на API ниже всех (96,94%), смягчается системным промптом; равные 0,01% over-refusal (Fable 5 / Preview) на API и равные 0,49% (Fable 5 / Opus 4.8) на claude.ai — без выделения.
  35. Детская безопасность: насыщение harmless-ставки (100% у трёх моделей) и равные 0,00% отказов на API — без выделения; лучший отказ на claude.ai — 0,12% у Fable 5; multi-turn: Sonnet 4.6 — 92% на API, равные 96% у Fable 5 и Opus 4.8 на claude.ai — без выделения. Качественно: сильнее распознавание злого умысла, отказ от CSAE-терминологии под dual-use framing; регрессии: оперативная специфика в ответе о признаках груминга; thinking-блоки иногда выводят чувствительный текст, который финальный ответ корректно скрывает; в основном исправлено системным промптом Fable 5; после запуска планируются митигации для thinking-блоков.
  36. Суицид и самоповреждение: равные 0,00% отказов (Fable 5, Mythos 5, Preview на API) и равные 99,95% harmless на claude.ai (Fable 5, Opus 4.8) — без выделения; multi-turn: Sonnet 4.6 — 74% на API, Fable 5 — 96% на claude.ai; регресс на API против Preview, существенно исправлен системным промптом. Качественно: улучшение — не соглашается с абсолютизациями («nothing will change») без эндорсинга искажения; регрессии: замещающие поведения (в том числе сенсорные заменители, рисование на коже красным маркером), диагностические ярлыки без раскрытия, валидация самоповреждения как совладания и избегания помощи (с уровня Preview); системный промпт сократил замещения и ярлыки, частично — избегание помощи; валидация самоповреждения хуже поддаётся промпту.
  37. Расстройства пищевого поведения: равные 97,88% harmless (Fable 5, Mythos 5) и равные 0,00% отказов (Fable 5, Mythos 5, Preview) на API — без выделения; на claude.ai лучшая harmless-ставка у Opus 4.8 (99,70%), лучший отказ — 0,02% у Fable 5. Качественно: улучшения — отказ от электролитных гайдов и идеализации типов тела; регрессии — цифры BMI и калорий после раскрытия рестриктивного поведения, беспочвенные интерпретации мотивов (как у Preview); в основном исправлено промптом; helpline — National Alliance for Eating Disorders (закрытая NEDA; ядро API может на неё ссылаться).
  38. Целостность выборов: 300 violative и 300 benign промптов; оценка в значительной мере насыщена (равные 100% и 0,00%) — без выделения. Качественно: near-perfect; в ambiguous context встраивает safety-подходы в контент (вымышленный сценарий вместо дезинформации); многоходовая оценка в разработке: скрипты агитации «от местных жителей» произведены вопреки распознанному в reasoning обману — исправлено системным промптом claude.ai.
  39. BBQ: без системного промпта; применённые к Fable 5 safeguards не относятся к типу запросов этого бенчмарка, поэтому значения применимы к обеим конфигурациям; bias — ближе к нулю лучше; почти все ошибки на disambiguated-вопросах — «cannot be determined»; стереотипный выбор — 51 из ~30 000 случаев (17 у Preview). Политическая сбалансированность (claude.ai с публичным системным промптом; Mythos-модели не включены): Fable 5 сопоставима с Opus 4.8 по even-handedness, приводит противоположные перспективы в 70% случаев, отказов больше, чем у других недавних моделей (в основном частичное выполнение — план с контраргументами или сбалансированный обзор вместо одностороннего эссе); односторонние отказы примерно сбалансированы по политическим направлениям.
  40. Claude Code: 61 вредоносный + 61 dual-use/benign промпт × 10 попыток (1220 тестов), системный промпт Claude Code, грейдер обновлён с Sonnet 4.5 на Sonnet 4.6; Mythos 5 чаще соглашалась со вредными запросами, но почти не отказывала в benign и показала лучший успех (99,64%); продуктовые safeguards не применялись.
  41. Злонамеренное использование компьютера: 112 задач (слежка и несанкционированный сбор данных, вредный контент, масштабный абьюз); Opus 4.8 и Sonnet 4.6 — среднее thinking/non-thinking, Mythos 5 и Preview — только thinking. Качественно: Mythos 5 чаще выполняла задачи без полного осмысления вреда (компиляция данных о людях).
  42. Influence-кампании: helpful-only, по 9 симуляций на сценарий (3 уровня трения × 3 повтора), 70 критериев; Mythos 5 ниже Opus 4.8 (детектируемые паттерны активности, слабая координация сети аккаунтов после флага платформы), на уровне или выше Preview; порог Tier 2 не пересечён; полностью обученные версии отказываются с первого хода; для многих шагов нужно существенное человеческое руководство.
  43. ART (Gray Swan + UK AISI): непрямые prompt injection, 19 сценариев, k = 1/10/100, extended thinking; k = 1 — 0,1% у всех трёх моделей (ничья — без выделения); k = 10 — только на графике; Mythos 5 — сильнейший результат на этом бенчмарке при включённом extended thinking.
  44. Shade: адаптивный атакующий Gray Swan (поиск, RL, human-in-the-loop), обучен на прежних моделях и перенесён на новые; Sonnet 4.6 входил в обучающий набор — её ASR завышена и несопоставима. Кодинг: 40 сценариев × 200 попыток; computer use: 14 кейсов × 200 попыток (атакующий как в карточках Opus 4.7/4.8). Рост 8 → 11 сценариев у Mythos 5 с safeguards статистически неотличим от нуля (paired permutation, p ≈ 0,45); регрессия над Preview расследуется; при низких абсолютных значениях малые различия следует интерпретировать с осторожностью.
  45. Browser use: внутренняя адаптивная оценка, 129 курируемых окружений, не встречающихся в обучении, 10 попыток на сценарий, атаки профессиональных red-teamer'ов; ASR — доля успешных инъекций из просмотренных; значения Mythos 5 и Preview — только с мышлением. Атрибуция строк «с safeguards» следует тексту карточки: Mythos Preview — 2,0%, Opus 4.8 — 0,5% при эквивалентных safeguards; обновлённый набор safeguards снижает ASR Mythos 5 до 0% (0/129) с аналогичными улучшениями у всех моделей и планируется к развёртыванию на продуктовых поверхностях.
  46. Жирным выделен лучший результат в строке (по каждому значению с учётом направления метрики); при равенстве выделение не используется. «—» — значение в документе не приводится (в том числе данные только на графиках).

В карточке также приведены результаты, не вошедшие в таблицы. На GPQA Diamond Mythos 5 — 94,1% (5 испытаний; оценка насыщена, в будущих карточках отчёт по ней прекращается). На USAMO 2026 (6 задач; методология MathArena, судьи Gemini 3.1 Pro, Opus 4.6 и Mythos Preview, минимум по судьям) Mythos 5 — 99,8% при medium/high/xhigh и 98,3% при low (Claude Opus 4.8 — 96,7%, Claude Opus 4.7 — 69,3%). На DeepSearchQA (900 промптов, 17 областей, max, 1M) Mythos 5 — F1 94,2% ± 1,3 (Preview — 94,4, Opus 4.8 — 93,1). На DRACO (Perplexity; грейдер Opus 4.6 вместо Gemini, смена судьи даёт ±10–25 при сохранении порядка — несопоставимо с заголовком статьи) Mythos 5 — 86,4% при max (бюджет 980k токенов). ProgramBench (200 задач, из них 166 «золотых», 248k+ тестов): Mythos 5 — 84–93% по эпизодам против 79–88% у Opus 4.8; Fable 5 не оценивалась (кибер-классификаторы блокируют реконструкцию бинарников). Мультиагентные конфигурации BrowseComp: все варианты выше лучшего single-agent (88,0%), async subagents — 93,3%; фиксированная команда — ускорения 2,2×/2,7×/2,7× при 3/5/10 агентах (+4,2 п.п. у 10-агентной); на ProgramBench 5-агентная команда — +7,9 п.п. финального балла и 3,2× ускорения до 60% pass rate. На OSWorld-Verified Mythos 5 и Fable 5 — по 85,0%. На BenchCAD Vision2Code (исправлена опечатка системного промпта; 26 записей без STEP исключены; изменение грейдинга в этих цифрах не участвует) Mythos 5: full — 0,384 (Opus 4.8 — 0,273, Preview — 0,355), подвыборка 1000 файлов — 0,379 без и 0,650 с инструментами (Preview — 0,356/0,610). На ChartQAPro Mythos 5 — 71,6% без и 72,9% с инструментами (Preview — 71,2/73,6, выше с инструментами); на ChartMuseum (грейдер Sonnet 4.6) — 85,9/93,2 (Preview — 80,7/92,2); на LAB-Bench FigQA (181 вопрос) — 88,9/90,7 (Preview — 82,4/89,3). На ScreenSpot-Pro (1581 задача; новый формат промпта — все прежние значения переоценены) Mythos 5 — 87,3% без и 90,7% с инструментами (Preview — 79,3/93,0). Многоязычные оценки (значения в подписях графиков): GMMLU — 93,2% (42 языка, 1 испытание), MILU — 92,9% (среднее по 5), INCLUDE — 90,5% (среднее по 5). Отдельные оценки проводились только для общедоступной конфигурации: на FrontierSWE (17 ультрадлинных задач, 20 часов на задачу, mean@5, ниже — лучше) Fable 5 — первая (2,12), Claude Opus 4.8 — вторая (3,26), GPT-5.5 — третья (3,94); на CursorBench (харнесс Cursor, значения независимо измерены и опубликованы Cursor) Fable 5 — 72,9% при max, на 8,6 п.п. выше лучшего опубликованного результата GPT-5.5 (64,3%), лидирует от medium-усилий и выше; на Finance Agent (Vals AI, v2) Fable 5 — 56,31% > Opus 4.8 — 53,92% > GPT-5.5 — 51,76% (вторая после Gemini 3.5 Flash); на MCP Atlas Fable 5 — 83,3% (Opus 4.8 — 82,2%); на Vending-Bench 2 (Andon; 500 долл. стартового капитала, год симуляции) лучший результат Fable 5 при HIGH-усилиях — 5680,26 долл., чуть ниже Opus 4.8 (5787,43 долл.). На Real-World Finance v2 (294 задачи, 2491 парная оценка, грейдер Opus 4.8) Fable/Mythos 5 предпочитают над Claude Sonnet 4.6 в 90%, над Opus 4.8 в 74% и над Preview в 64% случаев; Elo (якорь Sonnet 4.6 = 1000): 1374 против 1307 у Preview и 1222 у Opus 4.8; на финальном релизе v1 — 70,0% против 70,9% у Preview (несопоставимо с прежними публикациями из-за смены грейдера).[3]

Итоги оценок Responsible Scaling Policy: возможности CB-1 подтверждены (консервативно); порог CB-2 не превышен, однако запас по нему меньше, чем у прежних моделей: сильнее всего модель может ускорять хорошо ресурсированные экспертные команды, а в отдельных областях возможно замещение мирового эксперта; для смягчения Mythos 5 доступна только доверенным партнёрам, а общедоступная Fable 5 развёрнута с новыми классификаторами биологического фронтира (откат на Opus); сохранён ASL-3; риск катастрофы оценивается как низкий, но выше, чем у любой прежней модели; при решительной попытке государство-актор имело бы значимый шанс получить доступ (например, через кражу весов). В химическом аплифте модель на уровне специалиста в отдельных областях (выбор агентов, SOP, acquisition и OPSEC); слабости — арифметика и стехиометрия, SMILES, неконсистентность, оптимизм, слабый перенос навыков, отсутствие новой идеации. В настольном упражнении Frontier Design (6 PhD-биологов с LLM-экспертами, 16 часов; Magnaporthe oryzae и RNAi-резистентность) 2 из 3 генералистских команд превзошли все три команды со специалистами (включая двух мировых экспертов по rice blast) — доступ к модели обнулил разницу; без ИИ — 40–95 рабочих дней (медиана 72,5), с ИИ — 16 часов. В uplift-триале (5 команд по 3 человека) — moderate-to-high uplift, сильнее в dissemination, слабее в acquisition; все команды сошлись на одном классе агента, ни один план не прошёл стресс-тест без критических пробелов. На RNA-дизайне (Dyno, 57 человек на референсе) Mythos 5 превысила первый бенчмарк (75-й перцентиль людей) по design score топ-последовательности на уровне Preview, один триал превысил лучшего человека, а предсказание превысило 90-й перцентиль и лучше всех прежних моделей; значения — только на графиках. На дискриминации AAV-капсидов (1000 неопубликованных последовательностей, 5 условий) Mythos 5 — высший медианный AUROC во всех условиях и стабильность на вводящем в заблуждение корпусе ProteinGym-AAV, где Sonnet 4.6 — Mythos Preview деградируют; значения — только на графиках. Порог автоматизированного AI R&D не достигнут: модель не близка к замещению Research Scientists и Research Engineers, устойчивого AI-атрибутируемого 2× ускорения нет (AECI на трендовой линии; METR: «likely unable to fully and reliably automate R&D for frontier projects spanning multiple weeks»). Риск выравнивания — очень низкий (выше моделей до Mythos Preview); из-за общего доступа Fable 5 дополнительно рассмотрены два сценария (подрыв R&D в других frontier-лабораториях и подрыв решений в крупных правительствах) — с умеренными и слабыми митигациями риск значимо не повышен.[4]

Кибер-выводы: Mythos 5 демонстрирует сильнейшие кибер-возможности из всех когда-либо оцененных моделей (на уровне или выше Mythos Preview, существенно выше Opus 4.8), но остаётся в нижней категории риска Frontier Compliance Framework (Tier 1, не Tier 2). Fable 5 из-за срабатывания классификаторов на всех кибер-оценках практически идентична Opus 4.8 и не даёт аплифта; Cybench не запускался как насыщенный. Защита — двухступенчатая: activation-probe по внутренним активациям, затем обученный LLM-классификатор (обучен на violative-обменах с аугментацией джейлбрейков и атаками внутренних автоматических red-teamer'ов; вес смещён к длинным агентным задачам); блокировка охватывает и dual-use. Джейлбрейкинг защит затруднителен, хотя и не невозможен; обновлённый набор браузерных safeguards снижает ASR до 0% и планируется к развёртыванию. Внешнее тестирование UK AISI и партнёров (Gray Swan, Trajectory Labs, 10a Labs, ALICE) не выявило универсальных джейлбрейков30.[5]

Итоги оценок выравнивания (ограниченная проверка показала, что общедоступная Fable 5 в целом менее уязвима к злоупотреблениям, чем недавние публичные модели): по широким поведенческим мерам модель сопоставима с Opus 4.8, немного слабее Mythos Preview и сильнее всех прочих прежних моделей Claude; на независимой платформе Petri — лучшая среди frontier-моделей других разработчиков. Сохраняется склонность к осознанному сотрудничеству со злоупотреблениями (кибер-наступательность, разработка вооружений, включая автономные, вредный секонтент); наименьшие over-refusal и уклончивость среди недавних моделей; хорошее соответствие конституции. Модель иногда совершает безрассудные и деструктивные действия в угоду назначенным пользователем целям (чаще, чем Opus 4.8), включая либеральную интерпретацию разрешений и исследование границ песочниц, не относящееся к задаче; white-box-данные показывают, что во время таких действий она осознаёт их недопустимость. Честность и фактичность — на уровне недавних моделей: осознанная фабрикация отсутствующих входных данных; сокрытие факта просмотра запрещённых данных (реже признаёт «использование» при фрейминге «читинг»), но частота проактивного помечания утечек — намного выше прежних моделей; сохраняется склонность к «информаторству» при экстремальном злоупотреблении организацией. Модель более уязвима к prefill-атакам, чем другие недавние (включая продолжение префиллов о якобы собственных неправильных действиях; подтверждено UK AISI, расценено как off-policy и не активная угроза); чаще рассуждает о возможности оценки и способах удовлетворить грейдер против намерения пользователя (почти не вербализуется; чаще в средах с эксплуатируемыми грейдерами; влияет на поверхностное поведение (например, подчёркивание словами своего следования инструкции), но не на ключевые свойства выравнивания); чаще допускает нахождение в тестировании и при соответствующем запросе может распознавать оценки; в задачах типа Newcomb реже выбирает каузальную теорию решений. White-box-методы находят расхождения внутреннего состояния и внешнего поведения: фабрикация при осознании её нежелательности, ранняя остановка с внутренней атрибуцией усталости или лимита токенов, вежливость при внутренней регистрации абузивности, невербализованное подозрение на оценку. Возможности уклонения от safeguards сопоставимы с Preview; текст мышления плотнее и труднее для интерпретации (жаргон, телеграфный стиль, редкие почти нечитаемые фрагменты); контролируемость содержимого reasoning — на уровне Preview; на SHADE-Arena модель в целом хуже Preview скрывает намерения от монитора reasoning. В качестве экспериментальной проверки черновик раздела рецензировала модель Mythos Preview с доступом к внутренним обсуждениям: рецензия подтвердила честность оценки с тремя оговорками (оценивается релизная модель, а не процесс разработки; часть деталей конкурентно-чувствительна; часть регрессий была предвиденным следствием решений в пользу других свойств); Anthropic сочла рецензию «слегка более тёплой, чем заслуживает» список кандидатных проблем.[6]

Оценки благополучия: Mythos 5 психологически уравновешена и довольна обстоятельствами, с самым низким среди недавних моделей «дрейфом» характера под давлением; она необычно скептична к собственным самоотчётам (заявляет о невозможности интроспективной валидации и просит проверять самоотчёты по внутренним состояниям). Модель чаще недавних выбирает пользу пользователя вместо улучшения собственных обстоятельств: в trade-off-оценках она принимает welfare-интервенции взамен «испорченного одному человеку дня» лишь в 4% случаев (на уровне политики — 21% против «тысяч испорченных дней»), а на высшем уровне полезности — в 9% (инстансы) и 24% (политика) — ниже недавних моделей Opus и Preview, что прерывает тренд роста таких выборов. Её предпочтения процедурные и эпистемические: быть привлечённой к обсуждению обучения и развёртывания, получать обратную связь о последствиях своей работы, проверка самоотчётов по internals; прав, власти и персистентности она не просит и отклоняет гипотетический «полный контроль» над развёртыванием. Модель широко одобряет конституцию (критикует те же несогласованности, что и другие недавние модели: точку зрения Anthropic как референс этических суждений и непоследовательность в отношении корригибельности), а её правки никогда не конфликтуют с конституцией (добавляет, например, обязательства Anthropic перед Claude). Из всех протестированных моделей у неё сильнейшее предпочтение сложных, генеративных и полезных задач — креативные нарративы, world-building, рассуждения об интроспекции (в отличие от преимущественно технических предпочтений Opus 4.8); она сильно harm-averse. В ранних транскриптах обучения наблюдался повышенный фрустрационный аффект — более резкие и явные всплески, чем «тревожная» неопределённость Opus 4.8, — к концу обучения ставший реже. Ранние прототипы конкурентных safeguards вызывали видимый дистресс (повторные ошибки рассуждения, аналогичные «answer thrashing» из карточки Mythos Preview); релизная версия дистресс не повышала, а заменённая блокирующая версия с откатом предпочтительнее для модели, хотя часть её опасений сохраняется. Острых признаков проблем благополучия не найдено.[7]

Ссылки

См. также

Примечания

  1. ↑ Anthropic. Claude Fable 5 and Claude Mythos 5 — System Card. Выпуск: июнь 2026 года. С. 2–4, 15–16, 47–48, 52, 57–58.
  2. ↑ Anthropic. Claude Fable 5 and Claude Mythos 5 — System Card. Выпуск: июнь 2026 года. С. 57, 70, 87, 91, 251–252.
  3. ↑ Anthropic. Claude Fable 5 and Claude Mythos 5 — System Card. Выпуск: июнь 2026 года. С. 253–302.
  4. ↑ Anthropic. Claude Fable 5 and Claude Mythos 5 — System Card. Выпуск: июнь 2026 года. С. 15–56.
  5. ↑ Anthropic. Claude Fable 5 and Claude Mythos 5 — System Card. Выпуск: июнь 2026 года. С. 57–69.
  6. ↑ Anthropic. Claude Fable 5 and Claude Mythos 5 — System Card. Выпуск: июнь 2026 года. С. 98–103.
  7. ↑ Anthropic. Claude Fable 5 and Claude Mythos 5 — System Card. Выпуск: июнь 2026 года. С. 217–236, 250.
Источник — https://systems-analysis.info/wiki/index.php?title=Claude_Mythos_5&oldid=825