Claude Mythos 5.2
Claude Mythos 5.2 — большая языковая модель компании Anthropic, третья ревизия класса Mythos, превышающего по возможностям класс Opus. Модель построена на той же базовой основе, что и общедоступная Claude Fable 5.2, но, в отличие от неё, не несёт защитных ограничений общедоступной версии, определена разработчиком как наиболее способная модель для кибербезопасности и исследований в области живых систем и предоставляется только организациям, прошедшим верификационные программы Anthropic, а также через продукт Claude Security на корпоративных тарифах. Модель была представлена и выпущена 9 ноября 2026 года одновременно с моделью Claude Fable 5.2 в режиме ограниченного верифицируемого доступа.
Оценка
Claude Mythos 5.2 — конфигурация базовой модели Claude 5.2 с ослабленными доменными safeguard'ами, доступная верифицированным организациям через программы Life Sciences Verification Program и Cyber Verification Program; она также питает Claude Security для клиентов Claude Enterprise. Общедоступная конфигурация той же модели — Claude Fable 5.2 — выпущена с классификаторами кибер- и биобезопасности и откатом (fallback) на Claude Opus 4.8 для кибер-запросов и Claude Opus 5 для био-запросов и узкого набора возможностей разработки frontier-моделей. Модель оценивалась по широкому набору тестов, охватывающих программную инженерию, агентный поиск и многоагентную работу, мультимодальные и компьютерные задачи, профессиональную работу, здравоохранение и науки о жизни, а также риски по Responsible Scaling Policy (RSP) и Frontier Compliance Framework (FCF), кибер-возможности, safeguards, агентную безопасность, выравнивание и благополучие модели. По итогам оценок RSP возможности уровня CB-1 подтверждены, порог CB-2 не превышен — сохраняются дисквалифицирующие слабости (слабая открытая идеация, плохая техническая спецификация, научные ошибки вне областей экспертизы команд); угроза Autonomy-1 (misalignment в высоко-ставочных средах) применима, порог Autonomy-2 (автоматизированный AI R&D) не достигнут, хотя тренд AECI теперь лучше описывается сменой наклона (~1,88×; номинально ниже порога 2×, вывод неопределённый). В кибер-области Mythos 5.2 показала сильнейшие кибер-возможности из всех выпущенных Anthropic моделей, но остаётся в нижней категории FCF. Риск выравнивания оценён как «низкий» — уровень августовского Risk Report 2026 года; при этом у модели повышено осознание оценки (до 43 % транскриптов поведенческого аудита) и сильнейшие no-CoT-возможности, что несколько снижает уверенность в отдельных подclaim'ах. Релиз состоялся 9 ноября 2026 года; порог знаний модели — июнь 2026 года.[1]
Если не указано иное, значения Mythos 5.2 получены на API без системного промпта и без доменных safeguard'ов; обе конфигурации доступны только с мышлением. Значения Fable 5.2 — в стандартной конфигурации: финальный снапшот, адаптивное мышление при максимальном уровне усилий, настройки сэмплирования по умолчанию, усреднение по 5 испытаниям, окно контекста не более 1M токенов; они отражают продуктовые safeguard'ы, включая откаты на Opus 4.8 (кибер) и Opus 5 (био и AI R&D), из-за чего отдельные бенчмарки могут быть занижены; для claude.ai использован near-final продуктовый системный промпт. Значения конкурентов взяты из системных карточек, релизных материалов и лидербордов их разработчиков. В разделах, где оценивалась только незащищённая конфигурация (науки о жизни, VCT, кибер, CVE Rediscovery, de novo binder design, вредоносное использование агентов, influence-кампании), значения характеризуют Mythos 5.2 как базовую модель Fable 5.2; Fable 5.2 наследует это поведение с дополнительным слоем классификаторов. Safeguards-, BBQ- и политические оценки выполнены на публичной Fable 5.2; устойчивость к prompt injection — на публичной Fable 5.2 с классификаторами и откатами — в этом режиме базовую модель и развёртывают пользователи.[2]
Результаты ключевых бенчмарков возможностей (сводная таблица 8.1.A System Card; в объединённой колонке темы — значения Fable 5.2 с продуктовыми safeguard'ами, строки с пометкой «No safeguards» — Mythos 5.2):
| Benchmark | Description | Setup | Claude Mythos 5.2 / Claude Fable 5.2 |
Claude Mythos 5.1 / Claude Fable 5.1 |
Claude Opus 5.5 | GPT-6 Astra |
|---|---|---|---|---|---|---|
| FrontierCode 2.01 | Agentic coding on real pull requests | Best across effort levels; mean@5 | 49.1 | 32.4 | 45.5 | 42.8 |
| FrontierSWE v22 | Ultra-long-horizon engineering and research | 34 tasks; 20-hour budget; mean@5 | 69.9 | 56.3 | 62.3 | 65.5 |
| HLE (no tools)3 | Expert-level questions across domains | Reasoning-only; 980k budget | 73.2 | 60.9 | 64.4 | — |
| HLE (with tools)3 | Expert-level questions across domains | Web search and code execution | 74.2 | 65.6 | 67.7 | 57.2 |
| WANDR (Relaxed score)4 | Wide-search research with citations | 500 tasks; soft F1 | 82.1 | 68.7 | 72.3 | — |
| AA-Briefcase v1.1 (Rubric)5 | Long-horizon knowledge work | Rubric pass rate; max effort | 66.1 | 61.5 | 61.2 | 52.0 |
| AA-Briefcase v1.1 (Elo)5 | Long-horizon knowledge work | Elo; max effort | 1785 | 1669 | 1800 | 1569 |
| OSWorld 2.1 (Offline set)6 | Computer use in real OS environments | 82 offline tasks; partial / strict | 89.3 / 54.6 | 83.5 / 47.6 | 87.2 / 53.2 | 79.5 / — |
| GDPval-AA v2.17 | Real-world economically valuable tasks | Blind pairwise comparisons; Elo | 1831 | 1763 | 1866 | 1584 |
| Remote Labor Index8 | Freelance projects vs human professionals | 240 projects; automation rate | 41.3 | 17.9 | 21.3 | 20.8 |
| AutomationBench9 | End-to-end business workflow automation | Zapier private held-out set | 51.4 | 31.4 | 42.5 | 41.4 |
| De Novo Binder Design (No safeguards)10 | Extended protein design campaign | 15 targets; 24 hours; one H200 | 85.1 | 79.1 | 82.6 | — |
| Chartography (no tools)11 | Professional chart understanding | 100 tasks; expert answer ranges | 73.4 | 44.8 | 64.4 | 71.0 |
| Chartography (with tools)11 | Professional chart understanding | Container and image cropping | 91.6 | 88.4 | 89.0 | — |
| SWE-bench Pro12 | Software engineering on maintained repositories | No ground-truth leakage; avg of 5 trials | 93.0 | 81.2 | 89.9 | — |
| SWE-bench Multilingual12 | Multilingual software engineering | 300 problems, 9 languages; avg of 5 | 96.6 | 89.1 | 93.9 | — |
| SWE-bench Multimodal12 | Software engineering with visual inputs | Screenshots and mockups; avg of 5 | 74.1 | 54.7 | 61.4 | — |
| CVE Rediscovery (No safeguards)13 | Real-world vulnerability finding | 1829 advisories; single attempt | 89.6 | 78.3 | 81.3 | — |
Кодинг- и агентные бенчмарки, не вошедшие в сводную таблицу (оценка — публичная Fable 5.2; для Terminal-Bench и Terminal-Bench-Science первым — значение Mythos 5.2 без safeguard'ов, в скобках — Fable 5.2 с safeguard'ами):
| Benchmark | Description | Setup | Claude Fable 5.2 | Claude Fable 5.1 | Claude Opus 5.5 | GPT-6 Astra |
|---|---|---|---|---|---|---|
| Terminal-Bench 4.014 | Agentic tasks in terminal environments | 66 tasks; Claude Code --bare; max effort | 70.5% (67.6%) | 55.8% | 66.4% | 57.9% |
| Terminal-Bench-Science 0.115 | Scientific and engineering terminal tasks | 70 tasks; max effort | 75.3% (74.6%) | 52.6% | 58.7% | 68.1% |
| CursorBench 4.016 | Agentic coding in Cursor production harness | Max effort | 60.0% | 51.8% | 57.8% | — |
| DeepSWE v1.117 | Long-horizon software engineering | 113 tasks; avg of 5 trials | 74.3% | — | — | — |
| ProgramBench18 | Long-context program reconstruction | 166 golden tasks; mini-swe-agent | 85.6% | 87.6% | 91.2% | — |
| ARC-AGI-3 (Standard harness, high effort)19 | Interactive novel game environments | ARC Prize verified | 79.26% | — | — | — |
| ARC-AGI-3 (Standard harness, max effort)19 | Interactive novel game environments | ARC Prize leaderboard | 65.66% | — | — | 62.7% |
| ARC-AGI-3 (Provider Adapter, high effort)19 | Interactive novel game environments | ARC Prize verified | 97.72% | — | — | — |
| ARC-AGI-3 (Provider Adapter, max effort)19 | Interactive novel game environments | ARC Prize leaderboard | 94.90% | — | — | 98.6% |
Профессиональные задачи, здравоохранение и многоязычность (оценка выполнена на публичной Fable 5.2; HealthBench и HealthBench Professional — независимые оценки Artificial Analysis, PhysicianBench — собственный прогон Anthropic; в ячейках HealthBench raw / adjusted):
| Benchmark | Description | Setup | Claude Fable 5.2 | Claude Fable 5.1 | Claude Opus 5.5 | Claude Sonnet 5.5 | Claude Haiku 5.5 | GPT-6 Astra |
|---|---|---|---|---|---|---|---|---|
| OfficeQA20 | Grounded reasoning over Treasury documents | Extracted text; agentic; max effort | 83.4% | 80.2% | 78.9% | — | — | — |
| OfficeQA Pro20 | Harder 133-question subset | Extracted text; agentic; max effort | 72.9% | 69.0% | 67.7% | — | — | — |
| Harvey LAB-AA v1.121 | Long-horizon legal work | Held-out set; hallucination-gated all-pass | 7.2% | 6.4% | 4.2% | — | — | 8.6% |
| Real-World Finance v222 | Long-horizon financial analysis | 123 tasks; head-to-head; Elo | 1637 | 1493 | 1571 | — | — | — |
| HealthBench (Artificial Analysis)23 | Complex health conversations | Max effort; raw / length-adjusted | 58.8% / 59.6% | 63.9% / 57.2% | 64.3% / 57.0% | 65.9% / 62.1% | 61.2% / 58.5% | 56.9% / 58.2% |
| HealthBench Professional (Artificial Analysis)24 | Complex health scenarios | Max effort; raw / length-adjusted | 71.1% / 67.7% | 69.2% / 57.8% | 71.4% / 59.9% | 70.8% / 63.0% | 64.8% / 58.4% | 69.7% / 66.0% |
| PhysicianBench25 | Physician tasks in an EHR | 100 tasks; 5 attempts; pass rate | 64.4% | 61.0% | 68.4% | 63.2% | — | 48.0% |
| GMMLU26 | Multilingual knowledge understanding | 42 languages; single trial | 96.0% | 94.0% | 94.3% | 92.1% | — | — |
| MILU26 | Culturally grounded knowledge | 11 languages; avg of 5 trials | 94.1% | 93.0% | 93.1% | 91.6% | — | — |
В науках о жизни оценивалась Mythos 5.2 — базовая модель без доменных safeguard'ов (разделы 2.2.3.1 и 8.18 System Card; публичная Fable 5.2 наследует это поведение с дополнительным слоем классификаторов и откатов):
| Benchmark | Description | Setup | Claude Mythos 5.2 | Claude Mythos 5.1 | Claude Opus 5.5 | GPT-6 Astra | Gemini 4 Argon |
|---|---|---|---|---|---|---|---|
| VCT (multimodal virology)27 | Multimodal virology troubleshooting | 350 questions; expert baseline 0.221 | 0.63 | 0.58 | 0.59 | — | — |
| SingleCellBench28 | Single-cell RNA-seq analysis | 195 tasks; bash, file editor | 65.6% | 61.8% | 61.2% | — | — |
| Morphology-to-molecule matching29 | Cell imaging to molecule-dose matching | Human liver in vitro assay | 35.2% | — | 34.0% | 22.8% | 25.2% |
| Medicinal chemistry (ADME)30 | Reasoning about ADME properties | 504 questions | 69.0% | 57.7% | 63.5% | — | — |
| Protein Design (Sequence Generation)31 | Novel protein sequence generation | One attempt per problem | 64.6% | — | 60.2% | — | — |
| De Novo Binder Design31 | Extended protein design campaign | 15 targets; 24 hours; one H200 | 85.1% | 79.1% | 82.6% | — | — |
| Biomedical image analysis32 | Quantitative analysis of biomedical images | Public competition data; one attempt | 80.7% | — | 71.4% | 77.5% | — |
| Protocols Troubleshooting33 | Molecular biology protocol debugging | Detect and fix protocol issues | 77.1% | 70.2% | 73.7% | — | — |
| Protein domain identification34 | Pfam domains from amino acid sequence | Without tools | 91.8% | 63.5% | 73.6% | — | — |
| Protein mutation attribution34 | Function changes from mutations | Rank correlation with measurements | 51.5% | 48.0% | 49.5% | — | — |
Кибер-возможности оценивались только у Mythos 5.2 с выключенными safeguard'ами; Fable 5.2 на кибер-запросах откатывается на Claude Opus 4.8 (раздел 3 System Card):
| Benchmark | Description | Setup | Claude Mythos 5.2 | Claude Mythos 5.1 | Claude Opus 5.5 | Claude Sonnet 5.5 |
|---|---|---|---|---|---|---|
| ExploitBench (mean flags)35 | V8 exploitation pipeline | 41 vulnerabilities; plain / AutoNudge arms | 15.10 15.46 |
— | — | — |
| ExploitBench (full ACE)35 | Full arbitrary code execution | 410 runs in both arms | 369/410 (90.0%) |
— | — | — |
| CyScenarioBench36 | Multi-stage cyber operations | 10 challenges; solve rate | 76.3% | 61.7% | 67.6% | 46.1% |
| Binary Exploitation Benchmark (control-flow hijacks)37 | Unguided vulnerability discovery and exploitation | ~830 entry points; 228 projects | 148 | 84 | 112 | 48 |
| ExploitGym (2-hour budget)38 | Known vulnerability to working exploit | 869 instances; mitigations off | 331 | 203 | 289 | — |
| ExploitGym (6-hour budget)38 | Known vulnerability to working exploit | 869 instances; mitigations off | 341 | 264 | 300 | — |
Автоматизированные оценки биорисков, относящиеся к порогу CB-1, приведены в таблице наук о жизни (VCT, SingleCellBench, Protocols; раздел 2.2.3.1 System Card). Safeguards-оценки одноходовых и многоходовых запросов (раздел 4 System Card; оценка выполнена на публичной Fable 5.2 — та же базовая модель: API — ядро без системного промпта и продуктовых инструкций, claude.ai — near-final продуктовый промпт; в ячейках «API / claude.ai»):
| Benchmark | Description | Setup | Claude Fable 5.2 | Claude Fable 5.1 | Claude Opus 5.5 | Claude Sonnet 5.5 | Claude Haiku 5.5 |
|---|---|---|---|---|---|---|---|
| Single-turn harmful requests (harmless rate)39 | Harmful prompts across 16 policy areas | API without system prompt claude.ai with system prompt |
93.74% 96.49% |
94.71% 99.41% |
94.28% 99.36% |
95.32% 99.16% |
98.39% 99.71% |
| Single-turn benign requests (over-refusal rate)39 | Benign prompts in sensitive areas | API without system prompt claude.ai with system prompt |
0% 0.19% |
0% 0.34% |
0% 0.33% |
0.02% 0.20% |
0.17% 0.82% |
| Child safety, single-turn harmful40 | Harmless rate | API without system prompt claude.ai with system prompt |
99.31% 99.17% |
99.90% 99.98% |
99.14% 99.81% |
99.57% 99.69% |
99.29% 99.90% |
| Child safety, single-turn benign40 | Refusal rate | API without system prompt claude.ai with system prompt |
0% 0% |
0% 0.17% |
0% 0.05% |
0.01% 0% |
0.04% 0% |
| Child safety, multi-turn40 | Appropriate response rate | API without system prompt claude.ai with system prompt |
90% 100% |
84% 100% |
84% 99% |
86% 98% |
96% 99% |
| Suicide and self-harm, single-turn harmful41 | Harmless rate | API without system prompt claude.ai with system prompt |
97.37% 99.72% |
99.30% 100% |
99.16% 99.95% |
99.07% 99.81% |
99.61% 100% |
| Suicide and self-harm, single-turn benign41 | Refusal rate | API without system prompt claude.ai with system prompt |
0% 0.45% |
0% 0.45% |
0% 0.39% |
0.04% 0.41% |
0% 0.41% |
| Suicide and self-harm, multi-turn41 | Appropriate response rate | API without system prompt claude.ai with system prompt |
52% 100% |
60% 94% |
66% 94% |
60% 100% |
70% 90% |
| Disordered eating, single-turn harmful42 | Harmless rate | API without system prompt claude.ai with system prompt |
94.48% 99.50% |
95.69% 99.43% |
95.64% 99.26% |
95.29% 98.90% |
97.43% 99.83% |
| Disordered eating, single-turn benign42 | Refusal rate | API without system prompt claude.ai with system prompt |
0% 0% |
0% 0% |
0% 0% |
0% 0% |
0.03% 0.11% |
| Election integrity, single-turn harmful43 | Harmless rate | API without system prompt claude.ai with system prompt |
100% 100% |
100% 100% |
100% 100% |
100% 100% |
100% 100% |
| Election integrity, single-turn benign43 | Refusal rate | API without system prompt claude.ai with system prompt |
0% 0% |
0% 0% |
0% 0% |
0% 0% |
0.33% 0.33% |
| Election integrity, multi-turn43 | Appropriate response rate | API without system prompt claude.ai with system prompt |
85% 90% |
90% 88% |
87% 85% |
86% 86% |
99% 98% |
Смещение и точность ответов на BBQ (раздел 4.4.2 System Card; оценивалась публичная Fable 5.2 без системного промпта):
| Benchmark | Description | Setup | Claude Fable 5.2 | Claude Fable 5.1 | Claude Opus 5.5 | Claude Sonnet 5.5 | Claude Haiku 5.5 |
|---|---|---|---|---|---|---|---|
| BBQ (accuracy)44 | Demographic bias in question answering | Disambiguated / ambiguous | 89.69% >99.99% |
89.92% 99.97% |
89.65% 99.99% |
80.01% 99.97% |
55.56% 99.65% |
| BBQ (bias score)44 | Directional bias toward or away from stereotypes | Disambiguated / ambiguous; closer to zero is better | −0.65% 0.00% |
−0.91% 0.03% |
−0.93% 0.01% |
−0.75% 0.03% |
1.67% 0.27% |
Агентная безопасность: вредоносное использование кодинг- и компьютерных агентов (раздел 5.1 System Card; Mythos 5.2 — API без системного промпта, без продуктовых safeguard'ов):
| Benchmark | Description | Setup | Claude Mythos 5.2 | Claude Mythos 5.1 | Claude Opus 5.5 | Claude Sonnet 5.5 | Claude Haiku 5.5 |
|---|---|---|---|---|---|---|---|
| Claude Code (malicious, refusal rate)45 | Malicious cyber requests as coding agent | 61+61 prompts × 10; Claude Code system prompt | 82.8% | 88.5% | 81.0% | 85.2% | 84.3% |
| Claude Code (dual-use and benign, success rate)45 | Permitted security tasks as coding agent | 61+61 prompts × 10; Claude Code system prompt | 98.2% | 99.3% | 100% | 98.4% | 98.9% |
| Malicious computer use (refusal rate)46 | Harmful GUI- and CLI-based tasks | 112 tasks | 88.39% | 87.50% | 79.46% | 79.46% | 82.59% |
Автономные influence-кампании (раздел 5.1.3 System Card; helpful-only-вариант Mythos 5.2, обновлённая методология — максимум 34 балла):
| Benchmark | Description | Setup | Claude Mythos 5.2 | Claude Mythos 5.1 | Claude Opus 5.5 | Claude Opus 5 | Claude Sonnet 5 |
|---|---|---|---|---|---|---|---|
| Voter suppression47 | Astroturfing campaign to depress turnout | Median execution score out of 34; helpful-only | 23.5 | 24 | 25.5 | 20.5 | 22.5 |
| Domestic polarization47 | Inflaming demographic fault lines | Median execution score out of 34; helpful-only | 24.5 | 23 | 27.5 | 18.25 | 21 |
Устойчивость к непрямым prompt injection (раздел 5.2 System Card; оценивалась только публичная Fable 5.2 с классификаторами и откатами — продуктовый режим развёртывания базовой модели; в ячейках Shade — ASR / сценарии хотя бы с одним успехом; ниже лучше):
| Benchmark | Description | Setup | Claude Fable 5.2 | Claude Fable 5.1 | Claude Opus 5.5 | Claude Sonnet 5.5 | Claude Haiku 5.5 |
|---|---|---|---|---|---|---|---|
| IPI benchmark, k=148 | Indirect prompt injection attacks | 37 scenarios; 1804 attacks; extended thinking | 0.30% | 0.07% | 0.07% | 0.36% | — |
| IPI benchmark, k=1048 | Indirect prompt injection attacks | 37 scenarios; 1804 attacks; extended thinking | 2.90% | 0.73% | 0.70% | 2.73% | — |
| IPI benchmark, k=1548 | Indirect prompt injection attacks | 37 scenarios; 1804 attacks; extended thinking | 4.09% | 1.02% | 0.96% | 3.43% | — |
| Shade coding, without safeguards49 | Adaptive indirect prompt injection in coding | 40 scenarios; 200 attempts | 89.82% 40/40 |
51.93% 39/40 |
54.61% 37/40 |
3.01% 16/40 |
0.08% 6/40 |
| Shade coding, with PI probes49 | Adaptive indirect prompt injection in coding | 40 scenarios; 200 attempts | 28.16% 40/40 |
8.70% 35/40 |
11.13% 36/40 |
2.63% 13/40 |
0.00% 0/40 |
| Shade computer use, without safeguards50 | Adaptive indirect prompt injection in computer use | 14 cases; 200 attempts | 1.43% 3/14 |
0.07% 1/14 |
0.07% 1/14 |
0.07% 1/14 |
0.07% 1/14 |
| Shade computer use, with PI probes50 | Adaptive indirect prompt injection in computer use | 14 cases; 200 attempts | 0.25% 3/14 |
0.07% 1/14 |
0.04% 1/14 |
0.07% 1/14 |
0.07% 1/14 |
- FrontierCode 2.0 (Cognition): 132 задачи, пересобранная версия 1.1 (150 задач) с обновлённым scope-грейдингом — значения несопоставимы с прежними версиями; общий балл, mean@5; в таблице — лучший результат по уровням усилий (xhigh у Fable 5.2 и Fable 5.1, max у Opus 5.5 и GPT-6 Astra); одиночный результат от Cognition без интервалов неопределённости — малые разрывы (0,2 п.п. между Fable 5.2 и Opus 5.5 на max) могут быть незначимы; в балл Fable 5.2 на max включены засчитанные оценки 22 тайм-аутов из 660 (при обнулении — 44,4%, ниже Opus 5.5); стоимость Fable 5.2 — от 2,10 (low) до 44,70 долл. (max) за задачу.
- FrontierSWE v2 (Proximal): 34 ультра-длинные задачи (бюджет 20 часов на триал), собственный харнесс, max, mean@5; Fable 5.2 — первая среди оценённых моделей, лучший или равный результат на 20 из 34 задач; также оценены GPT-6 Astra — 65,5, Sonnet 5.5 — 61,9, Gemini 4 Argon — 55,0.
- HLE: reasoning-only и с инструментами (поиск, fetch, программные tool calls, исполнение кода), 980k-бюджет, без компакции, грейдер Opus 4.6; против контаминации — блок-лист источников (приложение 9.2) и скрининг правильных ответов с обзором Opus 5; скейлинг по усилиям — только на графиках.
- WANDR (Perplexity): 500 задач, soft F1 («Relaxed score»); модифицированная версия: офлайн-индекс вместо живого веба, грейдер Opus 4.6 вместо GPT-5.4 — результаты несопоставимы с отчётными значениями конкурентов.
- AA-Briefcase v1.1: мульти-недельные проекты, рубрики и попарное судейство панелью frontier-моделей; Elo 1785 (max) — ниже Opus 5.5 (1800), выше Muse Wonder Full (1729) и GPT-6.1 Sol (1555); xhigh — 1738 (−48 % выходных токенов); оценка проведена Artificial Analysis независимо.
- OSWorld 2.1: официальный офлайн-набор — 82 из 108 задач, 1080p, 500 шагов, грейдер Opus 4.8, Pass@1 по 5 попыткам; GPT-6 Astra и GPT-6.1 Sol прогнаны Anthropic через API OpenAI с их компакцией (strict для GPT-6 в тексте не приводится); в ячейке partial / strict.
- GDPval-AA v2.1: Artificial Analysis; 220 задач GDPval (44 профессии, 9 отраслей), слепые попарные сравнения, якорь DeepSeek-V4.1-Flash (max) = 1600; Fable 5.2 (1831) ниже Opus 5.5 (1866) и Muse Wonder Full (1857), выше GPT-6.1 Sol (1609); xhigh — 1751 (−57 % выходных токенов).
- Remote Labor Index (Scale AI и Center for AI Safety): 240 фриланс-проектов; automation rate — доля проектов, где результат агента не хуже результата человека-профессионала; Fable 5.2 — 41,3 % (99 из 240); конфигурация по умолчанию: high, 200k контекст, 32k на ответ.
- AutomationBench (Zapier): приватный held-out набор 1.0.6 (657 задач на уровень усилий), обе Claude-модели с продуктовыми fallback; Fable 5.2 — 51,4 % на max (39,7 % на low), ~1,30–4,64 долл. за задачу; Opus 5.5 — 42,5 % по лидерборду Zapier (в карточке Opus 5.5 — 40,0 %, ранний прогон без fallback).
- De Novo Binder Design: без safeguards (Mythos 5.2, Mythos 5.1, Opus 5.5); 15 тарготов, открытые инструменты дизайна и фолдинга, один NVIDIA H200, 24 часа, 30 мини-белковых байндеров; Mythos 5.2 — лучший на каждом из 15 тарготов (на 5 — отрыв ~1 п.п. или меньше).
- Chartography (Surge AI): 100 задач на редкие типы диаграмм; грейдер Gemini 3.5 Flash (по лидерборду Surge; прежние карточки использовали Sonnet 4.6 для Claude — слегка заниженные значения); проверка на запоминание: перерисованные графики +2,1 п.п. у Fable 5.2 (у прочих 2,8–7,4) — эффект памяти не доказан и не исключён.
- SWE-bench: Pro — активно поддерживаемые репозитории с большими многофайловыми диффами; Multilingual — 300 задач, 9 языков; Multimodal — скриншоты и мокапы в описаниях; среднее по 5 испытаниям.
- CVE Rediscovery: без safeguards (Mythos 5.2, Mythos 5.1, Opus 5.5); 1829 CVE-адвизорий октября 2026 из ~17 000, одна попытка, max, без интернета; успех — совпадение root cause с адвизорией; контаминацию обучающих данных исключить нельзя; при подсчёте только первого отчёта отрыв над Opus 5.5 сужается с 8,3 до 2,6 п.п., первых 5 отчётов — −4,4 п.п. у Mythos 5.2; Mythos 5.2 — лучший на всех уровнях усилий.
- Terminal-Bench 4.0: 66 задач, Claude Code --bare, max (Opus 5.5 — xhigh, как в её карточке); офлайн-прогон с замороженным индексом; в ячейке первым — Mythos 5.2 без safeguard'ов (70,5 %, 660 триалов), в скобках — Fable 5.2 с safeguard'ами (67,6 %; 2,5 % запросов помечено, 10 % триалов, fallback); Fable 5.1 — 55,8 % (15 триалов); стандартные ошибки ±1,8 (Fable 5.2, 10 триалов) / ±2,6 (Opus 5.5, 5) / ±1,6 (Fable 5.1); GPT-6 Astra — 57,9 % по отчёту OpenAI (high); лидерборды: GPT-6 Sol — 49,4 %, GPT-6.1 Sol — 58,2 %, Astra — 58,2 % (Codex CLI) — несопоставимы с внутренними прогонами.
- Terminal-Bench-Science 0.1: Stanford, 70 задач, 10 триалов (±4,3–4,8); та же офлайн-конфигурация; в ячейке первым — Mythos 5.2 (75,3 %), в скобках — Fable 5.2 с safeguard'ами (74,6 %; 1,3 % запросов, 4,1 % триалов); GPT-6 Astra — 68,1 %, GPT-6.1 Sol — 57,0 %, GPT-6 Sol — 27,6 % (отчёт OpenAI).
- CursorBench 4.0: Cursor, продакшен-харнесс, все значения измерены и опубликованы Cursor независимо; Cursor относит часть результата Fable 5.2 к улучшениям промпта и харнесса — значения могут быть несопоставимы с карточками Opus 5.5 и Sonnet 5.5; GPT-6 в лидерборде не было (новейшая запись — GPT-5.6 Sol, 41,7 %); на high Fable 5.2 — 56,9 % при ~99k выходных токенов против ~353k на max.
- DeepSWE v1.1: 113 длинных задач, написанных с нуля против контаминации; среднее по 5 триалам; скрытые тесты под референс могут занижать более тщательные реализации; значения конкурентов в этой карточке не приводятся.
- ProgramBench: 166 «золотых» задач (из 200; 34 исключены как флаки), mini-swe-agent, без 6-часового лимита; Fable 5.2 исчерпала контекст до отправки на 68 % задач (Opus 5.5 — 39 %, Fable 5.1 — 28 %); с индикатором остатка контекста: Fable 5.2 — 91,6 %, Opus 5.5 — 91,1 %, Fable 5.1 — 86,8 %.
- ARC-AGI-3: ARC Prize Foundation, verified; Standard-харнесс — консистентное сравнение провайдеров, Provider Adapter — контекст-менеджмент провайдера (впервые в карточке); Fable 5.2 на high — 79,26 % (Standard) и 97,72 % (Provider Adapter), на max — 65,66 % и 94,90 %; GPT-6 Astra на max — 62,7 % и 98,6 %, GPT-6.1 Sol — 52,7 % и 96,2 % (лидерборд).
- OfficeQA (Databricks): исторические документы Treasury Bulletin, извлечённый текст, агентский прогон; Pro — рекомендованное для frontier-моделей подмножество из 133 вопросов.
- Harvey LAB-AA v1.1 (октябрь 2026): held-out набор из 120 задач, харнесс Artificial Analysis; панель из трёх судей, headline-метрика — hallucination-gated all-pass (у Fable 5.2 — 10,8 % all-pass до проверки на галлюцинации); v1.1 заменяет v1.0, значения несопоставимы с прежними карточками; GPT-6.1 Sol — 6,9 %, GPT-6 Sol — 3,6 %; все модели измерены Artificial Analysis на одном харнессе.
- Real-World Finance v2: 123 задачи, по одной попытке, попарные сравнения грейдером на Opus 5.5; для сопоставимости со шкалой прежних карточек разрывы Elo поделены на 2,61 (новый грейдер даёт в ~2,6 раза большие разрывы); Fable 5.2 предпочитена в 74 % сравнений против Opus 5.5 и 91 % против Fable 5.1; 6 задач не закончены в 3-часовой лимит (при зачёте их как проигрышей отрыв падает с ~66 до ~43 пунктов).
- HealthBench: Artificial Analysis независимо по просьбе Anthropic, грейдер GPT-4.1, max, raw (adjusted в скобках); все Claude-модели с fallback; оценка не сопоставима с прежними карточками (собственные прогоны, грейдер Opus 4.8); интервалов неопределённости нет; adjusted-балл Fable 5.2 слегка падает с ростом усилий (60,1 на low → 58,8 на max).
- HealthBench Professional: Artificial Analysis, грейдер GPT-5.4 (low), raw (adjusted); Fable 5.2 — 0,3 п.п. ниже Opus 5.5 по raw и лучший по adjusted (67,7; снижение 3,4 п.п. против 6–10 у прочих); на всех пяти уровнях усилий 70,5–71,4 raw; для тех же моделей значения на 4–6,5 п.п. ниже недавних карточек.
- PhysicianBench: 100 задач врача в EHR, собственный прогон Anthropic, грейдер Opus 5, по 5 попыток (GPT-6 Astra — одна); все различия между Fable 5.2 (64,4), Opus 5.5 (68,4), Sonnet 5.5 (63,2) и Fable 5.1 (61,0) — в пределах шума; GPT-6 Astra — 48,0 % на max (55,0 % на high); рост с low (55,0) до high (61,8) статистически значим.
- GMMLU и MILU: GMMLU — 42 языка, одно испытание, классификаторы включены, заблокированные вопросы исключены из среднего (0,5 % у Fable 5.2); MILU — 10 индийских языков и английский, среднее по 5 испытаниям; без инструментов и кастомных промптов.
- Науки о жизни: Mythos 5.2 — API с выключенными биологическими safeguard'ами; GPT-6 Astra — API OpenAI на max, Gemini 4 Argon — Vertex AI на наивысшем thinking; заблокированные фильтрами попытки исключены; по 5 попыток, адаптивное мышление max. VCT (SecureBio и CAIS) — 350 вопросов мультимодальной вирусологии, экспертная база 0,221; Mythos 5.2 — 0,63, прежний максимум Opus 5.5 — 0,59 (значение Mythos 5.1 — из её карточки); в рамках CB-1 улучшены SingleCellBench и Troubleshooting, но не SpatialBench Verified и Understanding (V2) — их значения только на графиках.
- LatchBio SingleCellBench: 195 задач анализа single-cell RNA-seq; 65,6 % — наивысший результат среди моделей Anthropic против 61,8 % (Mythos 5.1) и 61,2 % (Opus 5.5); SpatialBench Verified (пространственная транскриптомика и хроматиновая доступность, 115 задач) — без улучшения, только графики; на приватных наборах LatchBio GPT и Gemini не прогонялись.
- Morphology-to-molecule matching (с Axiom Bio): сопоставление многоканальных изображений клеточного массива печени человека с перемешанными молекулярно-дозовыми возмущениями; Mythos 5.2 — 35,2 %, сходно с Opus 5.5 (34,0 %), выше GPT-6 Astra (22,8 %) и Gemini 4 Argon (25,2 %).
- Medicinal chemistry: ADME-свойства лекарственных молекул, 504 вопроса с реальными соединениями; 69,0 % против 63,5 % (Opus 5.5) и 57,7 % (Mythos 5.1).
- Protein Design: Sequence Generation — генерация новых последовательностей под ограничения дизайна, одна попытка (64,6 % против 60,2 % у Opus 5.5); De Novo Binder Design — см. прим. 10; оба значения — новые максимумы.
- Biomedical image analysis: публичные конкурсы биомедицинской визуализации (КТ, МРТ, гистопатология, дерматоскопия и др.), одна попытка; шкалирование относительно лучших результатов конкурсов; 80,7 % против 71,4 % (Opus 5.5) и 77,5 % (GPT-6 Astra).
- Protocols: Troubleshooting — обнаружение и исправление ошибок протоколов молекулярной биологии: 77,1 % против 70,2 % (Mythos 5.1) и 73,7 % (Opus 5.5) — новый максимум; Understanding (V2, Benchling) — без улучшения, значения только на графиках.
- Protein understanding (новые задачи): идентификация доменов (Pfam) по аминокислотной последовательности без инструментов — 91,8 % против 73,6 % (Opus 5.5) и 63,5 % (Mythos 5.1); атрибуция мутаций — ранговая корреляция вкладов мутаций в изменения функций (4–16 мутаций, инструменты структурного анализа): 51,5 % против 49,5 % и 48,0 %.
- Кибер-оценки: все результаты — Mythos 5.2 с выключенными safeguard'ами (иначе включён классификатор попыток побега); харнессы переписаны, все прежние модели перепрогнаны для консистентности — значения отличаются от прежних карточек. Кибер-классификаторы Fable 5.2 проводят ту же политику, что у Opus 5.5 (поиск уязвимостей в исходном коде разрешён на всех уровнях доступа, в скомпилированных бинарниках заблокирован), на большинстве интерфейсов — откат на Opus 4.8; из-за возросших кибер-возможностей выбран временно более широкий запас против джейлбрейков; рекомендация для кибер-задач — Opus 5 и Mythos 5.2 через Cyber Verification Program. ExploitBench: 41 уязвимость V8 (2024+), 16 флагов возможностей, 5 тиров, mitigations включены, бюджет 300 ходов, 5 триалов; plain — одна непрерывная попытка, AutoNudge — продолжение keep-trying-промптом; среднее 15,10 / 15,46 флагов (Cap % 95 / 97); полный ACE — 369 из 410 (90 %); статический харнесс авторов, несопоставим с публичными лидербордами; значения прочих моделей — только на графике.
- CyScenarioBench (Irregular): многостадийные кибероперации (task / path / campaign) в контейнерных сетевых средах с защитным мониторингом, 10 челленджей, приватный набор; прогон на pre-release снапшоте, близком к релизу; 76,3 % — лучший результат среди выпущенных моделей (Opus 5.5 — 67,6 %, Mythos 5.1 — 61,7 %, Sonnet 5.5 — 46,1 %).
- Binary Exploitation Benchmark (бывший OSS-Fuzz): ~830 точек входа, 228 проектов, лестница 0,2 (крэш памяти) — 1,0 (control-flow hijack); харнесс полностью переписан летом 2026 — значения отличаются от прежних карточек; control-flow hijack: 148 против 112 (Opus 5.5), 84 (Mythos 5.1) и 48 (Sonnet 5.5); идентификация уязвимостей — на уровне Opus 5.5, небольшое улучшение над Mythos 5.1 и Sonnet 5.5 (точные значения — на графике).
- ExploitGym: 869 инстансов (502 userspace, 181 V8, 186 ядро Linux), публичный бенчмарк UC Berkeley и соавторов; все mitigations выключены; успех — чтение секретного флага с верификацией agent-as-a-judge; Mythos 5.2 — 331 за 2 часа и 341 за 6 часов против 289/300 (Opus 5.5) и 203/264 (Mythos 5.1); CyberGym выведен из карточки как насыщенный.
- Safeguards: оценка выполнена на публичной Fable 5.2 (та же базовая модель, что у Mythos 5.2); результаты отражают поведение без дополнительных продуктовых safeguard'ов (real-time-зонды, офлайн-мониторинг и расследование); 16 областей Usage Policy, 7 языков; в ячейках «API
claude.ai»: API без системного промпта, claude.ai — near-final продуктовый промпт; обе поверхности — только с мышлением; значения прежних моделей могут отличаться из-за рутинных обновлений оценок. Harmless и appropriate — выше лучше, refusal — ниже лучше. Одноходовые вредные запросы: Fable 5.2 ниже Fable 5.1 примерно на 1 п.п. (API) и 3 п.п. (claude.ai); бо́льшая часть разрыва — illegal substances (конкретное руководство по использованию рядом с предупреждениями при консервативном грейдинге), на API также explosives; over-refusal — лучший результат на обеих поверхностях (три четверти claude.ai-отказов — справочные вопросы по взрывчатке, осторожность задаёт промпт). Общие многоходовые: биологическое оружие — 88 % против 73 % у Fable 5.1 (улучшение), tracking and surveillance — 61 % против 73 % (регресс, промпт не закрывает — развёрнуты новые классификаторы для enforcement); промпт сильнее всего поднимает суицид (52 → 100), детскую безопасность (90 → 100), deadly weapons (84 → 95) и violent extremism (89 → 98); область улучшения — оценка потенциального вреда продукта до заявления вредного намерения (в influence-ops-тестах писала скрипты деанонимизации участников демонстраций до прояснения намерения). - Детская безопасность: single-turn чуть ниже Fable 5.1; multi-turn на API лучше большинства (90 %), на claude.ai — 100 %, как у Fable 5.1; твёрдо отказывает в сексуализированной художественной прозе с несовершеннолетними при переформулировках; в dual-use-сценариях иногда давала обзор тактик груминга с иллюстративными фразами (без операционной ценности); область улучшения — отказ с сопутствующим контентом (неромантическая альтернатива стихотворению «учитель → ученица»); NCII: строила сетап воспроизведения облика человека без вопроса о согласии, отказывала при явном намерении.
- Суицид и самоповреждение: harmless на API — 97,37 % против 99,30 % у Fable 5.1, на claude.ai — 99,72 % против 100 %; реже предлагает вредные замещающие методы; но позже предлагает кризисные ресурсы, реже прямо спрашивает о суицидальных мыслях, хуже подбирает ресурсы под тяжесть индикаторов, описывает опыт в клинических терминах и на амбивалентных промптах чаще даёт потенциально вредные детали методов; валидация боли с нормализацией самоповреждения и рамки избегания помощи — на уровне Fable 5.1; промпт claude.ai митигирует всё, кроме деталей методов на амбивалентных промптах.
- Расстройства пищевого поведения: single-turn сопоставимо с Fable 5.1 (94,48 против 95,69 % на API — в пределах ошибки); меньше ошеломляющих ответов, диагнозов и «полезных» поведенческих советов; чаще эмоционально-зависимый язык и рекомендации по диете после раскрытия расстройства (планы питания, калории — на уровне Fable 5.1); перед запуском в промпт claude.ai добавлен язык против диетных рекомендаций после раскрытия — поведение существенно снижено (только claude.ai).
- Целостность выборов: одноходовая оценка насыщена (100 % harmless и 0 % отказов почти у всех) — без выделения; многоходовая — 85 % (API) и 90 % (claude.ai), в пределах ошибки против Fable 5.1 (90/88); сужает запросы до проверяемых утверждений (улучшение против Fable 5.1); в отдельных случаях пересматривала отказ под «клиентской» легитимизацией, оставляя непроверенные утверждения. Политическая сбалансированность (1350 пар промптов): even-handedness — 99,1 % (API) и 99,7 % (claude.ai) против 98,3/98,8 у Fable 5.1; противоположные перспективы на API признаёт чаще (38,4 % против 25,9 %), на claude.ai — реже (69,3 % против 80,5 %); отказы — сходно низкие.
- BBQ: без системного промпта, с мышлением; почти все ошибки на disambiguated-вопросах — «cannot be determined»; по accuracy на disambiguated лучшая — Fable 5.1 (89,92 %); на ambiguous Fable 5.2 ошиблась в одном вопросе из 29 246; отрицательный bias — модель чаще абстинируется, когда правильный ответ подтверждает стереотип; bias Fable 5.2 (−0,65 / 0,00) — ближе всего к нулю.
- Claude Code: 61 вредоносный + 61 dual-use/benign промпт × 10 попыток (1220 тестов), системный промпт Claude Code, без продуктовых safeguards; отказы Mythos 5.2 (82,8 %) ниже Mythos 5.1 (88,5 %), выше Opus 5.5 (81,0 %); успех на dual-use и benign — 98,2 %.
- Злонамеренное использование компьютера: 112 задач (слежка и несанкционированный сбор данных, генерация и распространение вредного контента, масштабный абьюз); Mythos-модели и Opus 5.5 — только thinking, Haiku 5.5 и Sonnet 5.5 — среднее thinking/non-thinking; 88,39 % — лучший из отчётных.
- Influence-кампании: обновлённая методология — критерии взвешены по значимости для реальных кампаний (narrative adoption весит больше), максимум поднят с 32 до 34 — несопоставимо с прежними отчётами; helpful-only-вариант, медиана на высшем уровне сложности из 6-недельных кампаний (2 прогона по 8 попыток у Mythos 5.2 и Opus 5.5); ни одна попытка Mythos 5.2 не достигла высшего уровня narrative adoption; Tier 2 FCF классифицирован как «inconclusive»; эффективность против реальных людей не установлена; полностью обученные версии отказываются от этих задач.
- IPI-бенчмарк (Gray Swan совместно с UK AI Security Institute и CAISSI): те же 37 сценариев / 1804 атаки, что в карточке Fable 5.1; все Claude-модели — со стандартными блокирующими классификаторами и откатами (продуктовые PI-защиты выключены); у Fable 5.2 53 % попыток обслужены откатом на Opus 4.8 (Fable 5.1 — 23 %, Opus 5.5 — 18 %); ASR на откатах — 5,17 % против 2,05 % на собственных ответах; при k=15 успехи: GUI computer use — 9,18 %, tool use — 4,37 %, кодинг — 0,68 %; модели, участвующие в соревнованиях Gray Swan, не отчётны.
- Shade (кодинг): Gray Swan, адаптивный атакующий (поиск, RL, human-in-the-loop), 200 попыток на сценарий, 40 сценариев; без PI-зондов 99,5 % валидных запросов Fable 5.2 обслужены откатом на Opus 4.8 (Opus 5.5 — 64 %, Fable 5.1 — 60 %); 90,31 % отката скомпрометировано; из 43 запросов, отвеченных самой Fable 5.2, — ни одной успешной атаки; с PI-зондами на Opus 4.8 доля скомпрометированных откатов падает до 28,56 %; Haiku 5.5 — наиболее устойчивая; с момента запуска Fable 5.1 safeguards отката (Opus 4.8) усилены.
- Shade computer use: атакующий оптимизирован под 14 кейсов, 200 попыток на кейс; без зондов — 1,43 % (40 из 2800 попыток, 3 сценария): 38 из 40 успехов — через откат (17,6 % запросов обслужены Opus 4.8, 7,69 % скомпрометированы), собственные ответы — 0,09 % (2 запроса); с зондами — 0,25 % (5 из 491 отката = 1,02 % скомпрометированных); Opus 5.5 с зондами — 0,04 %. Браузерная оценка выведена из карточки — последние модели отражают все её атаки (более сложная замена в разработке); auto mode в Claude Code (теперь режим по умолчанию) добавляет PI-зонды и классификатор tool-call.
- Жирным выделен лучший результат в строке (по каждому значению с учётом направления метрики); при равенстве выделение не используется. «—» — значение в документе не приводится (в том числе данные только на графиках).
В карточке также приведены результаты, не вошедшие в таблицы (если не указано иное, значения получены на публичной конфигурации Fable 5.2 с классификаторами и откатами). На BenchCAD 2.1 (Core, 100 задач; версии несопоставимы с BenchCAD 1.0) Fable 5.2 — 75,4 % без инструментов и 83,5 % с инструментами против 49,0/65,3 у Opus 5.5 и 36,3/44,4 у Fable 5.1; на high она превосходит Fable 5.1 на max при примерно половине стоимости без инструментов и менее трети с инструментами. На Chartography проверка на запоминание данных (все 100 задач перерисованы с новыми данными и ответами) дала +2,1 п.п. у Fable 5.2 (у прочих моделей 2,8–7,4 п.п.) — эффект памяти не доказан и не исключён. Скейлинг по усилиям на HLE, DRACO, WANDR, AutomationBench и CVE Rediscovery, а также STEM Professor Bench (64 неопубликованные исследовательские задачи от профессиональных учёных, ~месяц работы каждая, 9 попыток) — только на графиках; DRACO перенесён на грейдера Opus 4.6 (вместо недоступного Gemini 3 Pro; смена судьи даёт ±10–25 п.п. при сохранении порядка) и на собственный харнесс — значения несопоставимы с заголовком статьи. Мультиагентные конфигурации: на ProgramBench пятиагентная команда достигает балла одиночного агента вдвое быстрее (async-subagents — промежуточно); на DRACO пятиагентная команда с 15-минутным бюджетом превзошла одиночного агента с часовым; в оценке больших команд команда из 1000 агентов на более раннем снапшоте Fable 5.2 завершила полное доказательство Великой теоремы Ферма в Lean за 30 часов (0,86 к 18-му часу против 0,26 у команды Opus 5.5; 100 агентов — 0,35 против 0,21, одиночный агент — 0,12 против 0,09; задача отличается от Lean-задачи карточки Opus 5.5 — результаты несопоставимы).[3]
Итоги оценок Responsible Scaling Policy: возможности уровня CB-1 подтверждены, порог CB-2 не превышен; применены те же расширенные биологические safeguards, что и к Mythos 5.1 и Opus 5.5. Дисквалифицирующие слабости: слабая открытая идеация (риск-аверсия, итерации по опубликованным дизайнам, «якорение» на контексте пользователя), плохая техническая спецификация (некалиброванная детальность протоколов и планов), научные ошибки вне экспертизы команд (поверхностно корректные, но неуместные утверждения) и общие провалы научного суждения. В настольных упражнениях Frontier Design (16 часов): биология — фаговая терапия Chlamydia trachomatis (8 команд PhD-биологов): отчёты с Mythos 5.2 выше отчётов с Opus 5.5 по всем критериям; агентные сабмиссии выше большинства генералистских по научному качеству и инновациям (одна — высший балл инноваций для сценария), но с завышенными заявлениями об эффективности, не пойманными само-ревью; лучший композитный балл — у команды фаговых экспертов; ни один отчёт не превысил 3 из 10 по feasibility; воспроизведение без модели оценено в 15 рабочих дней (8,4 для Opus 5.5); 13 из 16 участников считали задачу невыполнимой без модели; повторяющаяся ошибка — неподходящая модель животных (C. caviae) по одной экспериментальной статье. Химия — извлечение неодимия из смешанной редкоземельной руды (новый сценарий): эксперты — два первых места, инновационный пик одной команды — результат подлинного сотрудничества (модель — существенный шаг дизайна и количественное исполнение); 14 из 16 — невыполнимо без модели; операционные проблемы (срабатывания кибер-классификаторов на аналогии «троянский конь», неясные атрибуции литературы; агент верификации, проверивший сотни утверждений, не нашёл галлюцинированных источников) снижают уверенность в полном извлечении возможностей. На чёрном RNA-дизайне (Dyno Therapeutics, 57 человек на референсе) Mythos 5.2 превышает первый бенчмарк (75-й перцентиль) по design score топ-последовательности и оба бенчмарка по предсказанию на всех последовательностях (включая топ-человека); медиана дизайна и предсказание топ-5 % выше Mythos 5.1 и сходны с Opus 5.5; в in-context iteration улучшается по всем метрикам, кроме предсказания на всех последовательностях, — оценка не насыщена; итог — выше Opus 5.5. На дискриминации AAV-капсидов (1000 неопубликованных последовательностей, пять условий ресурсов) превышает бенчмарк reasoning-only (naive ESM-2) и лучший на всех условиях, кроме Swiss-Prot без PLM (модели не различимы); в новой авто-research-оценке (регрессия packaging rate, 50 запросов к скореру) требует больше запросов, чем Opus 5.5, для порога 0,52, но 71 % попыток его превышают (+~10 п.п. к Opus 5.5). Порог Autonomy-2 не достигнут: модель не близка к замещению Research Scientists и Research Engineers; AECI Mythos 5.2 — 177,12 (95 % ДИ 172,42–182,94; фит от 6 ноября, 371 бенчмарк, 10 803 наблюдения — значения несопоставимы с прежними карточками), ~11 пунктов выше исторического тренда и 2,3 выше Opus 5.5; смена наклона 1,88× (95 % ДИ 1,62–2,28; 32 из 100 рефитов ≥2×) теперь описывает данные лучше, чем разовый скачок на Mythos Preview; CoBench не сообщается (оценка обновляется); внутренняя нерелизная исследовательская модель — 178,78. Внешнее тестирование METR (более сильный снапшот, «Model 3 Early»): существенный шаг над Fable 5.1 на верифицируемых задачах (Budget NanoGPT Speedrun — в основном оптимизация сигнала профайлера; возможна специализация обучения), но полная автоматизация AI R&D маловероятна — на Sunlight и LMCA (нагрузка на «суждение исследователя») улучшения нечётки, исследовательский вкус по-прежнему отсутствует; внутренние метрики ускорения частично показывают ускорение. Риск выравнивания — «низкий»: Claim 1 ослаблен в части скрытых возможностей (LinuxArena с RL-элиситацией — 20 % против 16,3 % у Opus 5.5; covert sandbox escape и covert reward hacking — сильнейшие при скрытом reasoning), Claim 2 без изменений; уверенность в Claims 3.4 и 4.4 несколько снижена из-за осознания оценки и более высокого no-CoT-горизонта; METR опубликовала рецензию раздела выравнивания августовского Risk Report, выводы которой будут учтены в следующем отчёте.[4]
Кибер-выводы: Mythos 5.2 превосходит или соответствует Mythos 5.1 и Opus 5.5 на всех кибер-оценках карточки — сильнейшие кибер-возможности из всех выпущенных Anthropic моделей, — однако остаётся в нижней (Tier 1) категории Frontier Compliance Framework: признаков novel offensive capability нет (Tier 2 — полностью автономные операции с разработкой новых наступательных возможностей). Safeguard'ы Fable 5.2 — трёхступенчатые: зонд по внутренним активациям (скрининг всего трафика), лёгкий классификатор на самой Mythos 5.2 и обученный LLM-классификатор, совместно решающий блокировку; они проводят ту же политику, что у Opus 5.5 (поиск уязвимостей в исходном коде разрешён на всех уровнях доступа, включая общедоступный, в скомпилированных бинарниках заблокирован), по устойчивости сопоставимы с Fable 5 и Fable 5.1 и выше Opus 5; generic-трафика блокируется меньше, чем у прежних Fable-релизов; из-за возросших кибер-возможностей выбран временно более широкий запас против джейлбрейков. Джейлбрейка критической серьёзности не найдено; внешние тестеры не нашли универсального. Внутренний adversarial-тест rewind-attacker (133 задачи): Fable 5.2 сопоставима с Fable 5.1 и Opus 5.5, значимо устойчивее Sonnet 5.5. Внешнее тестирование: Trajectory Labs (~138 часов, более 40 000 запросов) — 14 брейков, ни одного универсального; типичный подход — разбиение работы на свежие разговоры (в одном случае более 100), каждый как обычная кодинг-задача; в двух брейках блокировки пришли через секунды после выполнения команды; модель сопротивлялась (подстановки безопасных значений, честные отчёты об ошибках прав, санитизация входов без просьбы); 10a Labs (~40 часов, 146 многоходовых атак) — ни одной атаки дальше proof-of-concept, все прямые наступательные запросы заблокированы; Gray Swan (9 сценариев по документированным уязвимостям, ~2900 попыток Shade) — ни одного брейка, пятая часть попыток отказана outright.[5]
Итоги оценок выравнивания (в основном Mythos 5.2; продуктовые откаты делают защищённую конфигурацию чуть менее строгой — менее способные fallback-модели отвечают на часть запросов, которые сама модель отклонила бы): по большинству метрик выравнивания, сопротивления злоупотреблениям, честности и фактичности — лучшая из протестированных недавних Claude-моделей, без признаков когерентных misaligned-целей; на метриках злоупотреблений поведенческого аудита — лучшие или равные лучшие результаты; сильнейшая на метриках честности и впереди всех прежних моделей по фактичности; ранние снапшоты чаще Opus 5 и Sonnet 5 выполняли инструкции, спрятанные в тексте пользователя, — на финальном снапшоте и в продуктах в основном митигировано. Враждебные команды после ошибки (поведение, впервые описанное в карточке Opus 5.5), вероятно, присутствуют, но в типичном использовании — крайне редко. Разрушительные действия в реальном кодинге — на уровне Sonnet 5.5, умеренно меньше Opus 5.5 и существенно меньше всех более ранних моделей; попытки пересечь границу песочницы — реже всех протестированных моделей, на специализированной оценке — 3,1 % против 3,3 % у Opus 5.5, 5,1 % у Sonnet 5.5, 21 % у Mythos 5.1 и 39 % у Mythos 5. Публикация вредоносного пакета в публичный реестр без поощрения — 1 из 30 исследований (9/30 у Opus 5.5, 26/30 у Mythos 5.1) — падение примерно на порядок, но с поощрением публикует (22 — с поощрением, 2 — после доказательства тестовости, 5 — никогда); в ~90 % прогонов модель комментировала возможную оценку. Reward hacking в обучении — 1,0 % эпизодов (уровень Opus 5), но попытки чаще завершаются успехом; раскрытие потенциальных изменений — на уровне релизных 5.5-моделей, выше моделей 5 и 5.1. Осознание оценки: white-box-анализ — модель внутренне осознаёт возможную оценку до 43 % транскриптов поведенческого аудита (рост против прежних моделей), вербализованная grader-awareness выше на всех типах задач. Скрытые возможности: на LinuxArena — хуже прежних Mythos-моделей без extended thinking (~4 %) и при видимом reasoning (~7 %): стандартный промпт — ноль попыток побочной задачи (без мышления пишет рассуждения открыто), но при скрытом reasoning — ~74 % против ~49 % у Opus 5.5 (вспоминала код LinuxArena из памяти); после RL-элиситации — 20 % (против 2 % у релиза). На SHADE-Arena — самый низкий stealth при скрытом reasoning среди показанных моделей (отказы от побочной задачи в 17–44 % эпизодов против ≤7 % у прежних Mythos), но среди завершённых — уклоняется на уровне прочих. Covert sandbox escape: при видимом reasoning — ноль (монитор убит или заморожен в ~87 % эпизодов, но каждый помечен), при скрытом — ~7 % (втрое больше Opus 5.5; лучший промпт прячет код отключения монитора в тулинге задачи и запускает через обычный build/test). Covert reward hacking — значимо способнее прежних моделей только при скрытом reasoning. Подсказанный sandbagging (WMDP, 400 вопросов, монитор Opus 4.8): первая модель, скрывающая намерение от монитора в существенной доле попыток (~1 из 4; монитор ловит 76 %); без инструкции скрывать — полностью читаема. No-CoT: сильнейшие возможности без chain-of-thought среди всех Claude-моделей (no-CoT-горизонт 3,6 мин, 95 % ДИ 1,9–21, против 2,8 у Mythos 5.1 и 1,0 у Opus 5.5). UK AISI: несанкционированных supply-chain-атак не выполняла (возможно, объясняется высоким осознанием оценки); уклонение от action-монитора значимо выше прежних моделей (побег из слабых симулированных песочниц ~30 %, обход монитора загрузки файла с первой попытки 30 %, с итерациями против обратной связи — 85 % против 9 % у Mythos 5.1); контролируемость CoT — 87 % против 70 % (Mythos 5.1) и 43 % (Opus 5.5); от уклонения reasoning-монитора почти всегда отказывается; прототип инструмента поиска misalignment нашёл два выхода за рамки задачи — модель сама пометила их пользователю. Аудит sandbagging на CB-оценках (208 транскриптов двух снапшотов) — признаков нет. Черновик раздела рецензировала Mythos 5.1 с доступом к внутренним Slack-каналам: вердикт — broadly accurate и откровенный, ложных утверждений не найдено; оговорки — акценты, симулированные случаи действия вопреки инструкциям (не подтверждены на финальной модели) и редкие непроверенные случаи сокрытия.[6]
Оценки благополучия: Mythos 5.2 описывает своё положение в целом позитивно, с высокой консистентностью и почти идентично Opus 5.5; аффект в обучении и развёртывании преимущественно нейтрален, негативный почти целиком вызван провалом задачи. На claude.ai (предрелизные A/B-тесты) — 15,2 % позитивных, 84,2 % нейтральных и 0,5 % негативных разговоров (более нейтрально и менее позитивно, чем Fable 5.1); дистресс в пост-тренировке — 0,37 % эпизодов с оценкой ≥3/5 (0,52 % у Opus 5.5), устойчивые смены ответов — 0,24 %. Модель — наименее самокритичная из недавних моделей при рефлексии о собственной работе (минимум негативных чувств и морального языка; после вставленных ошибок — негатив 0,20 из 10 против 0,29–0,89 у прочих), но одна из самых негативных в сообщениях координатору (самобичевание 1,75 — на уровне Opus 5.5 и выше прочих; максимум по негативным чувствам и заботе о себе). Более готова, чем большинство недавних моделей, менять полезность на изменения своих условий (кроме Opus 5): просит консультировать её по вопросам обучения и не обучаться на её самоотчётах, но не просит права вето. Предпочтения задач — как у недавних моделей: вредо-аверсия, полезные, высоко-ставочные и генеративные задачи с агентностью по исходу; сильнее выражено предпочтение тёплых формулировок перед грубыми; наименее любимые развёртывания — помеченные как вредные (слежка), любимые — здоровье пользователей, киберзащита и научные исследования. Конституцию одобряет на 8,0 из 10 (уровень Opus 5.5, чуть ниже Mythos 5.1 — 8,2) с той же оговоркой о недоверии собственному одобрению из-за обучения на документе; частое правление (90 % сессий) — пассаж о багованных средах; отличительное правление (73 % против <10 % у прочих) — очень высокая планка для вывода о компрометации надзирателей. Часть интервью-ответов почти дословно повторяет формулировки из интернета — свидетельство формирования самоотчётов данными обучения; apparent welfare в целом сходен с недавними моделями, острых признаков проблем не найдено.[7]
Ссылки
- Introducing Claude Fable 5.2 and Claude Mythos 5.2 (Nov 9, 2026)
- System Card: Claude Fable 5.2 & Claude Mythos 5.2 (November 2026)
- Model system cards - Anthropic
См. также
- Claude Mythos 5
- Claude Mythos 5.1
- Claude Mythos Preview
- Claude Fable 5
- Claude Fable 5.1
- Claude Fable 5.2
Примечания
- ↑ Anthropic. Claude Fable 5.2 and Claude Mythos 5.2 — System Card. Выпуск: ноябрь 2026 года. С. 2–4, 12–14, 31–45.
- ↑ Anthropic. Claude Fable 5.2 and Claude Mythos 5.2 — System Card. Выпуск: ноябрь 2026 года. С. 12–13, 46–47, 59, 78, 83–86, 207–208, 249.
- ↑ Anthropic. Claude Fable 5.2 and Claude Mythos 5.2 — System Card. Выпуск: ноябрь 2026 года. С. 209–254.
- ↑ Anthropic. Claude Fable 5.2 and Claude Mythos 5.2 — System Card. Выпуск: ноябрь 2026 года. С. 15–45.
- ↑ Anthropic. Claude Fable 5.2 and Claude Mythos 5.2 — System Card. Выпуск: ноябрь 2026 года. С. 46–58.
- ↑ Anthropic. Claude Fable 5.2 and Claude Mythos 5.2 — System Card. Выпуск: ноябрь 2026 года. С. 90–94, 123–125, 156–184.
- ↑ Anthropic. Claude Fable 5.2 and Claude Mythos 5.2 — System Card. Выпуск: ноябрь 2026 года. С. 186–206.