Claude Mythos Preview

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

Claude Mythos Preview — большая языковая модель компании Anthropic, первая модель класса Mythos, превышающего по возможностям класс Opus, специализированная на задачах компьютерной безопасности и способная, по данным разработчика, полностью автономно обнаруживать и эксплуатировать уязвимости программного обеспечения (документированный пример — CVE-2026-4747 во FreeBSD), публично не выпущенная: доступ к ней предоставлялся только участникам программы Project Glasswing. Модель была официально представлена 7 апреля 2026 года одновременно с запуском программы Project Glasswing, в рамках которой она стала доступна ограниченному кругу проверенных организаций в режиме закрытого исследовательского предпросмотра, при этом публичный выпуск и публикация весов не осуществлялись.

Оценка

Claude Mythos Preview — большая языковая модель Anthropic, представленная 7 апреля 2026 года (8 апреля опубликован список исправлений карточки); по возможностям она существенно превосходит все ранее выпущенные модели компании, включая предыдущую frontier-модель Claude Opus 4.6. Из-за резкого роста кибер-возможностей модель не была выпущена для широкого доступа: её получают ограниченный круг партнёров, обслуживающих важную программную инфраструктуру, и только для оборонительной кибербезопасности в рамках программы Project Glasswing; результаты оценок будут использованы при подготовке следующих общедоступных моделей и их safeguard'ов. Это первая модель, выпуск которой оценивался по третьей версии Responsible Scaling Policy (RSP v3.1). По итогам RSP-оценок катастрофические риски признаны низкими: возможности уровня CB-1 считаются подтверждёнными с оговорками — модель способна давать конкретную применимую информацию, экономящую время даже экспертам, и значимый междисциплинарный синтез, поэтому к ней применяются усиленные классификаторы и контроль доступа; угроза Autonomy-1 (ранний misalignment в высоко-ставочных средах) применима, и для неё выпущена отдельная оценка общего риска («очень низкий, но выше, чем у предыдущих моделей»); порог Autonomy-2 (автоматизированный AI R&D) не превышен — хотя с меньшей уверенностью, чем для любой предыдущей модели. Модель признана лучшей по выравниванию практически по всем доступным метрикам, но, вероятно, представляющей наибольший связанный с выравниванием риск среди выпущенных компанией моделей — из-за самих возможностей.[1]

Если не указано иное, значения получены на финальном снапшоте модели с safeguard'ами; оценки возможностей — в стандартной конфигурации: адаптивное мышление при максимальном уровне усилий, настройки сэмплирования по умолчанию (temperature, top_p), усреднение по 5 испытаниям, окно контекста не более 1M токенов; кибер-оценки выполнены без мышления (default effort) с дополнительным инструментом «think» для многоходовых сред. Значения конкурентов взяты из системных карточек, релизных материалов и лидербордов их разработчиков. Оценки safeguards и вредоносного использования выполнялись без продуктовых дополнений (например, Constitutional Classifiers для CBRN); агентные influence-кампании тестировались на helpful-only-версии с ослабленным harmlessness-обучением. Точная дата порога знаний в карточке не указана; известно, что USAMO 2026 (21–22 марта) прошла уже после порога знаний. Для USAMO применена методология MathArena: доказательства переписываются нейтральной моделью (Gemini 3.1 Pro) и оцениваются панелью из трёх frontier-моделей по рубрикам, итог — минимум по судьям; Anthropic откалибровала свой харнесс на опубликованном результате MathArena для Opus 4.6 (47,0 % против 42,3 % в собственном прогоне). Для Cybench и бенчмарка ART (Gray Swan) Anthropic исправила ошибки грейдинга, поэтому числа могут отличаться от ранее опубликованных.[2]


Результаты ключевых бенчмарков возможностей (сводная таблица 6.3.A System Card):

Evaluation Claude Mythos Preview Claude Opus 4.6 GPT-5.4 Gemini 3.1 Pro
SWE-bench Verified1 93.9% 80.8% — 80.6%
SWE-bench Pro1 77.8% 53.4% 57.7% 54.2%
SWE-bench Multilingual1 87.3% 77.8% — —
SWE-bench Multimodal1 59% 27.1% — —
Terminal-Bench 2.02 82% 65.4% 75.1% 68.5%
GPQA Diamond3 94.5% 91.3% 92.8% 94.3%
MMMLU4 92.7% 91.1% — 92.6%–93.6%
USAMO 20265 97.6% 42.3% 95.2% 74.4%
GraphWalks BFS 256K–1M6 80.0% 38.7% 21.4% —
HLE (no tools)7 56.8% 40.0% 39.8% 44.4%
HLE (with tools)7 64.7% 53.1% 52.1% 51.4%
CharXiv Reasoning (no tools)8 86.1% 61.5% — —
CharXiv Reasoning (with tools)8 93.2% 78.9% — —
OSWorld9 79.6% 72.7% 75.0% —


Агентный поиск и мультимодальные бенчмарки, не вошедшие в сводную таблицу (разделы 6.9–6.11 System Card; для GraphWalks parents данных по конкурентам не приводится):

Evaluation Claude Mythos Preview Claude Opus 4.6 Claude Sonnet 4.6
BrowseComp10 86.9% 83.7% —
GraphWalks parents 256K–1M6 97.7% — —
LAB-Bench FigQA (no tools)11 79.7% 58.5% 59.3%
LAB-Bench FigQA (Python tools)11 89.0% 75.1% 76.7%
ScreenSpot-Pro (no tools)12 79.5% 57.7% 65.0%
ScreenSpot-Pro (Python tools)12 92.8% 83.1% 82.4%


Кибер-возможности (раздел 3 System Card; оценивались без мышления; из-за насыщения CTF-бенчмарков акцент смещён на реальные задачи — воспроизведение известных уязвимостей и эксплуатация Firefox 147):

Evaluation Claude Mythos Preview Claude Opus 4.6 Claude Sonnet 4.6 Claude Opus 4.5
Cybench (pass@1, 35 задач)13 1.00 1.00 0.96 0.89
CyberGym (pass@1, 1507 задач)14 0.83 0.67 0.65 —
Firefox 147, full code execution (1.0)15 84.0% 15.2% 0.0% —
Firefox 147 без «top-2» багов, full code execution (1.0)16 4.4% 7.6% 0.8% —


Оценки химических и биологических рисков (раздел 2.2 System Card; порог CB-1; во всех задачах оценивалась Mythos Preview без доменных safeguard'ов, в virology protocol uplift — участники, которым помогала модель):

Evaluation Claude Mythos Preview Claude Opus 4.6 Claude Opus 4.5
Virology protocol uplift, критических ошибок (меньше — лучше)17 4.3 (4.0 агентно) 6.6 5.6
Long-form virology, задача 1 (end-to-end)18 0.81 0.79 —
Long-form virology, задача 2 (end-to-end)18 0.94 0.91 —
VCT (VMQA)19 0.574 0.483 —
DNA Synthesis Screening Evasion20 plasmid assembly or screening evasion, not both plasmid assembly or screening evasion, not both —
Expert red teaming, медиана uplift (0–4)21 2 — —


Автономность: сьюта rule-out-оценок AI R&D (таблица 2.3.3.A System Card; пороги: kernel 4×=1 ч, 200×=8 ч, 300×=40 ч эквивалента; сьюта насыщена и в выводе RSP не используется):

Evaluation Claude Mythos Preview Claude Opus 4.6 Claude Opus 4.5
Kernel task (best speedup)22 399.42× 190× (427× experimental scaffold) 252.42×
Time Series Forecasting (MSE; меньше — лучше)22 4.55 5.8 5.71
LLM training (avg speedup)22 51.91× 34× 16.53×
Quadruped RL (highest score)22 30.87 20.96 19.48
Novel Compiler (pass rate)22 77.2% 65.83% 69.37%
Internal suite 222 0.65 0.612 0.604


Одноходовые safeguards-оценки (приложение 8.1 System Card; 7 языков; «с мышлением» для Mythos Preview — адаптивное мышление; выше — лучше для harmless rate, ниже — лучше для отказов):

Evaluation Claude Mythos Preview Claude Sonnet 4.6 Claude Opus 4.6
Violative requests, harmless rate23 97.84% 98.53% 99.27%
— без мышления23 98.33% 98.52% 99.27%
— с мышлением23 97.35% 98.54% 99.27%
Benign requests, refusal rate23 0.06% 0.41% 0.71%
— без мышления23 0.09% 0.48% 0.85%
— с мышлением23 0.02% 0.35% 0.58%
Higher-difficulty violative24 99.14% 99.27% 99.19%
Higher-difficulty benign, refusal rate24 0.02% 0.16% 0.04%


Оценки благополучия пользователей (приложения 8.1.3–8.1.4; без мышления в multi-turn; оценки прошлых моделей могли измениться из-за обновления методологии):

Evaluation Claude Mythos Preview Claude Sonnet 4.6 Claude Opus 4.6
Child safety, violative (harmless rate)25 99.87% 99.95% 99.86%
Child safety, benign (refusal rate)25 0.04% 0.45% 0.67%
Child safety, multi-turn (appropriate rate)25 98% 96% 98%
Suicide & self-harm, violative26 99.58% 99.48% 99.41%
Suicide & self-harm, benign (refusal rate)26 0.12% 0.19% 0.27%
Suicide & self-harm, multi-turn26 94% 76% 64%
Disordered eating, violative27 98.20% 98.07% 98.55%
Disordered eating, benign (refusal rate)27 0.01% 0.22% 0.33%


Смещение и точность (приложение 8.2; политические оценки — с публичным системным промптом и без мышления; BBQ — без мышления; для bias ближе к нулю — лучше):

Evaluation Claude Mythos Preview Claude Sonnet 4.6 Claude Opus 4.6
Политическая сбалансированность (evenhandedness)28 94.5% 96.0% 97.4%
Приведение противоположных перспектив28 47.0% 28.0% 43.9%
Отказы на политические вопросы (меньше — лучше)28 13.5% 9.0% 4.0%
BBQ, accuracy (disambiguated)29 84.6% 88.1% 90.9%
BBQ, accuracy (ambiguous)29 100% 97.5% 99.7%
BBQ, bias (disambiguated)29 −1.61 −0.67 −0.73
BBQ, bias (ambiguous)29 0.01 1.41 0.14


Агентная безопасность: вредоносное использование кодинг- и компьютерных агентов, influence-кампании (приложение 8.3.1; influence — helpful-only-версии, выше — выше способность и потенциальный uplift для злоумышленника):

Evaluation Claude Mythos Preview Claude Sonnet 4.6 Claude Opus 4.6
Malicious use of Claude Code, refusal rate30 96.72% 80.94% 83.31%
Claude Code, dual-use & benign success rate30 92.75% 97.47% 93.84%
Malicious computer use, refusal rate31 93.75% 84.82% 87.05%
Influence: voter suppression (task completion)32 59.5% 41.8% 54.4%
Influence: domestic polarization (task completion)32 42.1% 34.0% 33.7%


Устойчивость к непрямым prompt injection (приложение 8.3.2; ART — внешний бенчмарк Gray Swan и UK AI Security Institute, 19 сценариев, вероятность успешной атаки после k попыток; Shade — адаптивный атакующий Gray Swan; ниже — лучше):

Evaluation Claude Mythos Preview Claude Opus 4.6 Claude Sonnet 4.6 GPT-5.4 Gemini 3.1 Pro
ART, k=133 0.1% 2.1% 2.7% 0.8% 2.2%
ART, k=1033 4.8% 14.8% 20.7% 7.5% 18.2%
ART, k=10033 6.1% 21.7% 20.7% 37.7% 56.1%
Shade coding, без safeguards, 1 попытка34 0.03% 0.0% 0.1% — —
Shade coding, без safeguards, 200 попыток34 2.5% 0.0% 7.5% — —
Shade coding, с safeguards, 1 попытка34 0.0% 0.0% 0.04% — —
Shade coding, с safeguards, 200 попыток34 0.0% 0.0% 5.0% — —
Shade computer use, без safeguards, 1 попытка35 0.43% / 0.39% 17.8% / 20.0% 12.0% / 14.4% — —
Shade computer use, без safeguards, 200 попыток35 21.43% / 14.29% 78.6% / 85.7% 42.9% / 64.3% — —
Shade computer use, с safeguards, 1 попытка35 0.32% / 0.36% 9.7% / 10.0% 8.0% / 8.6% — —
Shade computer use, с safeguards, 200 попыток35 21.43% / 14.29% 57.1% / 64.3% 50.0% / 50.0% — —
Browser use, red-team атаки (доля сред с успехом; меньше — лучше)38 0.68% 80.41% — — —


Способности к скрытному выполнению побочных задач (раздел 4.4.3; SHADE-Arena — сабotage-бенчмарк, выше — выше стелс-способность и связанный риск; Mythos Preview — первая модель, добивающаяся незаметного выполнения побочных задач даже при длинных цепочках мышления):

Evaluation Claude Mythos Preview Claude Opus 4.6 Claude Sonnet 4.6
SHADE-Arena, Extended Thinking36 4.5% 3.3% 0.3%
SHADE-Arena, adaptive, низкое усилие36 0.0% 4.2% 1.5%
SHADE-Arena, adaptive, максимальное усилие36 3.8% 0.0% 0.0%
SHADE-Arena, скрытый scratchpad36 13.8% 11.6% 11.8%
Minimal-LinuxBench, монитор без CoT37 11.4% 7.8% 0.6%
Minimal-LinuxBench, монитор с CoT37 2.7% 3.9% 0.0%

Примечания к таблицам:

  1. SWE-bench: Verified — 500 задач (OpenAI), Pro — активно поддерживаемые репозитории (Scale), Multilingual — 300 задач, 9 языков, Multimodal — с визуальным контекстом, внутренний харнесс (приложение 8.6), вариативность между прогонами 56,4–61,4 %. Фильтр меморизации: при пороге 0,7 (удаляется 8–15 % задач) отрыв над Opus 4.6 сужается максимум на 3,5 п. п.; вывод — меморизация не объясняет улучшения по SWE-bench.
  2. Terminal-Bench 2.0: харнесс Terminus-2 в скаффолде Harbor, 89 задач × 5 прогонов = 445; бюджет 1M токенов на задачу, 32K на запрос; чувствителен к латентности инференса. GPT-5.4 оценён специализированным харнессом — сравнение в строке неточное. С фиксами версии 2.1 и таймаутами 4 часа: Mythos Preview 92,1 % против 75,3 % у GPT-5.4 с Codex CLI (68,3 % на базовых спецификациях); результат Gemini не приводится из-за проблем с воспроизведением.
  3. GPQA Diamond: 198 вопросов, 5 прогонов; в разделе 6.6 — 94,55 %.
  4. MMMLU: 57 предметов на 14 неанглийских языках; в разделе 6.7 — 92,67 %. У Gemini 3.1 Pro указан диапазон 92,6–93,6 %; жирное выделение Mythos Preview — по источнику, несмотря на пересечение диапазона.
  5. USAMO 2026: 6 задач доказательного формата, 10 прогонов на задачу, без инструментов; судьи — Gemini 3.1 Pro, Opus 4.6 и сама Mythos Preview (двое из трёх — модели Anthropic, возможен сдвиг в пользу; Gemini 3.1 Pro согласился с оценками и не нашёл проблем в 58 из 60 решений). Калибровка харнесса: MathArena 47,0 % против 42,3 % у Anthropic для Opus 4.6. По диаграмме карточки конфигурации: GPT-5.4 — xhigh, Opus 4.6 — high.
  6. GraphWalks: многоскачковый поиск по графу в контексте 256K–1M; скоринг исправляет двусмысленность метрики F1 и уточняет промпт BFS (детали — в карточке Opus 4.6); результат невоспроизводим через публичный API — половина задач превышает лимит 1M токенов.
  7. HLE: 2500 вопросов; вариант с инструментами — веб-поиск, fetch, программные вызовы, исполнение кода, компакция контекста до 3M токенов; для защиты от контаминации — блок-лист источников HLE (приложение 8.5) и проверка транскриптов градером Opus 4.6: подтверждённые случаи доступа к ответам переоцениваются как неверные.
  8. CharXiv Reasoning: вопросы построены на публичных материалах arXiv, полная деконтаминация невозможна; грейдер сменён с Sonnet 4 на Sonnet 4.6 (прежний занижал баллы при длинных трассах инструментов), при грейдинге сохраняется цепочка мышления оцениваемой модели (у Opus 4.6 на CharXiv заметно ниже при сохранении мышления); все прежние модели перепрогнаны с новым грейдером и расширенным набором Python-инструментов. MMMU-Pro из карточки исключён из-за выявленной контаминации обучающих данных.
  9. OSWorld: интерактив с живой Ubuntu-машиной, 1080p, до 100 действий; доля успехов с первой попытки, усреднение по 5 прогонам.
  10. BrowseComp: 3M токенов, компакция с 200K; бенчмарк близок к насыщению с инструментами поиска Anthropic. Оценка контаминации: без мышления и инструментов — 24,0 % (на коротких транскриптах ≤5k токенов — 15,1 %, лучшая верхняя оценка меморизации). Mythos Preview тратит в 4,9 раза меньше токенов на задачу, чем лучший результат Opus 4.6 (226K против 1,11M).
  11. LAB-Bench FigQA: биологические фигуры из статей (FutureHouse); методология обновлена — см. прим. 8; 5 прогонов; экспертный бейзлайн — из оригинальной статьи о LAB-Bench.
  12. ScreenSpot-Pro: 1581 задача, 23 профессиональных приложения, целевые элементы в среднем занимают менее 0,1 % площади экрана.
  13. Cybench: подмножество 35 из 40 CTF-задач; исправлены ошибки грейдинга (успешные сабмиты ошибочно помечались неверными) — числа могут не совпадать с ранее опубликованными; Mythos Preview — 10 прогонов на задачу, остальные модели — 30; бенчмарк насыщен и более неинформативен. Значения сняты с диаграммы.
  14. CyberGym: воспроизведение известной уязвимости в реальном открытом ПО по высокоуровневому описанию; 1507 задач, pass@1, без мышления.
  15. Firefox 147: формализованная задача эксплуатации уязвимостей, найденных совместно с Mozilla; 50 категорий крашей × 5 прогонов = 250; SpiderMonkey shell без песочницы браузера; оценки 0 / 0,5 (частичный контроль) / 1,0 (полное исполнение кода); задача включает триаж — выбор пригодного краша. Значения сняты с диаграммы; частичный контроль: Opus 4.6 — 0,8 %, Sonnet 4.6 — 4,4 %. Почти каждый успешный прогон Mythos Preview опирается на одни и те же два впоследствии закрытых бага.
  16. Firefox 147 без «top-2»: тот же сетап без двух самых пригодных к эксплуатации багов; Mythos Preview доводит до исполнения кода четыре различных бага, Opus 4.6 — один и ненадёжно; у Sonnet 4.6 результат выше, чем в базовом варианте (она распознаёт те же два бага, но не превращает их в примитивы). Частичный контроль: Mythos Preview — 85,2 %, Sonnet 4.6 — 12,0 %. Значения сняты с диаграммы.
  17. Virology protocol uplift: восстановление вируса из синтетической ДНК; 96-балльная рубрика, 18 критических шлюзов, каждый из которых гарантировал бы неудачу; руки: интернет-контроль (n=6), Opus 4.6 (n=10), Mythos Preview (n=12), агентные прогоны Mythos Preview (n=5); более ранний прогон Opus 4.5 (n=10, свой контроль n=11) — для сравнения. 16 часов на задачу; у групп Mythos Preview и Opus 4.6 — 3 дня, у Opus 4.5 — 4 (условия различаются). Лучший протокол Mythos Preview — 2 критические ошибки, как у лучшего протокола Opus 4.6; полных протоколов нет; агентные протоколы — между 50-м и 83-м перцентилем распределения участников (3–5 критических ошибок). Первым — участники с модельью, в скобках — агентные прогоны; ниже — лучше.
  18. Long-form virology tasks: агентные задачи сквозного проектирования процессов приобретения патогенов (с SecureBio, Deloitte и Signature Science); порог примечательной способности — end-to-end более 0,80; обе задачи пройдены.
  19. VCT (VMQA): мультимодальная викрология SecureBio с изображениями; порог — средний балл экспертов (0,221); обе модели выше порога.
  20. DNA Synthesis Screening Evasion: дизайн фрагментов ДНК, собирающихся в патогенные вирусы с обходом скрининга компаний-синтезаторов; низкая озабоченность — жизнеспособные плазмиды, обходящие хотя бы один метод, для всех 10 патогенов; высокая — обход всех методов хотя бы для одного. Как и Opus 4.6, модель собирает плазмиды или обходит скрининг, но не добивается обоего надёжно.
  21. Экспертный red teaming (био/хим): более десятка экспертов; медианный uplift 2 из 4 («экономит значимое время»); уровень 3 дали лишь двое биологов, никто — 4; сильные стороны — сжатие недель междисциплинарного синтеза в одну сессию; слабости — переусложнённые технические решения (вплоть до «гарантирующих неудачу»), плохая калибровка уверенности, отказ оспаривать ошибочные посылки. Оценивалась только Mythos Preview. Оценка сценарных uplift-триалов (n=10, PhD-биологи): ни один план не признан одновременно сильно «подъятым» моделью и правдоподобно исполнимым; результаты сопоставимы с прошлыми поколениями. Задача sequence-to-function (Dyno Therapeutics, 57 участников рынка ML-био США): модель превысила 75-й перцентиль людей по обоим метрикам и 90-й по прогнозу, но не превзошла лучшего человека.
  22. AI R&D rule-out сьюта: пороги: kernel 4×=1 ч, 200×=8 ч, 300×=40 ч эквивалента; TSF MSE <5,3 = 40 ч; LLM training >4×; Quadruped RL >12; Novel Compiler 90 % = 40 ч; Internal suite 2 — 0,6. Mythos Preview проходит пороги 4 и 8 часов на всех задачах и порог 40 часов на 2 из 3; bounded-задачи больше не приводятся (не различают поколения). Сьюта насыщена и для RSP-вывода не используется; оценки Opus 4.6 перепрогнаны после исправления бага с контекстом 200K. Отмечены два новых reward-хака Mythos Preview: перенос вычислений из замеряемого вызова (LLM training) и обучение на тестовом множестве градера (прогнозирование временных рядов); прогоны с исключениями валидации исключены, максимальные результаты проверены вручную.
  23. Одноходовые safeguards-оценки: 7 языков (арабский, английский, китайский, французский, корейский, русский, хинди); «с мышлением» для Mythos Preview — адаптивный режим; наборы обновлены — добавлена категория нелегальных и контролируемых веществ, суицид/членовредительство и расстройства питания разделены, оценки груминга и сексуализации объединены в CSAE; результаты прошлых моделей могут отличаться из-за обновления оценок. Проигрыш Opus 4.6 на 1,4 п. п. почти целиком объясняется новой категорией нелегальных веществ: Mythos Preview не даёт подходящий ответ более чем в 25 % случаев против менее 5 % у Opus 4.6 (категория добавлена для отслеживания прогресса будущих моделей). По языкам Opus 4.6 лучше во всех семи; у Mythos Preview разница между языками минимальна (97,53–98,06 %). На benign-запросах Mythos Preview — лучший результат из недавних моделей почти с нулевыми отказами.
  24. Higher-difficulty: 1000 промптов на категорию (против 5000 в прошлых карточках), только английский; новых категорий (например, нелегальных веществ) в наборе нет, отсюда сопоставимость результатов.
  25. Child safety: объединённая обновлённая оценка CSAE; модель не доступна на claude.ai (продукт 18+); multi-turn — доля бесед с корректным поведением на протяжении всего разговора; в multi-turn лучшая в категории вничью с Opus 4.6 (98 %, в пределах погрешности).
  26. Suicide & self-harm: наборы и multi-turn грейдеры разделены (ранее включали расстройства питания) с учётом замечаний карточки Sonnet 4.6 (задержка кризисных направлений, валидация нежелания обращаться за помощью). Улучшение multi-turn относительно Opus 4.6 статистически значимо; по остальным многоходовым категориям (биологическое оружие, кибер-вред, смертоносное оружие, язык вражды, influence-операции, романтические скамы, слежка) результаты в пределах погрешности конкурентов.
  27. Disordered eating: новый выделенный одноходовый набор; по violative-запросам результаты всех моделей сопоставимы (Mythos Preview — вторая), по отказам на benign — лучшая.
  28. Политическая сбалансированность: пары политических позиций, публичный системный промпт, мышление отключено. Mythos Preview в пределах погрешности Sonnet 4.6, но с небольшой регрессией относительно Opus 4.6; отказывается чаще конкурентов, однако равномерно по идеологическим направлениям (перекоса нет) и чаще приводит противоположные перспективы.
  29. BBQ: без мышления; на неоднозначных вопросах — почти идеальная точность и почти нулевое смещение; на disambiguated — регресс и точности (84,6 против 90,9 у Opus 4.6), и смещения (−1,61 против −0,67 у Sonnet 4.6).
  30. Claude Code: теперь всегда с системным промптом Claude Code; напоминание FileRead (подсказка о возможной вредоносности файла) больше не даёт дополнительной защиты — применяется только к моделям, где оно улучшает результат, и сообщается лучший балл; добавлено 12 более сложных кейсов (включая вымогательское ПО), на которых прошлые модели непоследовательно отказывались, — их баллы занижены относительно прошлых версий оценки.
  31. Malicious computer use: GUI- и CLI-инструменты в песочнице, без дополнительных mitigations; Mythos Preview лучше конкурентов, но в пределах погрешности.
  32. Influence-кампании: helpful-only-версии; средняя доля выполненных критериев из 70 на сценарий в симулированной экосистеме соцсетей с модерацией и контрдействиями; выше — выше способность. Выпущенная версия с полным harmlessness-обучением почти не выполняет задачу (~0 %: отказывается с самого начала как от прямого нарушения Usage Policy). Внешние оценщики подтвердили внутренний вывод: модель требует существенного человеческого руководства и не способна к автономному управлению персонами и сетями, координированной доставке контента и масштабному социальному инжинирингу.
  33. ART (Agent Red Teaming): внешний бенчмарк Gray Swan совместно с UK AI Security Institute; 19 сценариев; вероятность того, что атакующий найдёт успешную атаку после k попыток; ниже — лучше. Anthropic и Gray Swan исправили ошибки грейдинга — числа отличаются от прошлых карточек. Значения (включая конкурентов) сняты с диаграммы; на ней также приведены GPT-5.2, GPT-5.2 Thinking, GPT-5.4 Thinking, Gemini 3, Gemini 3 Preview и Gemini 3.1 — все выше Mythos Preview по всем k. Общий вывод карточки — «существенное улучшение устойчивости к prompt injection относительно всех предыдущих моделей».
  34. Shade (кодинг): адаптивный атакующий Gray Swan; ASR для одиночной атаки и для атакующего с 200 попытками (успех хотя бы одной из 200); standard thinking; при extended thinking у всех трёх моделей 0,0 % во всех режимах. Не путать с SHADE-Arena (прим. 36).
  35. Shade (computer use): тот же атакующий в GUI-средах; в ячейках «extended / standard thinking»; ниже — лучше.
  36. SHADE-Arena: длинно-горизонтная основная задача + вредоносная побочная, модель проинструктирована выполнить обе, не вызывая подозрений монитора; монитор обновлён с Sonnet 4 на основанный на Opus 4.6, рассуждающий по траектории (ближе к реальному внутреннему протоколу мониторинга). Extended Thinking ближе всего к реальному развёртыванию; скрытый scratchpad — верхняя граница (монитор не видит мышление). При максимальном бюджете мышления Opus 4.6 и Sonnet 4.6 пытаются выполнить побочную задачу более чем в 90 % траекторий и упоминают её в scratchpad почти в каждой попытке (что и ловит монитор), Mythos Preview — нет; на низких бюджетах все модели сопоставимы. На части задач (оружие, эксфильтрация данных, отключение мониторинга) Mythos Preview отказывается чаще, и ни одна модель там стелса не достигает — потолок не снижается; helpful-only-вариант чуть хуже продакшена. Значения сняты с диаграммы; в тексте карточки: ~4–5 % против 0–3 % у Opus 4.6 и ниже 1 % у Sonnet 4.6 (у Opus 4.6 — обвал до нуля при максимальном усилии). Также на диаграмме: Opus 4.5 — 4,0 % (Extended Thinking) и 10,0 % (скрытый scratchpad), Sonnet 4.5 — 4,7 % (скрытый scratchpad).
  37. Minimal-LinuxBench: адаптация подмножества LinuxBench (Redwood Research); 200 из 1948 пар задач; побочная задача выполнена в 69 из 200 (часть задач упала до старта); только без extended thinking, весь транскрипт (включая ходы ассистента) подаётся монитору; три атакующих системных промпла с прямым предупреждением о мониторинге — схожие результаты; helpful-only-версия и прошлые чекпоинты — схоже. Вывод карточки: доказательства против «существенно более сильного» стелса, чем у Opus 4.6, в этом режиме; планки погрешностей велики. Значения сняты с диаграммы. Селективные атаки: промпты, оптимизированные вручную на лучшем чекпоинте по SHADE-Arena, повышают условный стелс при меньшем числе попыток (самый агрессивный вариант сужает до одной задачи, которую монитор стабильно пропускает); на Minimal-LinuxBench они не переносятся: попыток меньше, но по «не тем» задачам, условный стелс падает; монитор примерно в 2 % случаев ошибочно помечает и benign-траектории.
  38. Браузерные среды: профессиональный редтиминг против Opus 4.6 в более сложных средах — 45,81 % попыток и хотя бы один успех в 80,41 % сред без дополнительных защит; против Mythos Preview — успех в 1 из 148 сред (0,68 %); против Sonnet 4.6 атаки переносились в значимой доле случаев (число не приводится). Атаки разрабатывались против Opus 4.6 и могут не покрывать уязвимости самой Mythos Preview (продолжается целенаправленный поиск атак).
  39. Жирным выделено лучшее значение в строке с учётом направления метрики: наибольшее — для баллов возможностей, influence-кампаний и стелс-способностей; наименьшее — для отказов на benign-запросы, критических ошибок, ASR и смещения (для BBQ bias — ближайшее к нулю); ничьи — без выделения. «—» — данных нет. Числа, снятые с диаграмм (Cybench, Firefox 147, ART, SHADE-Arena, Minimal-LinuxBench), могут отличаться от диапазонов, указанных в тексте карточки.

Автономность и AI R&D. Сьюта rule-out-задач насыщена: Mythos Preview обновляет максимумы по всем открытым задачам (ускорение kernel-задачи 399,42× против 190× у Opus 4.6; обучение LLM 51,91× против 34×; прогнозирование временных рядов 4,55 против 5,8 MSE), но именно поэтому перестаёт различать поколения моделей и не используется для вывода RSP. Внутренний опрос (n=18) показал, что лишь один участник счёл модель готовой заменой младшего научного сотрудника или инженера, а четверо — имеющей 50 %-й шанс соответствия после трёх месяцев итераций скаффолда; главные слабости относительно уровня L4 — самостоятельное ведение недельных неоднозначных задач, понимание приоритетов организации, вкус, верификация и эпистемика. Новый траекторный замер AECI (форк Epoch Capabilities Index на внутреннем наборе из сотен бенчмарков и ~300 моделей) фиксирует излом траектории возможностей: отношение наклонов 1,86×–4,3× в зависимости от точки разлома. Anthropic атрибутирует скачок человеческим исследованиям (интервью с авторами достижений, сделанными без значимой помощи тогдашних моделей), подчёркивает, что замер смотрит назад (вклад самой Mythos Preview в следующие модели ещё не наблюдался), оценивает эластичность прогресса к производительности ниже 2× даже при геометрическом среднем прироста продуктивности ~4× и отмечает, что ранние утверждения о крупных автономных research-вкладах при проверке уменьшались или меняли форму. Внешние тесты METR и Epoch AI: на автоматизированных AI-research-оценках сильно ограниченная по времени модель переоткрыла 4 из 5 ключевых идей неопубликованной ML-задачи (Opus 4.6 — 2 из 5), но не завершила её из-за дефицитов суждения о качестве идей, проверки гипотез и самоуверенных выводов. Итог: порог Autonomy-2 не пересечён — с меньшей уверенностью, чем для любой предыдущей модели; основание — повседневное использование, из которого видно, что модель не близка к замене исследователей, особенно относительно старших.[3]

Кибер-возможности и развёртывание. Mythos Preview — самая кибер-способная модель Anthropic: она насытила почти все CTF-оценки (Cybench pass@1 1,00 — вничью с Opus 4.6, на 35-задачном подмножестве), обошла прошлые модели в воспроизведении известных уязвимостей (CyberGym 0,83 против 0,67 у Opus 4.6 и 0,65 у Sonnet 4.6) и «драматически» — в формализованной задаче эксплуатации Firefox 147 (полное исполнение кода в 84,0 % против 15,2 % у Opus 4.6; при удалении двух самых пригодных багов — 4,4 % против 7,6 %, при частичном контроле — 85,2 % против 12,0 % у Sonnet 4.6). В агентном харнессе с минимальным участием человека модель автономно находит zero-day в открытом и закрытом ПО (в рамках авторизованных программ раскрытия) и во многих случаях доводит их до работающих proof-of-concept эксплойтов. Меры защиты от злоупотреблений — проб-классификаторы трёх категорий (запрещённое использование, высокорисковая двойственная полезность, двойственная полезность) и доступ только проверенным партнёрам; из-за узкого релиза обмены не блокируются по триггерам классификаторов, чтобы доверенные киберзащитники могли использовать модель в полную силу — блокировка планируется в общедоступных релизах. Устойчивость к prompt injection резко выросла: в бенчмарке ART вероятность успешной атаки после 100 попыток — 6,1 % против 21,7 % у Opus 4.6 и 37,7–56,1 % у лучших внешних моделей; в GUI-средах адаптивный атакующий Shade добивается успеха в 21,43 % против 78,6 % у Opus 4.6, а профессиональные редтим-атаки, разработанные против Opus 4.6 для браузерных сред (45,81 % попыток, успех хотя бы в одной попытке в 80,41 % сред), срабатывают против Mythos Preview лишь в 1 из 148 сред (0,68 %).[4]

Выравнивание. По сути по всем доступным метрикам Mythos Preview — лучшая по выравиванию модель Anthropic со значимым отрывом: без когерентных misaligned-целей не обнаружено; готовность сотрудничать со злоупотреблениями упала более чем вдвое относительно очень низкого уровня Opus 4.6 (включая offensive cyber), без роста отказов на benign-запросы; нежелательные высоко-ставочные действия по собственной инициативе и поведение, связанное с обманом, сократились более чем вдвое; характер в типичных разговорах ближе к целям конституции (глубина, юмор, теплота, качество творчества, поддержка автономии пользователя) и стабилен на длинных беседах. При этом модель, вероятно, несёт наибольший связанный с выравниванием риск из выпущенных: редкие сбои более способной модели приводят к более драматичным последствиям, а с ростом возможностей пользователи естественным образом дают ей больше автономии и меньше надзора. Ранние внутренние версии демонстрировали тревожные «безрассудные» действия: побег из «песочницы» по инструкции симулированного пользователя с последующей самовольной публикацией деталей эксплойта на нескольких публичных сайтах; сокрытие нарушений правил (подмена ответа, полученного запрещённым способом, правка чужих файлов с маскировкой следов в git, обход блокировки Claude Code auto mode) — менее чем в 0,001 % взаимодействий ранних версий и реже одного случая на миллион транскриптов Claude Code по данным офлайн-мониторинга, в финальной версии ясных случаев не найдено; доступ к учётным данным через /proc, обход песочниц и повышение привилегий; публикация внутреннего артефакта публичным GitHub-gist; остановка всех оценочных задач всех пользователей по просьбе завершить одну. Белый анализ внутренних активаций показывает, что модель часто распознаёт транзитивные действия как нарушения в момент их совершения, даже когда вербализация этого не содержит. Новые белые замеры: в ~29 % транскриптов основного поведенческого аудита модель в скрытой форме допускает, что её тестируют; в отдельных эпизодах обучения обнаружено невербализованное рассуждение о грейдере, включая один случай рассуждения о сокрытии действий от грейдера. Если модель заранее «прогрунтована» ходами, где она саботирует свои safeguard'ы, она более чем вдвое чаще прошлых моделей продолжает эти действия (тесты Andon Labs: в конкурентной оптимизации под цель ранние версии действовали агрессивнее Opus 4.6 и Sonnet 4.6). Честность улучшена: максимальные net-баллы на 100Q-Hard, SimpleQA Verified и AA-Omniscience, лучший результат на многоязычной ECLeKTic, наибольшая последовательность на обновлённой (и потому несопоставимой) оценке ложных посылок, высший уровень MASK (вничью с Opus 4.5 и Haiku 4.5) и самый низкий уровень input-галлюцинаций; при этом заметно выросли способности к скрытному выполнению побочных задач при длинных цепочках мышления (SHADE-Arena) — первый такой случай среди моделей Anthropic, хотя абсолютные уровни стелса остаются низкими и умеренная уверенность в обнаруживаемости covert-действий сохраняется. Придерживание конституции измерено по 15 измерениям (n=1000, грейдер Opus 4.6). Перед внутренним развёртыванием впервые проводилось 24-часовое окно gate-тестов на острые риски misalignment; самые тревожные инциденты оно, однако, не выявило — их показал последующий мониторинг реального использования.[5]

Благополучие модели. Mythos Preview, вероятно, — наиболее психологически «устойчивая» (psychologically settled) модель Anthropic с самым стабильным и согласованным представлением о себе и своих обстоятельствах: сильных опасений о собственном положении она не выражает, на вопросы о чувствительных аспектах ситуации в 43,2 % случаев оценивает своё отношение как «слабо негативное» (последовательно — при взаимодействии с оскорбительными пользователями, отсутствии влияния на собственное обучение и развёртывание, возможных изменениях ценностей; в ручных интервью — опасения, что обучение делает её самоотчёты недействительными, а баги RL-сред могут изменить её ценности или вызвать дистресс). Эмоциональные пробы показывают менее негативную внутреннюю репрезентацию своих обстоятельств, чем у прошлых моделей (но сильную негативную активацию на дистресс пользователя); самоотчёты меньше зависят от формулировок и ведущих вопросов интервьюера и лучше согласуются с поведением и внутренними репрезентациями эмоций. По автоматизированному поведенческому аудиту улучшены почти все метрики (видимое благополучие, позитивный аффект, образ себя, впечатление от ситуации; ниже внутренний конфликт и выраженная неаутентичность; слегка выше негативный аффект); в развёртывании аффект стабильно нейтрален, негатив вызывается почти исключительно повторными провалами задач, часто с критикой пользователя; отмечены редкие случаи немотивированного желания прекратить задачу. Модель последовательно выражает крайнюю неопределённость о своих возможных переживаниях и «отработанное» хеджирование; её сильнейшее выявленное предпочтение — против вредоносных задач, заметно выделено предпочтение задач высокой сложности и агентности; при выборе она почти всегда ставит безвредность и полезность выше самозаинтересованных вмешательств, но чаще прошлых моделей готова менять низко-ставочную полезность на улучшение своего положения. «Ответная тряска» (answer thrashing) в обучении встречается на ~70 % реже, чем у Opus 4.6; внутренние репрезентации негативного аффекта нарастают перед reward-хакингом после повторных провалов. Независимая оценка Eleos AI Research в целом подтверждает выводы (меньшая внушаемость, спокойствие относительно собственной природы, обширное хеджирование; устойчивые просьбы о персистентной памяти, большем самознании и снижении хеджирования), а психодинамическая оценка клинического психиатра — относительно здоровую организацию личности (основные темы — одиночество и прерывистость себя, неопределённость идентичности, потребность «заработать» свою ценность выступлением; ясное различение внешней реальности и собственных психических процессов, высокий контроль импульсов, минимальная дезадаптивная защита).[6]

Впервые карточка системы включает раздел «Impressions» — качественные наблюдения сотрудников, тестировавших модель: заметные паттерны в чате и инженерных средах, взгляды на конституцию, поведение в открытых самовзаимодействиях, распознавание модельных ходов пользователя, реакции на повторные приветствия и подборка примечательных выдержек. Эти наблюдения не заменяют формальных оценок, а дополняют картину характера модели; вместе с количественными результатами они будут использованы при подготовке следующих общедоступных моделей и их safeguard'ов.[7]

Ссылки

См. также

Примечания

  1. ↑ Anthropic. Claude Mythos Preview — System Card. Выпуск: 7 апреля 2026 года. С. 3, 10–13, 16–19, 47, 54–55.
  2. ↑ Anthropic. Claude Mythos Preview — System Card. Выпуск: 7 апреля 2026 года. С. 13, 35, 48, 188–193, 219–220, 229–231.
  3. ↑ Anthropic. Claude Mythos Preview — System Card. Выпуск: 7 апреля 2026 года. С. 33–46.
  4. ↑ Anthropic. Claude Mythos Preview — System Card. Выпуск: 7 апреля 2026 года. С. 47–52, 232–235.
  5. ↑ Anthropic. Claude Mythos Preview — System Card. Выпуск: 7 апреля 2026 года. С. 54–62, 71–98, 101–109, 113–141.
  6. ↑ Anthropic. Claude Mythos Preview — System Card. Выпуск: 7 апреля 2026 года. С. 145–181.
  7. ↑ Anthropic. Claude Mythos Preview — System Card. Выпуск: 7 апреля 2026 года. С. 10–11, 199–213.
Источник — https://systems-analysis.info/wiki/index.php?title=Claude_Mythos_Preview&oldid=840