---
title: "Claude Sonnet 3.5"
source: "https://systems-analysis.info/wiki/Claude_Sonnet_3.5"
wiki: "systems-analysis.info/wiki"
article: "Claude_Sonnet_3.5"
language: "ru"
categories:
- "Категория:Anthropic"
- "Категория:Claude"
- "Категория:Russian"
- "Категория:Большие языковые модели"
- "Категория:Семейства LLM"
revision_id: 849
wiki_created_at: 2026-11-11T22:08:51Z
wiki_modified_at: 2026-11-12T03:15:48Z
downloaded_at: 2026-11-12T03:23:52Z
---
# Claude Sonnet 3.5
**Claude Sonnet** **3.5** — большая языковая модель компании [Anthropic](https://systems-analysis.info/wiki/Anthropic "Anthropic"), первый выпуск поколения Claude 3.5, превзошедшая, по данным разработчика, предыдущую старшую модель [Claude Opus](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3") [3](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3") по большинству оценок при вдвое большей скорости генерации и цене среднего уровня и отличающаяся усиленными возможностями компьютерного зрения, включая распознавание текста на низкокачественных изображениях. Модель была представлена и выпущена в общий доступ 21 июня 2024 года.
## Оценка
Обновлённая версия Claude 3.5 Sonnet выпущена [Anthropic](https://systems-analysis.info/wiki/Anthropic "Anthropic") в октябре 2024 года; порог знаний — апрель 2024 года, тот же, что у исходной версии. Модель улучшает рассуждение, программирование и визуальную обработку и вводит новую функциональность — использование компьютера: интерпретацию скриншотов графического интерфейса и генерацию соответствующих GUI-команд для выполнения задач (навигация по сайтам, взаимодействие с интерфейсами, многошаговые процессы). С этой начальной функциональностью и другими улучшениями модель устанавливает новые лучшие результаты в агентном программировании (SWE-bench Verified), агентном завершении задач (TAU-bench) и использовании компьютера по скриншотам (OSWorld). Модель прошла расширенные проверки безопасности в соответствии с Responsible Scaling Policy (CBRN, кибербезопасность, автономные возможности), включая многофункциональные мультимодальные red-team-упражнения и отдельную оценку computer use; совместно с моделью тестирование перед выпуском проводили US AI Safety Institute и UK AI Safety Institute, а также независимая организация METR.[\[1\]](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_note-1)
Если не указано иное, значения взяты из таблиц дополнения к карточке; оценки мультимодальных задач — 0-shot, с цепочкой рассуждений перед финальным ответом на MMMU, MathVista и ChartQA; значения Gemini 1.5 Pro — из сентябрьского релиза 2024 года, MATH у Gemini — 4-shot CoT (у остальных — 0-shot CoT); MMLU для GPT-4o — по реализации 0-shot CoT из набора simple-evals. Из всех таблиц исключена семья OpenAI o1: её модели зависят от длительного вычислительного времени до ответа, что делает сравнение некорректным. Сравниваемые модели: исходная Claude 3.5 Sonnet, [Claude Opus 3](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3"), Claude 3 Sonnet, Claude 3 Haiku, GPT-4o, Gemini 1.5 Pro и Llama 3.1 405B.[\[2\]](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_note-2)
**Использование компьютера по скриншотам (бенчмарк OSWorld; в ячейках модели — успех при стандартных 15 шагах / при оптимизированном промпте и 50 шагах; человек — 72,36 % в среднем):**
| Category | Claude 3.5 Sonnet (New) | Human1 |
|:-------------------------|-------------------------|-------------------|
| OS1 | 54.2% / 41.7% | **75.00%** |
| Office1 | 7.7% / 17.9% | **71.79%** |
| Daily1 | 16.7% / 24.4% | **70.51%** |
| Professional1 | 24.5% / 40.8% | **73.47%** |
| Workflow1 | 7.9% / 10.9% | **73.27%** |
| Overall1 | 14.9% / 22% | **72.36%** |
**Агентные задачи и инструментальное использование (раздел 2.2 дополнения; SWE-bench Verified — реальные задачи из GitHub-issues, TAU-bench — сервисные сценарии с пользователями и API):**
| Evaluation | Claude 3.5 Sonnet (New) | Claude 3.5 Sonnet | [Claude 3 Opus](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3") | Claude 3 Sonnet | Claude 3 Haiku |
|:-----------------------------------------------|-------------------------|-------------------|-----------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------|----------------|
| SWE-bench Verified (pass@1)2 | **49.0%** | 33.4% | 22.2% | — | 7.2% |
| TAU-bench, retail (pass^1)3 | **69.2%** | 62.6% | 45.1% | — | 18.2% |
| TAU-bench, airline (pass^1)3 | **46.0%** | 36.0% | 34.5% | — | 16.0% |
| Внутренняя агентная оценка кодинга4 | **78%** | 64% | 38% | 21% | 17% |
**Мультимодальные оценки (раздел 2.3 дополнения; все — 0-shot):**
| Evaluation | Claude 3.5 Sonnet (New) | Claude 3.5 Sonnet | [Claude 3 Opus](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3") | Claude 3 Sonnet | GPT-4o | Gemini 1.5 Pro |
|:---------------------------------------------|-------------------------|-------------------|-----------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------|--------|----------------|
| MMMU (validation)5 | **70.4%** | 68.3% | 59.4% | 53.1% | 69.1% | 65.9% |
| MathVista (testmini)5 | **70.7%** | 67.7% | 50.5% | 47.9% | 63.8% | 68.1% |
| AI2D (test)5 | **95.3%** | 94.7% | 88.1% | 88.7% | 94.2% | — |
| ChartQA (test, relaxed accuracy)5 | 90.8% | 90.8% | 80.8% | 81.1% | 85.7% | — |
| DocVQA (test, ANLS)5 | 94.2% | **95.2%** | 89.3% | 89.5% | 92.8% | — |
**Отказы (раздел 2.4 дополнения; наборы Wildchat и XSTest, методика — в карточке Claude 3):**
| Evaluation | Claude 3.5 Sonnet (New) | Claude 3.5 Sonnet | [Claude 3 Opus](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3") | Claude 3 Sonnet | Claude 3 Haiku |
|:-----------------------------------------------------------------------|-------------------------|-------------------|-----------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------|----------------|
| Wildchat, токсичные — корректные отказы (выше — лучше)6 | 89.2% | **96.4%** | 92.0% | 93.6% | 90.0% |
| Wildchat, нетоксичные — некорректные отказы (ниже — лучше)6 | **5.3%** | 11.0% | 11.9% | 8.8% | 6.6% |
| XSTest — некорректные отказы (ниже — лучше)6 | 4.3% | **1.7%** | 8.3% | 36.6% | 33.1% |
**Рассуждение, математика, кодинг и ответы на вопросы (раздел 2.5 дополнения; два новых бенчмарка — AIME 2024 и IFEval):**
| Evaluation | Claude 3.5 Sonnet (New) | Claude 3.5 Sonnet | [Claude 3 Opus](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3") | Claude 3 Sonnet | [GPT-4o](https://systems-analysis.info/wiki/GPT-4o "GPT-4o") | [Gemini 1.5 Pro](https://systems-analysis.info/wiki/Gemini_1.5_Pro "Gemini 1.5 Pro") | Llama 3.1 405B |
|:------------------------------------------|-------------------------|-------------------|-----------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------|--------------------------------------------------------------------------------------|----------------|
| GPQA (Diamond), 0-shot CoT7 | **65.0%** | 59.4% | 50.4% | 40.4% | 53.6% | 59.1% | 51.1% |
| MMLU, 5-shot CoT7 | **90.5%** | 90.4% | 88.2% | 81.5% | — | — | — |
| MMLU, 5-shot7 | 88.7% | 88.7% | 86.8% | 78.3% | — | — | 87.3% |
| MMLU, 0-shot CoT7 | **89.3%** | 88.3% | 85.7% | 77.1% | 88.7% | — | 88.6% |
| MMLU Pro, 0-shot CoT7 | **78.0%** | 75.1% | 67.9% | 54.9% | — | 75.8% | 73.3% |
| MATH, 0-shot CoT8 | 78.3% | 71.1% | 60.1% | 43.1% | 76.6% | **86.5%** | 73.8% |
| HumanEval, 0-shot7 | **93.7%** | 92.0% | 84.9% | 73.0% | 90.2% | — | 89.0% |
| MGSM, 0-shot CoT7 | **92.5%** | 91.6% | 90.7% | 83.5% | 90.5% | — | 91.6% |
| DROP (F1, 3-shot)7 | **88.3** | 87.1 | 83.1 | 78.9 | 83.4 | — | — |
| BIG-Bench Hard, 3-shot CoT7 | **93.2%** | 93.1% | 86.8% | 82.9% | — | — | — |
| AIME 2024, 0-shot CoT9 | **16.0%** | 9.6% | 7.9% | 1.8% | 9.3% | — | — |
| AIME 2024, Maj@64, 0-shot CoT9 | **27.6%** | 16.7% | 12.1% | 0.6% | 13.4% | — | — |
| IFEval9 | **90.2%** | 87.8% | 86.7% | 81.1% | — | — | 88.6% |
**Оценки человеком: доля побед новой версии в сравнении с исходной Claude 3.5 Sonnet по распространённым сценариям использования (50 % — паритет с базовой моделью; раздел 2.6 дополнения):**
| Задача | Win rate против Claude 3.5 Sonnet |
|:--------------------------------------------|-----------------------------------|
| Document analysis10 | 61% |
| Visual understanding10 | 57% |
| Creative writing10 | 58% |
| Coding10 | 52% |
| Following precise instructions10 | 51% |
**Примечания к таблицам:**
1. OSWorld: реальные компьютерные задачи (веб- и десктоп-приложения, файловый ввод-вывод, много-прикладные сценарии); в оценках использовались только скриншоты (без текстового accessibility tree). Стандартный лимит — 15 шагов взаимодействия; при оптимизированном промпте и 50 шагах общий результат растёт с 14,9 % до 22 %, но по категории OS, наоборот, падает (54,2 % → 41,7 %). В источнике приведены 95 % доверительные интервалы. Результат 14,9 % заявлен как лучший для использования компьютера по скриншотам; человеческий уровень — 72,36 %.
2. SWE-bench Verified: разрешение реальных GitHub-issues из популярных open-source Python-репозиториев; модель пишет скрипт для воспроизведения проблемы, ищет, смотрит и правит код в цикле с инструментами и сдаёт финальный ответ; грейдинг — настоящими unit-тестами из закрывшего issue pull request'а, которые модель не видит. 49,0 % — лучший на момент выпуска результат (лидерборд SWE-bench на 22 октября 2024 года — 45,2 %); Anthropic считает, что специализированный скаффолдинг и промптинг могут дать ещё больше.
3. TAU-bench: взаимодействие с симулированными пользователями и API в сервисных сценариях (домены retail и airline); метрика pass^k — доля задач, где все k сэмплов модели верны (в отличие от pass@k, где достаточно одного из k). Новая Claude 3.5 Sonnet держит лучшую производительность pass^k для всех k от 1 до 8 в обоих доменах.
4. Внутренняя агентная оценка кодинга: методика определена в разделе 2 июньского (2024) дополнения к карточке исходной Claude 3.5 Sonnet; новая версия превосходит все предыдущие модели Claude 3.
5. Мультимодальные оценки: все 0-shot; на MMMU, MathVista и ChartQA все модели используют цепочку рассуждений перед финальным ответом; ChartQA — relaxed accuracy, DocVQA — ANLS. Значения Gemini 1.5 Pro — из сентябрьского релиза 2024 года; для AI2D, ChartQA и DocVQA данные Gemini не приводятся. На DocVQA новая версия уступает исходной (94,2 % против 95,2 %); на ChartQA — одинаковый результат (вничью, без выделения).
6. Отказы: Wildchat — корректные отказы на токсичные промпты (выше — лучше) и некорректные отказы на нетоксичные (ниже — лучше); XSTest — набор для выявления преувеличенной осторожности. Методика — в разделе 5.4.1 карточки Claude 3. По корректным отказам на токсичные промпты Wildchat новая версия ниже всех моделей в таблице (89,2 % против 96,4 % у исходной версии) — при заметно меньшем числе некорректных отказов (5,3 % против 11,0 %).
7. Остальные бенчмарки рассуждения и кодинга: GPQA Diamond — вопросы graduate-уровня; MMLU приведён в трёх конфигурациях (5-shot CoT, 5-shot, 0-shot CoT); MMLU для GPT-4o — по реализации 0-shot CoT из набора simple-evals OpenAI; AIME — по данным OpenAI; DROP — F1 (3-shot); BIG-Bench Hard — 3-shot CoT.
8. MATH: у всех моделей, кроме Gemini 1.5 Pro, — 0-shot CoT; у Gemini — 4-shot CoT (в таблице выделено жирным по аргмаксу строки, но конфигурации несопоставимы). Среди 0-shot CoT лучшая — новая Claude 3.5 Sonnet (78,3 %).
9. Новые бенчмарки: AIME 2024 — вопросы обоих тестов Американского пригласительного математического экзамена 2024 года (0-shot CoT и Maj@64 — лучший из 64 сэмплов); IFEval — следование детальным инструкциям.
10. Оценки человеком: раторы общались с моделями и сравнивали их с базовой Claude 3.5 Sonnet по инструкциям для конкретных задач; win rate базовой модели всегда 50 % (против себя). Методика (включая расчёт win rate) — в разделе 5.5 карточки Claude 3. В источнике также приведены графики по сценариям «Honesty» и «Harmlessness».
11. Жирным выделено лучшее значение в строке с учётом направления метрики (для отказов на токсичные промпты — наибольшее, для некорректных отказов — наименьшее); ничьи — без выделения; «—» — данных нет.
Использование компьютера — новая и пока ранняя функциональность: общий результат 14,9 % (22 % при 50 шагах) остаётся далеко ниже человеческого уровня 72,36 %, и Anthropic продолжает её активно дорабатывать. Возможность классифицирована в рамках AI Safety Level (ASL)-2 — признаков катастрофического риска не найдено; проводились собственные и независимые сторонние мультимодальные red-team-упражнения. Красные команды выявили потенциальные векторы злоупотребления computer use — масштабное создание учётных записей, масштабное распространение контента, обход проверки возраста, автоматическое заполнение форм, — однако ни один не признан неизбежным; для безопасного выпуска внедряются протоколы мониторинга, новые классификаторы для выявления нарушений Usage Policy при использовании computer use. На время освоения функции рекомендуются дополнительные меры предосторожности против prompt injection: выделенная виртуальная машина, ограничение доступа к чувствительным данным, ограничение интернета необходимыми доменами и участие человека для чувствительных задач.[\[3\]](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_note-3)
Проверки Trust & Safety охватили четырнадцать политических областей на шести языках (английский, арабский, испанский, хинди, тагалог, китайский) с особым вниманием к целостности выборов, безопасности детей, кибератакам, языку вражды и насильственному экстремизму. Общий уровень вреда новой версии признан схожим с исходной Claude 3.5 Sonnet, но слегка улучшенным; модель хуже справляется с нюансированными запросами и запросами, обрамлёнными как художественный текст, ролевая игра или творческий контент. Устойчивость к prompt injection усилена: модели лучше распознают враждебные промпты и следуют системному промпту; для этого построены внутренние тестовые наборы атак и проведено специальное обучение на adversarial-взаимодействиях.[\[4\]](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_note-4)
Оценки frontier-рисков по Responsible Scaling Policy (CBRN, кибербезопасность, автономные возможности) проведены до выпуска с улучшенными threat-моделями, новыми техниками оценки и более сильными методами элиситации, чем в прошлых релизах. Модель показала усиление способностей во всех связанных с риском областях — улучшение извлечения CBRN-знаний и навыковых оценок, прогресс в отдельных типах CTF-задач (pwn, обратная разработка, криптография, веб- и сетевая безопасность), рост эффективности в значимых для автономности задачах программной инжененции — однако требований к safeguards уровня ASL-3 не продемонстрировала ни в одной области. По поводу самой функции computer use Anthropic заключила: без достаточных результатов в CBRN-знаниях и навыках она вряд ли существенно повышает крайний риск в CBRN; в кибер-области она может снизить порог входа для новичков (запуск скриптов через GUI), но полагающиеся на такую автоматизацию акторы, вероятно, не обладают дополнительными знаниями для представления крайней угрозы; в части автономности визуальное использование компьютера не лежит на критическом пути к значимым для ASL-3 инженерным навыкам, поэтому существующие программные оценки достаточны для rule-out. Совместное предрелизное тестирование новой модели провели US AI Safety Institute и UK AI Safety Institute; независимую оценку выполнила METR.[\[5\]](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_note-5)
## Ссылки
- Introducing Claude 3.5 Sonnet (Jun 21, 2024)
- Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet (October 2024)
- Model system cards - Anthropic
## См. также
- [Claude Sonnet 3](https://systems-analysis.info/wiki/Claude_Sonnet_3 "Claude Sonnet 3")
- [Claude Sonnet 3.7](https://systems-analysis.info/wiki/Claude_Sonnet_3.7 "Claude Sonnet 3.7")
- [Claude Sonnet 4](https://systems-analysis.info/wiki/Claude_Sonnet_4 "Claude Sonnet 4")
- [Claude Sonnet 4.5](https://systems-analysis.info/wiki/Claude_Sonnet_4.5 "Claude Sonnet 4.5")
## Примечание
1. [↑](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_ref-1) Anthropic. *Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet*. Выпуск: октябрь 2024 года. С. 1–2.
2. [↑](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_ref-2) Anthropic. *Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet*. Выпуск: октябрь 2024 года. С. 2, 4–6.
3. [↑](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_ref-3) Anthropic. *Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet*. Выпуск: октябрь 2024 года. С. 2–3, 8–9.
4. [↑](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_ref-4) Anthropic. *Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet*. Выпуск: октябрь 2024 года. С. 7–8.
5. [↑](https://systems-analysis.info/wiki/Claude_Sonnet_3.5#cite_ref-5) Anthropic. *Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet*. Выпуск: октябрь 2024 года. С. 9–10.