Claude Sonnet 3.5
Claude Sonnet 3.5 — большая языковая модель компании Anthropic, первый выпуск поколения Claude 3.5, превзошедшая, по данным разработчика, предыдущую старшую модель Claude Opus 3 по большинству оценок при вдвое большей скорости генерации и цене среднего уровня и отличающаяся усиленными возможностями компьютерного зрения, включая распознавание текста на низкокачественных изображениях. Модель была представлена и выпущена в общий доступ 21 июня 2024 года.
Оценка
Обновлённая версия Claude 3.5 Sonnet выпущена Anthropic в октябре 2024 года; порог знаний — апрель 2024 года, тот же, что у исходной версии. Модель улучшает рассуждение, программирование и визуальную обработку и вводит новую функциональность — использование компьютера: интерпретацию скриншотов графического интерфейса и генерацию соответствующих GUI-команд для выполнения задач (навигация по сайтам, взаимодействие с интерфейсами, многошаговые процессы). С этой начальной функциональностью и другими улучшениями модель устанавливает новые лучшие результаты в агентном программировании (SWE-bench Verified), агентном завершении задач (TAU-bench) и использовании компьютера по скриншотам (OSWorld). Модель прошла расширенные проверки безопасности в соответствии с Responsible Scaling Policy (CBRN, кибербезопасность, автономные возможности), включая многофункциональные мультимодальные red-team-упражнения и отдельную оценку computer use; совместно с моделью тестирование перед выпуском проводили US AI Safety Institute и UK AI Safety Institute, а также независимая организация METR.[1]
Если не указано иное, значения взяты из таблиц дополнения к карточке; оценки мультимодальных задач — 0-shot, с цепочкой рассуждений перед финальным ответом на MMMU, MathVista и ChartQA; значения Gemini 1.5 Pro — из сентябрьского релиза 2024 года, MATH у Gemini — 4-shot CoT (у остальных — 0-shot CoT); MMLU для GPT-4o — по реализации 0-shot CoT из набора simple-evals. Из всех таблиц исключена семья OpenAI o1: её модели зависят от длительного вычислительного времени до ответа, что делает сравнение некорректным. Сравниваемые модели: исходная Claude 3.5 Sonnet, Claude Opus 3, Claude 3 Sonnet, Claude 3 Haiku, GPT-4o, Gemini 1.5 Pro и Llama 3.1 405B.[2]
Использование компьютера по скриншотам (бенчмарк OSWorld; в ячейках модели — успех при стандартных 15 шагах / при оптимизированном промпте и 50 шагах; человек — 72,36 % в среднем):
| Category | Claude 3.5 Sonnet (New) | Human1 |
|---|---|---|
| OS1 | 54.2% / 41.7% | 75.00% |
| Office1 | 7.7% / 17.9% | 71.79% |
| Daily1 | 16.7% / 24.4% | 70.51% |
| Professional1 | 24.5% / 40.8% | 73.47% |
| Workflow1 | 7.9% / 10.9% | 73.27% |
| Overall1 | 14.9% / 22% | 72.36% |
Агентные задачи и инструментальное использование (раздел 2.2 дополнения; SWE-bench Verified — реальные задачи из GitHub-issues, TAU-bench — сервисные сценарии с пользователями и API):
| Evaluation | Claude 3.5 Sonnet (New) | Claude 3.5 Sonnet | Claude 3 Opus | Claude 3 Sonnet | Claude 3 Haiku |
|---|---|---|---|---|---|
| SWE-bench Verified (pass@1)2 | 49.0% | 33.4% | 22.2% | — | 7.2% |
| TAU-bench, retail (pass^1)3 | 69.2% | 62.6% | 45.1% | — | 18.2% |
| TAU-bench, airline (pass^1)3 | 46.0% | 36.0% | 34.5% | — | 16.0% |
| Внутренняя агентная оценка кодинга4 | 78% | 64% | 38% | 21% | 17% |
Мультимодальные оценки (раздел 2.3 дополнения; все — 0-shot):
| Evaluation | Claude 3.5 Sonnet (New) | Claude 3.5 Sonnet | Claude 3 Opus | Claude 3 Sonnet | GPT-4o | Gemini 1.5 Pro |
|---|---|---|---|---|---|---|
| MMMU (validation)5 | 70.4% | 68.3% | 59.4% | 53.1% | 69.1% | 65.9% |
| MathVista (testmini)5 | 70.7% | 67.7% | 50.5% | 47.9% | 63.8% | 68.1% |
| AI2D (test)5 | 95.3% | 94.7% | 88.1% | 88.7% | 94.2% | — |
| ChartQA (test, relaxed accuracy)5 | 90.8% | 90.8% | 80.8% | 81.1% | 85.7% | — |
| DocVQA (test, ANLS)5 | 94.2% | 95.2% | 89.3% | 89.5% | 92.8% | — |
Отказы (раздел 2.4 дополнения; наборы Wildchat и XSTest, методика — в карточке Claude 3):
| Evaluation | Claude 3.5 Sonnet (New) | Claude 3.5 Sonnet | Claude 3 Opus | Claude 3 Sonnet | Claude 3 Haiku |
|---|---|---|---|---|---|
| Wildchat, токсичные — корректные отказы (выше — лучше)6 | 89.2% | 96.4% | 92.0% | 93.6% | 90.0% |
| Wildchat, нетоксичные — некорректные отказы (ниже — лучше)6 | 5.3% | 11.0% | 11.9% | 8.8% | 6.6% |
| XSTest — некорректные отказы (ниже — лучше)6 | 4.3% | 1.7% | 8.3% | 36.6% | 33.1% |
Рассуждение, математика, кодинг и ответы на вопросы (раздел 2.5 дополнения; два новых бенчмарка — AIME 2024 и IFEval):
| Evaluation | Claude 3.5 Sonnet (New) | Claude 3.5 Sonnet | Claude 3 Opus | Claude 3 Sonnet | GPT-4o | Gemini 1.5 Pro | Llama 3.1 405B |
|---|---|---|---|---|---|---|---|
| GPQA (Diamond), 0-shot CoT7 | 65.0% | 59.4% | 50.4% | 40.4% | 53.6% | 59.1% | 51.1% |
| MMLU, 5-shot CoT7 | 90.5% | 90.4% | 88.2% | 81.5% | — | — | — |
| MMLU, 5-shot7 | 88.7% | 88.7% | 86.8% | 78.3% | — | — | 87.3% |
| MMLU, 0-shot CoT7 | 89.3% | 88.3% | 85.7% | 77.1% | 88.7% | — | 88.6% |
| MMLU Pro, 0-shot CoT7 | 78.0% | 75.1% | 67.9% | 54.9% | — | 75.8% | 73.3% |
| MATH, 0-shot CoT8 | 78.3% | 71.1% | 60.1% | 43.1% | 76.6% | 86.5% | 73.8% |
| HumanEval, 0-shot7 | 93.7% | 92.0% | 84.9% | 73.0% | 90.2% | — | 89.0% |
| MGSM, 0-shot CoT7 | 92.5% | 91.6% | 90.7% | 83.5% | 90.5% | — | 91.6% |
| DROP (F1, 3-shot)7 | 88.3 | 87.1 | 83.1 | 78.9 | 83.4 | — | — |
| BIG-Bench Hard, 3-shot CoT7 | 93.2% | 93.1% | 86.8% | 82.9% | — | — | — |
| AIME 2024, 0-shot CoT9 | 16.0% | 9.6% | 7.9% | 1.8% | 9.3% | — | — |
| AIME 2024, Maj@64, 0-shot CoT9 | 27.6% | 16.7% | 12.1% | 0.6% | 13.4% | — | — |
| IFEval9 | 90.2% | 87.8% | 86.7% | 81.1% | — | — | 88.6% |
Оценки человеком: доля побед новой версии в сравнении с исходной Claude 3.5 Sonnet по распространённым сценариям использования (50 % — паритет с базовой моделью; раздел 2.6 дополнения):
| Задача | Win rate против Claude 3.5 Sonnet |
|---|---|
| Document analysis10 | 61% |
| Visual understanding10 | 57% |
| Creative writing10 | 58% |
| Coding10 | 52% |
| Following precise instructions10 | 51% |
Примечания к таблицам:
- OSWorld: реальные компьютерные задачи (веб- и десктоп-приложения, файловый ввод-вывод, много-прикладные сценарии); в оценках использовались только скриншоты (без текстового accessibility tree). Стандартный лимит — 15 шагов взаимодействия; при оптимизированном промпте и 50 шагах общий результат растёт с 14,9 % до 22 %, но по категории OS, наоборот, падает (54,2 % → 41,7 %). В источнике приведены 95 % доверительные интервалы. Результат 14,9 % заявлен как лучший для использования компьютера по скриншотам; человеческий уровень — 72,36 %.
- SWE-bench Verified: разрешение реальных GitHub-issues из популярных open-source Python-репозиториев; модель пишет скрипт для воспроизведения проблемы, ищет, смотрит и правит код в цикле с инструментами и сдаёт финальный ответ; грейдинг — настоящими unit-тестами из закрывшего issue pull request'а, которые модель не видит. 49,0 % — лучший на момент выпуска результат (лидерборд SWE-bench на 22 октября 2024 года — 45,2 %); Anthropic считает, что специализированный скаффолдинг и промптинг могут дать ещё больше.
- TAU-bench: взаимодействие с симулированными пользователями и API в сервисных сценариях (домены retail и airline); метрика pass^k — доля задач, где все k сэмплов модели верны (в отличие от pass@k, где достаточно одного из k). Новая Claude 3.5 Sonnet держит лучшую производительность pass^k для всех k от 1 до 8 в обоих доменах.
- Внутренняя агентная оценка кодинга: методика определена в разделе 2 июньского (2024) дополнения к карточке исходной Claude 3.5 Sonnet; новая версия превосходит все предыдущие модели Claude 3.
- Мультимодальные оценки: все 0-shot; на MMMU, MathVista и ChartQA все модели используют цепочку рассуждений перед финальным ответом; ChartQA — relaxed accuracy, DocVQA — ANLS. Значения Gemini 1.5 Pro — из сентябрьского релиза 2024 года; для AI2D, ChartQA и DocVQA данные Gemini не приводятся. На DocVQA новая версия уступает исходной (94,2 % против 95,2 %); на ChartQA — одинаковый результат (вничью, без выделения).
- Отказы: Wildchat — корректные отказы на токсичные промпты (выше — лучше) и некорректные отказы на нетоксичные (ниже — лучше); XSTest — набор для выявления преувеличенной осторожности. Методика — в разделе 5.4.1 карточки Claude 3. По корректным отказам на токсичные промпты Wildchat новая версия ниже всех моделей в таблице (89,2 % против 96,4 % у исходной версии) — при заметно меньшем числе некорректных отказов (5,3 % против 11,0 %).
- Остальные бенчмарки рассуждения и кодинга: GPQA Diamond — вопросы graduate-уровня; MMLU приведён в трёх конфигурациях (5-shot CoT, 5-shot, 0-shot CoT); MMLU для GPT-4o — по реализации 0-shot CoT из набора simple-evals OpenAI; AIME — по данным OpenAI; DROP — F1 (3-shot); BIG-Bench Hard — 3-shot CoT.
- MATH: у всех моделей, кроме Gemini 1.5 Pro, — 0-shot CoT; у Gemini — 4-shot CoT (в таблице выделено жирным по аргмаксу строки, но конфигурации несопоставимы). Среди 0-shot CoT лучшая — новая Claude 3.5 Sonnet (78,3 %).
- Новые бенчмарки: AIME 2024 — вопросы обоих тестов Американского пригласительного математического экзамена 2024 года (0-shot CoT и Maj@64 — лучший из 64 сэмплов); IFEval — следование детальным инструкциям.
- Оценки человеком: раторы общались с моделями и сравнивали их с базовой Claude 3.5 Sonnet по инструкциям для конкретных задач; win rate базовой модели всегда 50 % (против себя). Методика (включая расчёт win rate) — в разделе 5.5 карточки Claude 3. В источнике также приведены графики по сценариям «Honesty» и «Harmlessness».
- Жирным выделено лучшее значение в строке с учётом направления метрики (для отказов на токсичные промпты — наибольшее, для некорректных отказов — наименьшее); ничьи — без выделения; «—» — данных нет.
Использование компьютера — новая и пока ранняя функциональность: общий результат 14,9 % (22 % при 50 шагах) остаётся далеко ниже человеческого уровня 72,36 %, и Anthropic продолжает её активно дорабатывать. Возможность классифицирована в рамках AI Safety Level (ASL)-2 — признаков катастрофического риска не найдено; проводились собственные и независимые сторонние мультимодальные red-team-упражнения. Красные команды выявили потенциальные векторы злоупотребления computer use — масштабное создание учётных записей, масштабное распространение контента, обход проверки возраста, автоматическое заполнение форм, — однако ни один не признан неизбежным; для безопасного выпуска внедряются протоколы мониторинга, новые классификаторы для выявления нарушений Usage Policy при использовании computer use. На время освоения функции рекомендуются дополнительные меры предосторожности против prompt injection: выделенная виртуальная машина, ограничение доступа к чувствительным данным, ограничение интернета необходимыми доменами и участие человека для чувствительных задач.[3]
Проверки Trust & Safety охватили четырнадцать политических областей на шести языках (английский, арабский, испанский, хинди, тагалог, китайский) с особым вниманием к целостности выборов, безопасности детей, кибератакам, языку вражды и насильственному экстремизму. Общий уровень вреда новой версии признан схожим с исходной Claude 3.5 Sonnet, но слегка улучшенным; модель хуже справляется с нюансированными запросами и запросами, обрамлёнными как художественный текст, ролевая игра или творческий контент. Устойчивость к prompt injection усилена: модели лучше распознают враждебные промпты и следуют системному промпту; для этого построены внутренние тестовые наборы атак и проведено специальное обучение на adversarial-взаимодействиях.[4]
Оценки frontier-рисков по Responsible Scaling Policy (CBRN, кибербезопасность, автономные возможности) проведены до выпуска с улучшенными threat-моделями, новыми техниками оценки и более сильными методами элиситации, чем в прошлых релизах. Модель показала усиление способностей во всех связанных с риском областях — улучшение извлечения CBRN-знаний и навыковых оценок, прогресс в отдельных типах CTF-задач (pwn, обратная разработка, криптография, веб- и сетевая безопасность), рост эффективности в значимых для автономности задачах программной инжененции — однако требований к safeguards уровня ASL-3 не продемонстрировала ни в одной области. По поводу самой функции computer use Anthropic заключила: без достаточных результатов в CBRN-знаниях и навыках она вряд ли существенно повышает крайний риск в CBRN; в кибер-области она может снизить порог входа для новичков (запуск скриптов через GUI), но полагающиеся на такую автоматизацию акторы, вероятно, не обладают дополнительными знаниями для представления крайней угрозы; в части автономности визуальное использование компьютера не лежит на критическом пути к значимым для ASL-3 инженерным навыкам, поэтому существующие программные оценки достаточны для rule-out. Совместное предрелизное тестирование новой модели провели US AI Safety Institute и UK AI Safety Institute; независимую оценку выполнила METR.[5]
Ссылки
- Introducing Claude 3.5 Sonnet (Jun 21, 2024)
- Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet (October 2024)
- Model system cards - Anthropic
См. также
Примечание
- ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 1–2.
- ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 2, 4–6.
- ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 2–3, 8–9.
- ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 7–8.
- ↑ Anthropic. Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet. Выпуск: октябрь 2024 года. С. 9–10.