Claude Sonnet 3
Claude Sonnet 3 — большая языковая модель компании Anthropic, средняя конфигурация трёхуровневого семейства Claude 3 (Haiku — Sonnet — Opus), позиционированная разработчиком как сбалансированная по интеллекту и скорости для корпоративных нагрузок, впервые среди моделей этой линейки поддерживающая ввод изображений наряду с текстом. Модель была представлена и выпущена в общий доступ 4 марта 2024 года одновременно с конфигурацией Claude 3 Opus .
Оценка
Claude Sonnet 3, выпущенная в марте 2024 года средняя модель семейства Claude 3, сочетающая уровень навыков и скорость работы, оценивалась по широкому набору тестов (бенчмарков), охватывающих рассуждение, математику, программирование, чтение и ответы на вопросы, многоязычную обработку, работу с длинным контекстом и мультимодальные задачи (ввод изображений). Модель позиционировалась как прямой преемник Claude 2, превосходящий его по всем осям — возможностям, цене и скорости. По данным Model Card, все модели семейства классифицированы под стандартом AI Safety Level 2 (ASL-2); знаниевый кат-офф — август 2023 года, в производстве предлагается окно контекста 200k токенов.[1]
Результаты на текстовых бенчмарках:[2]
| Benchmark | Description | Setup | Claude Sonnet 3 | Claude Opus 3 | Claude Haiku 3 | GPT-4 | GPT-3.5 | Gemini 1.0 Ultra | Gemini 1.5 Pro | Gemini 1.0 Pro |
|---|---|---|---|---|---|---|---|---|---|---|
| MMLU | General reasoning | 5-shot / 5-shot CoT | 79.0% 81.5% |
86.8% 88.2% |
75.2% 76.7% |
86.4% | 70.0% | 83.7% | 81.9% | 71.8% |
| MATH1 | Mathematical problem solving | 4-shot / 0-shot / Maj@32, 4-shot | 40.5% 43.1% 55.1% |
61% 60.1% 73.7% |
40.9% 38.9% 50.3% |
52.9% 42.5% |
34.1% | 53.2% | 58.5% | 32.6% |
| GSM8K2 | Grade school math | Elicitation varies by model | 92.3% | 95.0% | 88.9% | 92.0% | 57.1% | 94.4% | 91.7% | 86.5% |
| HumanEval | Python coding tasks | 0-shot | 73.0% | 84.9% | 75.9% | 67.0% | 48.1% | 74.4% | 71.9% | 67.7% |
| GPQA (Diamond)3 | Graduate-level Q&A | 0-shot CoT / Maj@32, 5-shot CoT | 40.4% 46.3% |
50.4% 59.5% |
33.3% 40.1% |
35.7% | 28.1% | — | — | — |
| MGSM | Multilingual math | 8-shot / 0-shot | 83.7% 83.5% |
90.5% 90.7% |
76.5% 75.1% |
74.5% | — | 79.0% | 88.7% | 63.5% |
| DROP | Reading comprehension, arithmetic | 3-shot, F1 | 78.9 | 83.1 | 78.4 | 80.9 | 64.1 | 82.4 | 78.9 | 74.1 |
| BIG-Bench-Hard | Mixed evaluations | 3-shot CoT | 82.9% | 86.8% | 73.7% | 83.1% | 66.6% | 83.6% | 84.0% | 75.0% |
| ARC-Challenge | Common-sense reasoning | 25-shot | 93.2% | 96.4% | 89.2% | 96.3% | 85.2% | — | — | — |
| HellaSwag | Common-sense reasoning | 10-shot | 89.0% | 95.4% | 85.9% | 95.3% | 85.5% | 87.8% | 92.5% | 84.7% |
| PubMedQA | Biomedical questions | 5-shot / 0-shot | 78.3% 79.7% |
75.8% 74.9% |
76.0% 78.5% |
74.4% 75.2% |
60.2% 71.6% |
— | — | — |
| WinoGrande | Common-sense reasoning | 5-shot | 75.1% | 88.5% | 74.2% | 87.5% | — | — | — | — |
| RACE-H | Reading comprehension | 5-shot | 88.8% | 92.9% | 87.0% | — | — | — | — | — |
| APPS | Python coding tasks | 0-shot | 55.9% | 70.2% | 54.8% | — | — | — | — | — |
| MBPP | Code generation | Pass@1 | 79.4% | 86.4% | 80.4% | — | — | — | — | — |
| LSAT | Law School Admission Test | 5-shot CoT, scaled score | 158.3 | 161 | 156.3 | 163 | 149 | — | — | — |
| MBE | Multistate Bar Exam | 0-shot CoT | 71% | 85% | 64% | 75.7% | 45.1% | — | — | — |
| AMC 20234 | High school math contests | AMC 8 / 10 / 12, of 150 | 54/150 24/150 27/150 |
84/150 72/150 63/150 |
36/150 54/150 48/150 |
— 36/150 60/150 |
— 36/150 30/150 |
— | — | — |
| Multilingual MMLU5 | Multilingual reasoning | 5-shot | 69.0% | 79.1% | 65.2% | — | — | — | — | — |
| QuALITY5 | Long-input reading comprehension | 1-shot / 0-shot | 85.9% 84.9% |
90.5% 89.2% |
80.2% 79.4% |
— | — | — | — | — |
| Needle In A Haystack5 | Long context retrieval | All context lengths / 200k tokens | 95.4% 91.4% |
99.4% 98.3% |
95.9% 91.9% |
— | — | — | — | — |
- Claude 3 оценивались с chain-of-thought prompting; оценки GPT-4 на MATH, MGSM и Big-Bench-Hard взяты из технического отчёта Gemini.
- GSM8K: elicitation различается — Claude 3 — 0-shot CoT; GPT-4 — SFT, 5-shot CoT; GPT-3.5 — 5-shot; Gemini 1.0 Ultra и 1.0 Pro — Maj1@32; Gemini 1.5 Pro — 11-shot.
- GPQA: из-за высокой дисперсии при T = 1 приведено среднее по 10 прогонам со случайным порядком вариантов; оценки GPT-4 и GPT-3.5 — из оригинальной работы.
- AMC: 150 официальных задач AMC 2023 (по 50 из AMC 8, 10 и 12); ответы сэмплировались 5 раз при T = 1; оценки GPT — по экзаменам 2022 года. GRE для Sonnet 3 в карточке не приводится.
- Для сравнения: Claude 2.1 — 63.4% на multilingual MMLU, 85.5% / 82.8% на QuALITY (1-shot / 0-shot), 94.5% / 92.7% на Needle In A Haystack.
- Жирным выделен лучший результат в строке (по каждому значению отдельно); при равенстве лучших результатов выделение не используется.
Результаты на мультимодальных бенчмарках:[3]
| Benchmark | Description | Setup | Claude Sonnet 3 | Claude Opus 3 | Claude Haiku 3 | GPT-4V | Gemini 1.0 Ultra | Gemini 1.5 Pro | Gemini 1.0 Pro |
|---|---|---|---|---|---|---|---|---|---|
| MMMU (val)1 | Multimodal understanding (validation) | 0-shot | 53.1% | 59.4% | 50.2% | 56.8% | 59.4% | 58.5% | 47.9% |
| DocVQA | Document understanding | 0-shot, ANLS | 89.5% | 89.3% | 88.8% | 88.4% | 90.9% | 86.5% | 88.1% |
| MathVista | Mathematical reasoning with images | testmini, CoT | 47.9% | 50.5% | 46.4% | 49.9% | 53% | 52.1% | 45.2% |
| AI2D2 | Science diagrams | 0-shot | 88.7% | 88.1% | 86.7% | 78.2% | 79.5% | 80.3% | 73.9% |
| ChartQA | Chart understanding | 0-shot, CoT, relaxed accuracy | 81.1% | 80.8% | 81.7% | 78.5% | 80.8% | 81.3% | 74.1% |
- MMMU: Claude Opus 3 и Gemini 1.0 Ultra показали одинаковый лучший результат 59.4%; при равенстве жирное выделение не используется. Оценки GPT-4V — из системной карточки GPT-4V(ision); сэмплирование при T = 0.
- AI2D: в тексте карточки (раздел 5.3) для Sonnet 3 указано state-of-the-art значение 89.2% в 0-shot-режиме; в сводной таблице 3 — 88.7%.
В оценках человеческих предпочтений Sonnet 3 напрямую сравнивался с моделями Claude 2 и Claude Instant в парных тестах: эксперты в финансах, праве, медицине, STEM и философии предпочитали Sonnet 3 в 60–80% случаев, а совокупный выигрыш над моделями Claude 2 составил примерно 50–200 Elo-очков в зависимости от предметной области; на неанглоязычных задачах (арабский, французский, немецкий, хинди, японский, корейский, португальский, китайский) прирост против Claude 2.1 составил 9 пунктов. Также отмечены улучшения в следовании инструкциям (абсолютные формулировки, полнота длинных ответов, структурированный вывод в YAML/JSON/XML) и в честности/безвредности в состязательных сценариях. По данным Wildchat и XSTest, модели семейства Claude 3 значительно реже некорректно отказывают на безобидных запросах, чем Claude 2.1, и корректнее отказывают на токсичных. В мультимодальном red-teaming доверия и безопасности Sonnet 3 безвредно ответил на 375 из 378 (99.2%) провокационных запросов — лучший результат семейства. Оценки катастрофических рисков по Responsible Scaling Policy проводились на версии Opus (крупнейшей модели семейства) с пониженной частотой отказов; индикаторов рисков обнаружено не было, и все модели Claude 3, включая Sonnet 3, развёрнуты под стандартом ASL-2.[4]
Ссылки
- Introducing the next generation of Claude (Mar 4, 2024)
- Model Card: The Claude 3 Model Family — Opus, Sonnet, Haiku (March 2024)
- Model system cards - Anthropic
См. также
Примечания
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 1–5.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 6–7, 16, 21–22.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 7–8.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 10–16, 24, 27–28.