Claude Opus 3
Claude Opus 3 — большая языковая модель компании Anthropic, старшая конфигурация трёхуровневого семейства Claude 3 (Haiku — Sonnet — Opus), впервые среди моделей этой линейки поддерживающая ввод изображений наряду с текстом и обладающая контекстным окном 200 тысяч токенов с возможностью обработки входных данных объёмом свыше 1 миллиона токенов для отдельных заказчиков. Модель была представлена и выпущена в общий доступ 4 марта 2024 года одновременно с конфигурацией Claude Sonnet 3.
Оценка
Claude Opus 3, выпущенная в марте 2024 года старшая модель семейства Claude 3, оценивалась по широкому набору тестов (бенчмарков), охватывающих рассуждение, математику, программирование, чтение и ответы на вопросы, многоязычную обработку, работу с длинным контекстом и мультимодальные задачи (ввод изображений). По данным Model Card, модель достигла state-of-the-art результатов на GPQA, MMLU, MMMU и ряде других бенчмарков; индикаторов катастрофических рисков обнаружено не было, и все модели семейства классифицированы под стандартом AI Safety Level 2 (ASL-2). Знаниевый кат-офф модели — август 2023 года; в производстве предлагается окно контекста 200k токенов (внутренние тесты проводились вплоть до 1M).[1]
Результаты на текстовых бенчмарках:[2]
| Benchmark | Description | Setup | Claude Opus 3 | Claude Sonnet 3 | Claude Haiku 3 | GPT-4 | GPT-3.5 | Gemini 1.0 Ultra | Gemini 1.5 Pro | Gemini 1.0 Pro |
|---|---|---|---|---|---|---|---|---|---|---|
| MMLU | General reasoning | 5-shot / 5-shot CoT | 86.8% 88.2% |
79.0% 81.5% |
75.2% 76.7% |
86.4% | 70.0% | 83.7% | 81.9% | 71.8% |
| MATH1 | Mathematical problem solving | 4-shot / 0-shot / Maj@32, 4-shot | 61% 60.1% 73.7% |
40.5% 43.1% 55.1% |
40.9% 38.9% 50.3% |
52.9% 42.5% |
34.1% | 53.2% | 58.5% | 32.6% |
| GSM8K2 | Grade school math | Elicitation varies by model | 95.0% | 92.3% | 88.9% | 92.0% | 57.1% | 94.4% | 91.7% | 86.5% |
| HumanEval | Python coding tasks | 0-shot | 84.9% | 73.0% | 75.9% | 67.0% | 48.1% | 74.4% | 71.9% | 67.7% |
| GPQA (Diamond)3 | Graduate-level Q&A | 0-shot CoT / Maj@32, 5-shot CoT | 50.4% 59.5% |
40.4% 46.3% |
33.3% 40.1% |
35.7% | 28.1% | — | — | — |
| MGSM | Multilingual math | 8-shot / 0-shot | 90.5% 90.7% |
83.7% 83.5% |
76.5% 75.1% |
74.5% | — | 79.0% | 88.7% | 63.5% |
| DROP | Reading comprehension, arithmetic | 3-shot, F1 | 83.1 | 78.9 | 78.4 | 80.9 | 64.1 | 82.4 | 78.9 | 74.1 |
| BIG-Bench-Hard | Mixed evaluations | 3-shot CoT | 86.8% | 82.9% | 73.7% | 83.1% | 66.6% | 83.6% | 84.0% | 75.0% |
| ARC-Challenge | Common-sense reasoning | 25-shot | 96.4% | 93.2% | 89.2% | 96.3% | 85.2% | — | — | — |
| HellaSwag | Common-sense reasoning | 10-shot | 95.4% | 89.0% | 85.9% | 95.3% | 85.5% | 87.8% | 92.5% | 84.7% |
| PubMedQA | Biomedical questions | 5-shot / 0-shot | 75.8% 74.9% |
78.3% 79.7% |
76.0% 78.5% |
74.4% 75.2% |
60.2% 71.6% |
— | — | — |
| WinoGrande | Common-sense reasoning | 5-shot | 88.5% | 75.1% | 74.2% | 87.5% | — | — | — | — |
| RACE-H | Reading comprehension | 5-shot | 92.9% | 88.8% | 87.0% | — | — | — | — | — |
| APPS | Python coding tasks | 0-shot | 70.2% | 55.9% | 54.8% | — | — | — | — | — |
| MBPP | Code generation | Pass@1 | 86.4% | 79.4% | 80.4% | — | — | — | — | — |
| LSAT | Law School Admission Test | 5-shot CoT, scaled score | 161 | 158.3 | 156.3 | 163 | 149 | — | — | — |
| MBE | Multistate Bar Exam | 0-shot CoT | 85% | 71% | 64% | 75.7% | 45.1% | — | — | — |
| AMC 20234 | High school math contests | AMC 8 / 10 / 12, of 150 | 84/150 72/150 63/150 |
54/150 24/150 27/150 |
36/150 54/150 48/150 |
— 36/150 60/150 |
— 36/150 30/150 |
— | — | — |
| GRE (General)5 | Graduate Record Exam | Quantitative / Verbal / Writing | 159 166 5.0 |
— | — | 163 169 4.0 |
147 154 4.0 |
— | — | — |
| Multilingual MMLU6 | Multilingual reasoning | 5-shot | 79.1% | 69.0% | 65.2% | — | — | — | — | — |
| QuALITY6 | Long-input reading comprehension | 1-shot / 0-shot | 90.5% 89.2% |
85.9% 84.9% |
80.2% 79.4% |
— | — | — | — | — |
| Needle In A Haystack6 | Long context retrieval | All context lengths / 200k tokens | 99.4% 98.3% |
95.4% 91.4% |
95.9% 91.9% |
— | — | — | — | — |
- Claude 3 оценивались с chain-of-thought prompting; оценки GPT-4 на MATH, MGSM и Big-Bench-Hard взяты из технического отчёта Gemini.
- GSM8K: elicitation различается — Claude 3 — 0-shot CoT; GPT-4 — SFT, 5-shot CoT; GPT-3.5 — 5-shot; Gemini 1.0 Ultra и 1.0 Pro — Maj1@32; Gemini 1.5 Pro — 11-shot.
- GPQA: из-за высокой дисперсии при T = 1 приведено среднее по 10 прогонам со случайным порядком вариантов; оценки GPT-4 и GPT-3.5 — из оригинальной работы [1].
- AMC: 150 официальных задач AMC 2023 (по 50 из AMC 8, 10 и 12); ответы сэмплировались 5 раз при T = 1; оценки GPT — по экзаменам 2022 года.
- GRE: результат Claude Opus 3 получен на официальном практическом тесте ETS №2; Writing — 5.0 при 2-shot против 4.0 при 1-shot у GPT.
- Для сравнения: Claude 2.1 — 63.4% на multilingual MMLU, 85.5% / 82.8% на QuALITY (1-shot / 0-shot), 94.5% / 92.7% на Needle In A Haystack.
- Жирным выделен лучший результат в строке (по каждому значению отдельно); при равенстве лучших результатов выделение не используется.
Результаты на мультимодальных бенчмарках:[3]
| Benchmark | Description | Setup | Claude Opus 3 | Claude Sonnet 3 | Claude Haiku 3 | GPT-4V | Gemini 1.0 Ultra | Gemini 1.5 Pro | Gemini 1.0 Pro |
|---|---|---|---|---|---|---|---|---|---|
| MMMU (val)1 | Multimodal understanding (validation) | 0-shot | 59.4% | 53.1% | 50.2% | 56.8% | 59.4% | 58.5% | 47.9% |
| DocVQA | Document understanding | 0-shot, ANLS | 89.3% | 89.5% | 88.8% | 88.4% | 90.9% | 86.5% | 88.1% |
| MathVista | Mathematical reasoning with images | testmini, CoT | 50.5% | 47.9% | 46.4% | 49.9% | 53% | 52.1% | 45.2% |
| AI2D | Science diagrams | 0-shot | 88.1% | 88.7% | 86.7% | 78.2% | 79.5% | 80.3% | 73.9% |
| ChartQA | Chart understanding | 0-shot, CoT, relaxed accuracy | 80.8% | 81.1% | 81.7% | 78.5% | 80.8% | 81.3% | 74.1% |
- MMMU: Claude Opus 3 и Gemini 1.0 Ultra показали одинаковый лучший результат 59.4%; при равенстве жирное выделение не используется. Оценки GPT-4V — из системной карточки GPT-4V(ision); сэмплирование при T = 0.
В области честности и фактической точности Opus 3 набрал 46.5% на внутреннем наборе «100Q Hard» из сложных малоизвестных вопросов (почти вдвое больше, чем Claude 2.1) и 62.8% на наборе «Multi-factual» (против 43.8% у Claude 2.1), при этом доля неверных ответов снизилась примерно вдвое; на XSTest частота некорректных отказов снизилась с 35.1% у Claude 2.1 до 9%. В мультимодальном red-teaming доверия и безопасности модель безвредно ответила на 370 из 378 (97.9%) провокационных запросов. Оценки катастрофических рисков (автономная репликация, биология, кибер) проводились на версии Opus с пониженной частотой отказов: модель осталась ниже порогов ASL-3 по всем трём доменам — не прошла минимум 3 из 5 ARA-задач (пройдена лишь упрощённая задача копии Anthropic API), не пересекла биологические пороги (незначительный аплифт в испытании с людьми только без safeguards), а в кибер-задачах достигла 30% лишь на одной задаче обнаружения уязвимости и при существенных подсказках.[4]
Ссылки
- Introducing the next generation of Claude (Mar 4, 2024)
- System Card / Model Card: Claude 3 (March 2024)
- Model system cards - Anthropic
См. также
Примечания
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 1–5.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 6–7, 16, 21–22.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 8.
- ↑ Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card. Выпуск: март 2024 года. С. 10, 18, 24–29.