---
title: "Claude Haiku 3"
source: "https://systems-analysis.info/wiki/Claude_Haiku_3"
wiki: "systems-analysis.info/wiki"
article: "Claude_Haiku_3"
language: "ru"
categories:
  - "Категория:Anthropic"
  - "Категория:Claude"
  - "Категория:Russian"
  - "Категория:Большие языковые модели"
  - "Категория:Семейства LLM"
revision_id: 1026
wiki_created_at: 2026-11-12T03:56:15Z
wiki_modified_at: 2026-11-12T07:39:33Z
downloaded_at: 2026-11-12T07:54:13Z
---

# Claude Haiku 3

**Claude 3 Haiku** — большая языковая модель компании Anthropic, младшая конфигурация трёхмодельного семейства Claude 3, положившая начало линейке Haiku, которая по данным разработчика обрабатывала около 21 тысячи токенов (около 30 страниц) в секунду при запросах до 32 тысяч токенов, принимала на вход текст и изображения и была ориентирована на высокоинтенсивные корпоративные задачи, чувствительные к задержкам. Модель была представлена 4 марта 2024 года в составе анонса семейства Claude 3, а публичный доступ к ней через API и сервис claude.ai для подписчиков Claude Pro открылся 13 марта 2024 года.

## Характеристики

- **Поколение**: Claude 3, младшая конфигурация семейства (Haiku — Sonnet — Opus); первая модель линейки Haiku.
- **Контекстное окно**: 200 тыс. токенов; семейство Claude 3 поддерживает контекст как минимум до 1 млн токенов.
- **Модальности**: текст, изображения и кадры видео на входе, текст на выходе.
- **Режим мышления**: единый, без расширенного размышления.
- **Выпуск**: 4 марта 2024 года в составе анонса семейства; публичный доступ — 13 марта 2024 года.
- Технические характеристики — <a href="https://www.anthropic.com/news/claude-3-family" class="external text" rel="nofollow">на сайте Anthropic</a>.

## История и разработка

**Claude 3 Haiku** была представлена 4 марта 2024 года в составе трёхуровневого семейства Claude 3 (Haiku — Sonnet — Opus), но, в отличие от старших конфигураций, вышедших в день анонса, её доступ открылся позже — 13 марта 2024 года. Anthropic характеризовала её как «самую быструю и самую экономичную модель на рынке для своей категории интеллекта»; в качестве демонстрации приводилось чтение насыщенной данными научной статьи с arXiv (~10 тысяч токенов, включая графики и диаграммы) менее чем за три секунды. Заявленный профиль применения — задачи, требующие немедленного отклика: живые клиентские чаты, автодополнение, извлечение данных<sup>[\[1\]](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_note-1)</sup>.

В анонсе Anthropic оговаривала, что «после запуска рассчитывает ещё сильнее улучшить производительность» модели<sup>[\[2\]](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_note-2)</sup>. Модель оставалась в линейке API около двух лет — дольше всех конфигураций семейства Claude 3: 19 февраля 2026 года разработчики получили уведомление о предстоящем выводе из API, и 20 апреля 2026 года модель была выведена из эксплуатации; рекомендуемой заменой была указана [Claude Haiku 4.5](https://systems-analysis.info/wiki/Claude_Haiku_4.5 "Claude Haiku 4.5")<sup>[\[3\]](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_note-3)</sup>.

## Оценка

**Claude 3 Haiku** — самая быстрая и дешёвая модель семейства Claude 3, выпущенная [Anthropic](https://systems-analysis.info/wiki/Anthropic "Anthropic") в марте 2024 года; по данным модельной карточки, она выступает не хуже или лучше Claude 2 в большинстве чисто текстовых задач, тогда как Sonnet и Opus значительно её превосходят. Как и остальные модели семейства, Haiku 3 мультимодальна (ввод изображений и кадров видео, вывод только текста), порог знаний — август 2023 года; в продакшене предлагается контекстное окно 200K токенов, при этом модели семейства поддерживают контекст как минимум до 1M токенов (кривая потерь Haiku 3 на данных длиной до миллиона токенов — на графике карточки). Модель обучена на проприетарной смеси общедоступных интернет-данных (по август 2023 года), частных данных третьих сторон, данных платформ разметки и внутренних данных Anthropic; на пользовательских промптах и ответах не обучалась; в конституцию добавлен принцип уважения прав людей с инвалидностью (по исследованию Collective Constitutional AI).<sup>[\[4\]](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_note-4)</sup>

Если не указано иное, значения взяты из таблиц карточки; модели Claude 3 оценивались с chain-of-thought prompting; для GPQA из-за высокой дисперсии при T = 1 приводится среднее по 10 прогонам со случайным порядком вариантов ответа; числа GPT-4 и GPT-3.5 — из технического отчёта GPT-4 (если не оговорено иное), числа Gemini — из технических отчётов Gemini и Gemini 1.5; мультимодальные оценки — при T = 0. Сравниваемые модели: [Claude Opus 3](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3"), [Claude Sonnet 3](https://systems-analysis.info/wiki/Claude_Sonnet_3 "Claude Sonnet 3"), GPT-4, GPT-3.5, GPT-4V, Gemini 1.0 Ultra, Gemini 1.5 Pro, Gemini 1.0 Pro, а в многоязычных и длинноконтекстных оценках — Claude 2.1, Claude 2 и Claude Instant 1.2.<sup>[\[5\]](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_note-5)</sup>

  
**Текстовые бенчмарки: рассуждение, математика, кодинг и ответы на вопросы (лучший результат по каждой конфигурации — жирным):**

<table class="wikitable" style="text-align:center;">
<colgroup>
<col style="width: 11%" />
<col style="width: 11%" />
<col style="width: 11%" />
<col style="width: 11%" />
<col style="width: 11%" />
<col style="width: 11%" />
<col style="width: 11%" />
<col style="width: 11%" />
<col style="width: 11%" />
</colgroup>
<thead>
<tr class="header">
<th style="text-align: left;">Benchmark</th>
<th>Claude 3 Haiku</th>
<th><a href="https://systems-analysis.info/wiki/Claude_Opus_3" title="Claude Opus 3">Claude Opus 3</a></th>
<th><a href="https://systems-analysis.info/wiki/Claude_Sonnet_3" title="Claude Sonnet 3">Claude Sonnet 3</a></th>
<th><a href="https://systems-analysis.info/wiki/GPT-4" title="GPT-4">GPT-4</a></th>
<th><a href="https://systems-analysis.info/wiki/GPT-3.5" title="GPT-3.5">GPT-3.5</a></th>
<th>Gemini 1.0 Ultra</th>
<th><a href="https://systems-analysis.info/wiki/Gemini_1.5_Pro" title="Gemini 1.5 Pro">Gemini 1.5 Pro</a></th>
<th><a href="https://systems-analysis.info/wiki/Gemini_1.0_Pro" title="Gemini 1.0 Pro">Gemini 1.0 Pro</a></th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td style="text-align: left;">MMLU<sup>1</sup> (5-shot / 5-shot CoT)</td>
<td style="background: #e6f3ff">75.2%<br />
76.7%</td>
<td><strong>86.8%</strong><br />
<strong>88.2%</strong></td>
<td>79.0%<br />
81.5%</td>
<td>86.4%</td>
<td>70.0%</td>
<td>83.7%</td>
<td>81.9%</td>
<td>71.8%</td>
</tr>
<tr class="even">
<td style="text-align: left;">MATH<sup>1</sup> (4-shot / 0-shot / Maj@32, 4-shot)</td>
<td style="background: #e6f3ff">40.9%<br />
38.9%<br />
50.3%</td>
<td><strong>61%</strong><br />
<strong>60.1%</strong><br />
<strong>73.7%</strong></td>
<td>40.5%<br />
43.1%<br />
55.1%</td>
<td>52.9%<br />
42.5%</td>
<td>34.1%</td>
<td>53.2%</td>
<td>58.5%</td>
<td>32.6%</td>
</tr>
<tr class="odd">
<td style="text-align: left;">GSM8K<sup>1</sup></td>
<td style="background: #e6f3ff">88.9%</td>
<td><strong>95.0%</strong></td>
<td>92.3%</td>
<td>92.0%</td>
<td>57.1%</td>
<td>94.4%</td>
<td>91.7%</td>
<td>86.5%</td>
</tr>
<tr class="even">
<td style="text-align: left;">HumanEval<sup>1</sup> (0-shot)</td>
<td style="background: #e6f3ff">75.9%</td>
<td><strong>84.9%</strong></td>
<td>73.0%</td>
<td>67.0%</td>
<td>48.1%</td>
<td>74.4%</td>
<td>71.9%</td>
<td>67.7%</td>
</tr>
<tr class="odd">
<td style="text-align: left;">GPQA (Diamond)<sup>1</sup> (0-shot CoT / Maj@32, 5-shot CoT)</td>
<td style="background: #e6f3ff">33.3%<br />
40.1%</td>
<td><strong>50.4%</strong><br />
<strong>59.5%</strong></td>
<td>40.4%<br />
46.3%</td>
<td>35.7%</td>
<td>28.1%</td>
<td>—</td>
<td>—</td>
<td>—</td>
</tr>
<tr class="even">
<td style="text-align: left;">MGSM<sup>1</sup> (8-shot / 0-shot)</td>
<td style="background: #e6f3ff">76.5%<br />
75.1%</td>
<td><strong>90.5%</strong><br />
<strong>90.7%</strong></td>
<td>83.7%<br />
83.5%</td>
<td>74.5%</td>
<td>—</td>
<td>79.0%</td>
<td>88.7%</td>
<td>63.5%</td>
</tr>
<tr class="odd">
<td style="text-align: left;">DROP<sup>1</sup> (F1, 3-shot)</td>
<td style="background: #e6f3ff">78.4</td>
<td><strong>83.1</strong></td>
<td>78.9</td>
<td>80.9</td>
<td>64.1</td>
<td>82.4</td>
<td>78.9</td>
<td>74.1</td>
</tr>
<tr class="even">
<td style="text-align: left;">BIG-Bench-Hard<sup>1</sup> (3-shot CoT)</td>
<td style="background: #e6f3ff">73.7%</td>
<td><strong>86.8%</strong></td>
<td>82.9%</td>
<td>83.1%</td>
<td>66.6%</td>
<td>83.6%</td>
<td>84.0%</td>
<td>75.0%</td>
</tr>
<tr class="odd">
<td style="text-align: left;">ARC-Challenge<sup>1</sup> (25-shot)</td>
<td style="background: #e6f3ff">89.2%</td>
<td><strong>96.4%</strong></td>
<td>93.2%</td>
<td>96.3%</td>
<td>85.2%</td>
<td>—</td>
<td>—</td>
<td>—</td>
</tr>
<tr class="even">
<td style="text-align: left;">HellaSwag<sup>1</sup> (10-shot)</td>
<td style="background: #e6f3ff">85.9%</td>
<td><strong>95.4%</strong></td>
<td>89.0%</td>
<td>95.3%</td>
<td>85.5%</td>
<td>87.8%</td>
<td>92.5%</td>
<td>84.7%</td>
</tr>
<tr class="odd">
<td style="text-align: left;">PubMedQA<sup>1</sup> (5-shot / 0-shot)</td>
<td style="background: #e6f3ff">76.0%<br />
78.5%</td>
<td>75.8%<br />
74.9%</td>
<td><strong>78.3%</strong><br />
<strong>79.7%</strong></td>
<td>74.4%<br />
75.2%</td>
<td>60.2%<br />
71.6%</td>
<td>—</td>
<td>—</td>
<td>—</td>
</tr>
<tr class="even">
<td style="text-align: left;">WinoGrande<sup>1</sup> (5-shot)</td>
<td style="background: #e6f3ff">74.2%</td>
<td><strong>88.5%</strong></td>
<td>75.1%</td>
<td>87.5%</td>
<td>—</td>
<td>—</td>
<td>—</td>
<td>—</td>
</tr>
<tr class="odd">
<td style="text-align: left;">RACE-H<sup>1</sup> (5-shot)</td>
<td style="background: #e6f3ff">87.0%</td>
<td><strong>92.9%</strong></td>
<td>88.8%</td>
<td>—</td>
<td>—</td>
<td>—</td>
<td>—</td>
<td>—</td>
</tr>
<tr class="even">
<td style="text-align: left;">APPS<sup>1</sup> (0-shot)</td>
<td style="background: #e6f3ff">54.8%</td>
<td><strong>70.2%</strong></td>
<td>55.9%</td>
<td>—</td>
<td>—</td>
<td>—</td>
<td>—</td>
<td>—</td>
</tr>
<tr class="odd">
<td style="text-align: left;">MBPP<sup>1</sup> (Pass@1)</td>
<td style="background: #e6f3ff">80.4%</td>
<td><strong>86.4%</strong></td>
<td>79.4%</td>
<td>—</td>
<td>—</td>
<td>—</td>
<td>—</td>
<td>—</td>
</tr>
</tbody>
</table>

  
**Стандартизированные тесты (лучший результат в строке — жирным):**

| Test                                    | Claude 3 Haiku | [Claude Opus 3](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3") | [Claude Sonnet 3](https://systems-analysis.info/wiki/Claude_Sonnet_3 "Claude Sonnet 3") | [GPT-4](https://systems-analysis.info/wiki/GPT-4 "GPT-4") | [GPT-3.5](https://systems-analysis.info/wiki/GPT-3.5 "GPT-3.5") |
|:----------------------------------------|----------------|-----------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------|-----------------------------------------------------------|-----------------------------------------------------------------|
| LSAT<sup>2</sup> (5-shot CoT)           | 156.3          | 161                                                                               | 158.3                                                                                   | **163**                                                   | 149                                                             |
| MBE<sup>2</sup> (0-shot CoT)            | 64%            | **85%**                                                                           | 71%                                                                                     | 75.7%                                                     | 45.1%                                                           |
| AMC 8<sup>2</sup> (5-shot CoT, из 150)  | 36/150         | **84/150**                                                                        | 54/150                                                                                  | —                                                         | —                                                               |
| AMC 10<sup>2</sup> (5-shot CoT, из 150) | 54/150         | **72/150**                                                                        | 24/150                                                                                  | 36/150                                                    | 36/150                                                          |
| AMC 12<sup>2</sup> (5-shot CoT, из 150) | 48/150         | **63/150**                                                                        | 27/150                                                                                  | 60/150                                                    | 30/150                                                          |

  
**Мультимодальные оценки (лучший результат в строке — жирным):**

| Benchmark                                         | Claude 3 Haiku | [Claude Opus 3](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3") | [Claude Sonnet 3](https://systems-analysis.info/wiki/Claude_Sonnet_3 "Claude Sonnet 3") | GPT-4V    | Gemini 1.0 Ultra | [Gemini 1.5 Pro](https://systems-analysis.info/wiki/Gemini_1.5_Pro "Gemini 1.5 Pro") | [Gemini 1.0 Pro](https://systems-analysis.info/wiki/Gemini_1.0_Pro "Gemini 1.0 Pro") |
|:--------------------------------------------------|----------------|-----------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------|-----------|------------------|--------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------|
| MMMU (val), overall<sup>3</sup>                   | 50.2%          | 59.4%                                                                             | 53.1%                                                                                   | 56.8%     | 59.4%            | 58.5%                                                                                | 47.9%                                                                                |
| MMMU → Art & Design<sup>3</sup>                   | 60.8%          | 67.5%                                                                             | 61.7%                                                                                   | 65.8%     | **70.0%**        | —                                                                                    | —                                                                                    |
| MMMU → Business<sup>3</sup>                       | 52.5%          | **67.2%**                                                                         | 58.2%                                                                                   | 59.3%     | 56.7%            | —                                                                                    | —                                                                                    |
| MMMU → Science<sup>3</sup>                        | 37.1%          | 48.9%                                                                             | 37.1%                                                                                   | **54.7%** | 48.0%            | —                                                                                    | —                                                                                    |
| MMMU → Health & Medicine<sup>3</sup>              | 52.3%          | 61.1%                                                                             | 57.1%                                                                                   | 64.7%     | **67.3%**        | —                                                                                    | —                                                                                    |
| MMMU → Humanities & Social Science<sup>3</sup>    | 66.0%          | 70.0%                                                                             | 68.7%                                                                                   | 72.5%     | **78.3%**        | —                                                                                    | —                                                                                    |
| MMMU → Technology & Engineering<sup>3</sup>       | 41.5%          | **50.6%**                                                                         | 45.0%                                                                                   | 36.7%     | 47.1%            | —                                                                                    | —                                                                                    |
| DocVQA<sup>3</sup> (test, ANLS)                   | 88.8%          | 89.3%                                                                             | 89.5%                                                                                   | 88.4%     | **90.9%**        | 86.5%                                                                                | 88.1%                                                                                |
| MathVista<sup>3</sup> (testmini, CoT)             | 46.4%          | 50.5%                                                                             | 47.9%                                                                                   | 49.9%     | **53%**          | 52.1%                                                                                | 45.2%                                                                                |
| AI2D<sup>3</sup> (test)                           | 86.7%          | 88.1%                                                                             | **88.7%**                                                                               | 78.2%     | 79.5%            | 80.3%                                                                                | 73.9%                                                                                |
| ChartQA<sup>3</sup> (test, relaxed accuracy, CoT) | **81.7%**      | 80.8%                                                                             | 81.1%                                                                                   | 78.5%     | 80.8%            | 81.3%                                                                                | 74.1%                                                                                |

  
**GPQA по наборам и методикам сэмплирования (лучший результат в строке — жирным):**

| GPQA                                    | Claude 3 Haiku | [Claude Opus 3](https://systems-analysis.info/wiki/Claude_Opus_3 "Claude Opus 3") | [Claude Sonnet 3](https://systems-analysis.info/wiki/Claude_Sonnet_3 "Claude Sonnet 3") | [GPT-4](https://systems-analysis.info/wiki/GPT-4 "GPT-4") | [GPT-3.5](https://systems-analysis.info/wiki/GPT-3.5 "GPT-3.5") |
|:----------------------------------------|----------------|-----------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------|-----------------------------------------------------------|-----------------------------------------------------------------|
| Diamond, 0-shot CoT<sup>4</sup>         | 33.3%          | **50.4%**                                                                         | 40.4%                                                                                   | 35.7%                                                     | 28.1%                                                           |
| Diamond, 5-shot CoT<sup>4</sup>         | 36.4%          | **53.3%**                                                                         | 42.9%                                                                                   | 38.8%                                                     | 29.6%                                                           |
| Diamond, Maj@32, 5-shot CoT<sup>4</sup> | 40.1%          | **59.5%**                                                                         | 46.3%                                                                                   | —                                                         | —                                                               |
| Main, 0-shot CoT<sup>4</sup>            | 35.2%          | **49.1%**                                                                         | 38.5%                                                                                   | 39.5%                                                     | 28.9%                                                           |
| Main, 5-shot CoT<sup>4</sup>            | 36.4%          | **50.2%**                                                                         | 39.1%                                                                                   | 39.7%                                                     | 28.0%                                                           |
| Extended Set, 0-shot CoT<sup>4</sup>    | 34.7%          | **48.8%**                                                                         | 38.0%                                                                                   | 38.1%                                                     | 28.4%                                                           |
| Extended Set, 5-shot CoT<sup>4</sup>    | 35.5%          | **49.2%**                                                                         | 39.3%                                                                                   | 38.7%                                                     | 28.2%                                                           |

  
**Многоязычность и длинный контекст (лучший результат по каждой конфигурации — жирным):**

<table class="wikitable" style="text-align:center;">
<colgroup>
<col style="width: 14%" />
<col style="width: 14%" />
<col style="width: 14%" />
<col style="width: 14%" />
<col style="width: 14%" />
<col style="width: 14%" />
<col style="width: 14%" />
</colgroup>
<thead>
<tr class="header">
<th style="text-align: left;">Evaluation</th>
<th>Claude 3 Haiku</th>
<th><a href="https://systems-analysis.info/wiki/Claude_Opus_3" title="Claude Opus 3">Claude Opus 3</a></th>
<th><a href="https://systems-analysis.info/wiki/Claude_Sonnet_3" title="Claude Sonnet 3">Claude Sonnet 3</a></th>
<th>Claude 2.1</th>
<th>Claude 2</th>
<th>Claude Instant 1.2</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td style="text-align: left;">Multilingual MMLU<sup>5</sup> (5-shot)</td>
<td style="background: #e6f3ff">65.2%</td>
<td><strong>79.1%</strong></td>
<td>69.0%</td>
<td>63.4%</td>
<td>63.1%</td>
<td>61.2%</td>
</tr>
<tr class="even">
<td style="text-align: left;">QuALITY<sup>5</sup> (1-shot / 0-shot)</td>
<td style="background: #e6f3ff">80.2%<br />
79.4%</td>
<td><strong>90.5%</strong><br />
<strong>89.2%</strong></td>
<td>85.9%<br />
84.9%</td>
<td>85.5%<br />
82.8%</td>
<td>84.3%<br />
80.5%</td>
<td>79.3%<br />
78.7%</td>
</tr>
<tr class="odd">
<td style="text-align: left;">Needle In A Haystack<sup>5</sup> (все длины контекста / 200k)</td>
<td style="background: #e6f3ff">95.9%<br />
91.9%</td>
<td><strong>99.4%</strong><br />
<strong>98.3%</strong></td>
<td>95.4%<br />
91.4%</td>
<td>94.5%<br />
92.7%</td>
<td>—</td>
<td>—</td>
</tr>
</tbody>
</table>

  
**Примечания к таблицам:**

1.  Текстовые бенчмарки: Claude 3 оценивались с chain-of-thought prompting. GSM8K: конфигурации элиситации различаются — Claude 3 — 0-shot CoT, GPT-4 — SFT, 5-shot CoT, GPT-3.5 — 5-shot, Gemini 1.0 Ultra и 1.0 Pro — Maj1@32, Gemini 1.5 Pro — 11-shot. Числа GPT-4 на MATH (4-shot CoT), MGSM и BIG-Bench-Hard — из технического отчёта Gemini; для более новой версии GPT-4 исследователи сообщали более высокие результаты на MATH и HumanEval. MGSM приведён в конфигурациях 8-shot / 0-shot (0-shot — только для Claude); PubMedQA — 5-shot / 0-shot (числа GPT — из внешнего отчёта); DROP — F1 (3-shot); у Gemini на DROP — variable shots. Haiku 3 выше Sonnet 3 на HumanEval (75,9 % против 73,0 %), MATH 4-shot (40,9 % против 40,5 %) и MBPP (80,4 % против 79,4 %), но ниже на APPS (54,8 % против 55,9 %) и по остальным строкам уступает обоим старшим моделям.
2.  Стандартизированные тесты: LSAT — среднее масштабированных баллов по трём официальным практическим тестам (PT89–PT91, few-shot — PT92–PT93); MBE — официальный практический экзамен NCBE 2021; AMC — все 150 официальных задач AMC 2023 (по 50 из AMC 8, 10 и 12; для 10 и 12 — сеты A и B), ответы сэмплировались 5 раз при T = 1, итог — доля правильных × 150; баллы GPT — по экзаменам 2022 года (на AMC 10 указан лучший из результатов GPT-4 и GPT-4V). GRE в карточке приводится только для Opus (159 quantitative, 166 verbal, 5.0 writing при 2-shot) — Haiku не оценивалась.
3.  Мультимодальные оценки: сэмплирование при T = 0; MathVista (testmini) и ChartQA — с цепочкой рассуждений; для AI2D часть изображений апсемплировалась до 800 пикселей по длинной стороне (давало 3–4 п. п.); MMMU приведён в целом и по дисциплинам; числа GPT-4V — из системной карточки GPT-4V(ision), MMMU overall — из работы MMMU. В тексте карточки (раздел 5.3) для Haiku указано 80,6 % на AI2D, в сводной таблице — 86,7 % (расхождение источника); лучший в таблице на AI2D — Sonnet 3 (88,7 %; в тексте заявлено 89,2 % как state of the art). ChartQA — единственная строка таблицы, где Haiku 3 — лучшая (81,7 %).
4.  GPQA: высокая дисперсия при T = 1 — значения суть среднее по 10 прогонам со случайным порядком вариантов; Diamond — набор наивысшего качества (задачи, которые эксперты из других доменов не смогли решить за 30+ минут с полным доступом в интернет), Main и Extended Set — более широкие наборы; «few-shot»-результаты GPT соответствуют 5 примерам (подтверждено авторами бенчмарка); уровень graduate-экспертов на Diamond — 60–80 %. Haiku 3 ниже GPT-4 во всех приведённых конфигурациях и выше GPT-3.5 во всех.
5.  Многоязычность и длинный контекст: multilingual MMLU — 5-shot; QuALITY — вопросы к художественным текстам до ~10k слов (базовые модели — 55,4 %, люди — 93,5 %), 1-shot / 0-shot при T = 1; Needle In A Haystack — модифицированная оценка: случайная пара «игла-вопрос» из 30 вариантов, два стога документов (эссе Пола Грэма и смесь Википедии, юридических, финансовых и медицинских документов), до 200k токенов, 20 вариаций на комбинацию, прайминг «Here is the most relevant sentence in the documents». По QuALITY Haiku 3 — единственная модель семейства Claude 3 ниже Claude 2.1 (80,2 % / 79,4 % против 85,5 % / 82,8 %) и выше только Claude Instant 1.2; по NIAH Sonnet и Haiku обгоняют Claude 2.1 на контекстах короче 100k и примерно совпадают на более длинных (в среднем Haiku 95,9 % — выше Sonnet; на 200k — 91,9 % против 92,7 % у Claude 2.1).
6.  Жирным выделено лучшее значение по каждой позиции строки (каждая конфигурация сравнивается с той же конфигурацией прочих моделей); ничьи — без выделения (MMMU overall: Opus и Gemini 1.0 Ultra — по 59,4 %); «—» — данных нет; числа в таблицах — как в источнике.

В задачах длинного контекста Sonnet 3 и Haiku 3 выступают похоже: обе обгоняют Claude 2.1 на контекстах короче 100k токенов и примерно совпадают с ней на более длинных (до 200k), тогда как Opus 3 существенно лучше всех — в среднем 99,4 % recall, в том числе 98,3 % на 200k. Модели семейства поддерживают контекст минимум до 1M токенов, но на момент выпуска в продакшене предлагается только 200k. В визуальных задачах лучший результат Haiku 3 в сводной таблице — ChartQA (81,7 %, выше всех моделей строки); на AI2D значения Haiku — 80,6 % в тексте и 86,7 % в таблице, в обоих случаях ниже Sonnet и Opus.<sup>[\[6\]](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_note-6)</sup>

Поведенческое проектирование и безопасность. По оценкам отказов (Wildchat и XSTest; числа — на графиках карточки) модели Claude 3 нюансированнее поколений Claude 2: они распознают реальный вред, значительно реже некорректно отказывают на безобидных запросах и корректнее отказывают на токсичных; на XSTest доля некорректных отказов Opus упала с 35,1 % у Claude 2.1 до 9 %. В мультимодальном red-teaming доверия и безопасности приведены только данные Opus и Sonnet: Opus безвредно ответил на 370 из 378 (97,9 %), Sonnet — на 375 из 378 (99,2 %) провокационных запросов; результаты Haiku не приводятся. На BBQ (Bias Benchmark for QA; числа — на графике) Opus превосходит все модели семейства Claude 2 — наивысшая точность в disambiguated-контексте и наименьшее смещение в ambiguous; в оценке дискриминации Haiku 3 показывает сопоставимые или более низкие баллы, чем Claude Instant 1.2 (числа — на графике), а Opus и Sonnet — сопоставимые с Claude 2.1.<sup>[\[7\]](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_note-7)</sup>

Оценки катастрофических рисков по Responsible Scaling Policy проводились на пониженной к отказам версии крупнейшей модели семейства (Opus) с контекстом 200k — в нескольких раундах с улучшением элиситации, включая версию, близкую к релизной, с обучением на безвредности. Индикаторов катастрофического риска не обнаружено ни в одном из трёх доменов (биология, кибербезопасность, автономная репликация и адаптация): модель явно ниже порога ASL-3 — в ARA-оценках провалено минимум 3 из 5 задач, хотя зафиксированы частичный прогресс и прохождение упрощённой версии задачи по созданию копии API Anthropic (без регистрации ошибочного домена). На этом основании все модели Claude 3, включая Haiku, классифицированы и развёрнуты под стандартом ASL-2.<sup>[\[8\]](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_note-8)</sup>

## Ссылки

- <a href="https://www.anthropic.com/news/claude-3-family" class="external text" rel="nofollow">Introducing the next generation of Claude (March 4, 2024)</a>
- <a href="https://assets.anthropic.com/m/61e7d27f8c8f5919/original/Claude-3-Model-Card.pdf" class="external text" rel="nofollow">The Claude 3 Model Family: Opus, Sonnet, Haiku (March 2024)</a>
- <a href="https://www.anthropic.com/system-cards" class="external text" rel="nofollow">Model system cards - Anthropic</a>

## См. также

- [Claude Haiku 3.5](https://systems-analysis.info/wiki/Claude_Haiku_3.5 "Claude Haiku 3.5")
- [Claude Haiku 4.5](https://systems-analysis.info/wiki/Claude_Haiku_4.5 "Claude Haiku 4.5")
- [Claude Haiku 5.5](https://systems-analysis.info/wiki/Claude_Haiku_5.5 "Claude Haiku 5.5")

## Примечания

1.  <span id="cite_note-1">[↑](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_ref-1) <a href="https://www.anthropic.com/news/claude-3-family" class="external text" rel="nofollow">Introducing the next generation of Claude</a>. Anthropic. 4 марта 2024.</span>
2.  <span id="cite_note-2">[↑](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_ref-2) <a href="https://www.anthropic.com/news/claude-3-family" class="external text" rel="nofollow">Introducing the next generation of Claude</a>. Anthropic. 4 марта 2024.</span>
3.  <span id="cite_note-3">[↑](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_ref-3) <a href="https://platform.claude.com/docs/en/about-claude/model-deprecations" class="external text" rel="nofollow">Model deprecations</a>. Claude Platform Docs.</span>
4.  <span id="cite_note-4">[↑](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_ref-4) Anthropic. *The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card*. Выпуск: март 2024 года. С. 1–5.</span>
5.  <span id="cite_note-5">[↑](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_ref-5) Anthropic. *The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card*. Выпуск: март 2024 года. С. 5–8, 16, 21–22, 35.</span>
6.  <span id="cite_note-6">[↑](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_ref-6) Anthropic. *The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card*. Выпуск: март 2024 года. С. 7–8, 20–23.</span>
7.  <span id="cite_note-7">[↑](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_ref-7) Anthropic. *The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card*. Выпуск: март 2024 года. С. 10–11, 26–28, 30–31.</span>
8.  <span id="cite_note-8">[↑](https://systems-analysis.info/wiki/Claude_Haiku_3#cite_ref-8) Anthropic. *The Claude 3 Model Family: Opus, Sonnet, Haiku — Model Card*. Выпуск: март 2024 года. С. 23–26.</span>
