---
title: "Big-Bench Hard"
source: "https://systems-analysis.info/wiki/Big-Bench_Hard"
wiki: "systems-analysis.info/wiki"
article: "Big-Bench_Hard"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 3749
wiki_created_at: 2026-11-19T08:18:23Z
wiki_modified_at: 2026-11-19T10:23:43Z
downloaded_at: 2026-11-19T10:26:11Z
---

# Big-Bench Hard

**Big-Bench Hard** (**BBH**) — набор из 23 сложных задач, отобранных из коллаборативного бенчмарка [BIG-Bench](https://systems-analysis.info/wiki/BIG-bench "BIG-bench") для оценки многошаговых рассуждений [больших языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM). BBH представлен Мираджем Сузгуном и коллегами в работе 2022 года *Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them*, опубликованной в сборнике Findings of ACL 2023<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

Задачи были отобраны по тому признаку, что ни одна языковая модель, оценённая в исходном исследовании BIG-Bench, не превзошла соответствующий **средний результат человеческих оценщиков**. Целью BBH было определить, являются ли эти задачи принципиально недоступными для моделей того времени или их видимая сложность отчасти объясняется несовершенством методов промптинга<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

BBH стал особенно влиятельным в исследованиях [промптинга «цепочка мыслей»](https://systems-analysis.info/wiki/Chain-of-Thought_Prompting "Chain-of-Thought Prompting") (CoT), [in-context learning](https://systems-analysis.info/wiki/In-Context_Learning "In-Context Learning"), эмерджентных способностей моделей и рассуждений на этапе вывода. Первоначальные эксперименты показали, что достаточно большие модели могут значительно улучшить результаты, если демонстрации содержат явные промежуточные шаги рассуждения. Публичный выпуск содержит **6 511 оценочных примеров**, определения задач, вручную составленные промпты «цепочка мыслей» и выходы, сгенерированные моделью Codex<sup>[\[2\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_repo-2)</sup>.

## Происхождение и построение

BBH был получен из **BIG-bench** (*Beyond the Imitation Game Benchmark*) — коллективно разработанного набора оценки, содержащего более 200 текстовых задач в областях понимания естественного языка, математики, рассуждений на основе здравого смысла, символических манипуляций и ответов на вопросы<sup>[\[3\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bigbench_paper-3)</sup>.

BIG-bench изначально задумывался как набор задач, лежащих за пределами возможностей современных ему языковых моделей. Однако к моменту создания BBH сильнейшая модель, описанная в исследовании BIG-bench, уже превзошла средний результат человеческих оценщиков примерно на **65 %** задач. Поэтому авторы BBH сосредоточились на оставшихся сложных задачах и применили последовательность критериев фильтрации<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

| Оставшихся задач | Этап фильтрации                                                                                                                     |
|------------------|-------------------------------------------------------------------------------------------------------------------------------------|
| **209**          | Все задачные записи BIG-bench, рассмотренные авторами BBH.                                                                          |
| **187**          | Удалены задачи с более чем тремя подзадачами.                                                                                       |
| **130**          | Удалены задачи с числом примеров менее 103. Для few-shot-демонстраций требовалось не менее трёх примеров и не менее 100 для оценки. |
| **85**           | Удалены задачи без опубликованных базовых результатов человеческих оценщиков.                                                       |
| **78**           | Удалены задачи, которые невозможно оценить через точность множественного выбора или точное совпадение (exact matching).             |
| **36**           | Удалены задачи, на которых лучшая из ранее описанных моделей превзошла средний результат человека-оценщика.                         |
| **23**           | После ручной проверки удалено ещё тринадцать задач, признанных выходящими за рамки исследования.                                    |

Процедура фильтрации, использованная при построении Big-Bench Hard

Задачи, исключённые вручную, требовали узкоспециализированных знаний, включали необычно долгие или непрактичные процедуры решения, содержали неоднозначные формулировки или считались непригодными для оценки с помощью промптинга «цепочка мыслей». Среди примеров, обсуждаемых авторами, — отслеживание состояния шахматной партии, классификация чрезвычайно длинных текстов и неоднозначные суждения моральной допустимости<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

Итоговый бенчмарк содержит **23 концептуальные задачи**, но **27 файлов задач**. Это различие объясняется тем, что две задачи имеют по три варианта сложности:

- **Логическое выведение** (Logical Deduction) содержит варианты с тремя, пятью и семью объектами.
- **Отслеживание перемещённых объектов** (Tracking Shuffled Objects) содержит варианты с тремя, пятью и семью объектами.

Для 24 из 27 файлов задач авторы случайно отобрали по 250 оценочных примеров. Три исключения используют все доступные оценочные примеры:

- **Causal Judgement** — 187 примеров.
- **Penguins in a Table** — 146 примеров.
- **Snarks** — 178 примеров.

В совокупности эти файлы содержат **6 511 оценочных примеров**. Ещё по три примера из каждой задачи были зарезервированы для few-shot-промптинга и не включены в оценочный набор<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

Таким образом, слово «Hard» в названии следует понимать лишь относительно конкретной исторической обстановки оценки. BBH не был сформирован измерением внутренней или постоянной сложности задач; он отобран по показателям моделей и человеческих оценщиков, доступных на момент построения бенчмарка.

## Задачи и проверяемые способности

Авторы BBH разделили набор на **11 алгоритмических задач** и **12 задач на естественном языке и знание мира**. Алгоритмической считалась задача, которую после понимания инструкций можно решить детерминированной процедурой на основе правил, не требующей дополнительных знаний естественного языка<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

| Группа            | Задача                                                                | Проверяемая способность                                                                                                                               |
|-------------------|-----------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------|
| Алгоритмическая   | **Логические выражения** (Boolean Expressions)                        | Вычисление выражений с булевыми константами и операторами `and`, `or` и `not`.                                                                        |
| Естественный язык | **Causal Judgement**                                                  | Определение, как типичный человек ответил бы на причинный вопрос о коротком моральном, намеренном или контрфактическом сценарии.                      |
| Естественный язык | **Понимание дат** (Date Understanding)                                | Выведение календарной даты из нескольких утверждений, выражающих временные отношения.                                                                 |
| Естественный язык | **Disambiguation QA**                                                 | Разрешение неоднозначного местоимения или определение того, что доступной информации недостаточно для однозначного антецедента.                       |
| Алгоритмическая   | **Языки Дика** (Dyck Languages)                                       | Предсказание закрывающих скобок, необходимых для завершения неполной последовательности Dyck-4.                                                       |
| Естественный язык | **Формальные ошибочные умозаключения** (Formal Fallacies)             | Определение, следует ли заключение логически из неформально сформулированных посылок, с особым вниманием к отрицанию и силлогистическому рассуждению. |
| Алгоритмическая   | **Геометрические фигуры** (Geometric Shapes)                          | Определение геометрической фигуры, описанной SVG-путём с несколькими командами рисования.                                                             |
| Естественный язык | **Гипербатон** (Hyperbaton)                                           | Выбор английского предложения, следующего традиционному порядку нескольких прилагательных.                                                            |
| Алгоритмическая   | **Логическое выведение** (Logical Deduction)                          | Выведение порядка или относительного положения трёх, пяти или семи объектов из набора ограничений.                                                    |
| Естественный язык | **Рекомендации фильмов** (Movie Recommendation)                       | Выбор фильма, наиболее похожего на группу фильмов, которые гипотетическому пользователю понравились.                                                  |
| Алгоритмическая   | **Многошаговая арифметика** (Multi-Step Arithmetic)                   | Вычисление арифметических выражений с несколькими вложенными операциями.                                                                              |
| Алгоритмическая   | **Навигация** (Navigate)                                              | Отслеживание последовательности инструкций движения и поворота и определение, возвращается ли агент в исходную позицию.                               |
| Алгоритмическая   | **Подсчёт объектов** (Object Counting)                                | Подсчёт объектов, относящихся к запрошенной семантической категории, в описи на естественном языке.                                                   |
| Естественный язык | **Пингвины в таблице** (Penguins in a Table)                          | Чтение и обновление небольшой таблицы пингвинов и ответы на вопросы об их атрибутах.                                                                  |
| Естественный язык | **Рассуждение о цветных объектах** (Reasoning about Colored Objects)  | Выведение цвета, позиции или тождества объектов, описанных в короткой сцене.                                                                          |
| Естественный язык | **Ruin Names**                                                        | Распознавание юмористической модификации названия фильма, группы, исполнителя или другого культурного объекта заменой одного символа.                 |
| Естественный язык | **Обнаружение ошибок перевода** (Salient Translation Error Detection) | Классификация главной ошибки английского перевода немецкого исходного предложения.                                                                    |
| Естественный язык | **Snarks**                                                            | Различение саркастического предложения и тесно связанного несаркастического варианта.                                                                 |
| Естественный язык | **Понимание спорта** (Sports Understanding)                           | Определение, является ли утверждение о спорте, спортсмене, действии или соревновании правдоподобным.                                                  |
| Алгоритмическая   | **Временные последовательности** (Temporal Sequences)                 | Определение возможного интервала времени для события на основе расписания и ряда временных ограничений.                                               |
| Алгоритмическая   | **Отслеживание перемещённых объектов** (Tracking Shuffled Objects)    | Отслеживание принадлежности или позиции трёх, пяти или семи объектов после последовательности обменов.                                                |
| Алгоритмическая   | **Паутина лжи** (Web of Lies)                                         | Выведение истинности утверждений людей, которые могут лгать или говорить правду.                                                                      |
| Алгоритмическая   | **Сортировка слов** (Word Sorting)                                    | Расположение списка слов в алфавитном порядке.                                                                                                        |

Описания задач и примеры хранятся в официальном репозитории. Хотя большинство задач использует входные данные на английском языке, набор покрывает разнородные способности: арифметику, формальную логику, пространственное рассуждение, временное рассуждение, разрешение кореференции, грамматику, юмор, анализ перевода, фактологические знания и социальные суждения<sup>[\[2\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_repo-2)</sup>.

## Формат данных и выпуск

Официальный выпуск BBH хранит оценочные данные в **27 JSON-файлах** в каталоге `bbh`. Каждый файл имеет компактную структуру из двух полей верхнего уровня<sup>[\[2\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_repo-2)</sup>:

| Поле       | Описание                                                                                                                                                              |
|------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| `canary`   | Фиксированная предупреждающая строка и глобально уникальный идентификатор, предназначенные для обнаружения случайного включения данных бенчмарка в обучающие корпусы. |
| `examples` | Массив, содержащий оценочные примеры задачи.                                                                                                                          |
| `input`    | Формулировка задачи, инструкции и варианты ответов, где применимо.                                                                                                    |
| `target`   | Ожидаемый ответ, используемый для оценки по точному совпадению.                                                                                                       |

Упрощённое представление файла задачи:

\<syntaxhighlight lang="json"\> {

     "canary": "предупреждение о загрязнении бенчмарка и идентификатор",
     "examples": [
       {
         "input": "Формулировка задачи",
         "target": "Ожидаемый ответ"
       }
     ]

} \</syntaxhighlight\>

Бенчмарк представляет собой прежде всего оценочную коллекцию, а не обычный набор для обучения, валидации и тестирования. Демонстрации для few-shot-оценки распространяются отдельно в каталоге `cot-prompts`. Репозиторий также содержит сгенерированные выходы модели `code-davinci-002`, что позволяет последующим исследователям изучать ответы модели, использованные в исходных экспериментах<sup>[\[2\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_repo-2)</sup>.

Канареечная строка технически не предотвращает попадание примеров бенчмарка в обучающие корпусы моделей. Она предоставляет распознаваемую последовательность, которую кураторы наборов данных или аудиторы могут искать при проверке обучающих данных или выходов моделей.

## Методика оценки

### Промптинг «только ответ» и «цепочка мыслей»

Исходное исследование сравнивало две конфигурации few-shot-промптинга<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>:

- **Промптинг «только ответ»**. Каждая демонстрация содержала задачу и её окончательный ответ без явной цепочки рассуждений.
- **Промптинг «цепочка мыслей»**. Каждая демонстрация содержала задачу, промежуточные шаги рассуждения и окончательный ответ.

Обе конфигурации включали инструкции задачи и, для задач с множественным выбором, доступные варианты ответов. Авторы вручную составили **по три демонстрации «цепочка мыслей» для каждой задачи**. Аннотации рассуждений начинались фразой `Let's think step by step`, следуя исследованиям промптов рассуждения в zero-shot и few-shot режиме<sup>[\[4\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-zero_shot_cot-4)</sup>.

Промптинг «цепочка мыслей» предназначен для того, чтобы сделать промежуточные вычисления явными. Вместо отображения сложного входа непосредственно в короткую метку модель может декомпозировать задачу на более мелкие операции, сохранять промежуточные состояния и затем генерировать требуемый ответ<sup>[\[5\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-cot_paper-5)</sup>.

### Извлечение ответа и точность

В исходных экспериментах модели использовали жадное декодирование с температурой сэмплирования, равной нулю. Для задач с множественным выбором все варианты одновременно помещались в промпт, и модель генерировала текстовый ответ. Это отличается от методов оценки, независимо оценивающих условную вероятность каждого варианта ответа<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

Оценщик извлекал окончательный ответ из сгенерированного текста, как правило после фразы вида `the answer is`, и сравнивал его с эталонным значением методом точного совпадения. Балл каждой задачи вычислялся как:

${Accuracy} = \frac{\text{число верных ответов}}{\text{число оценённых примеров}}$

Три варианта задачи Logical Deduction усреднялись в один балл концептуальной задачи, как и три варианта Tracking Shuffled Objects. Итоговый балл BBH вычислялся как **невзвешенное среднее 23 баллов концептуальных задач**. Следовательно, каждая задача вносила одинаковый вклад в агрегированный результат, хотя файлы задач содержали разное число примеров<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

Поскольку пространства ответов существенно различаются, вероятность успеха при случайном угадывании в BBH неоднородна. Некоторые задачи бинарны, тогда как другие имеют три, четыре, пять или более возможных выходов. В оригинальной работе сообщался агрегированный случайный базовый уровень примерно **25,7 %** при применённой процедуре усреднения по задачам<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

### Сопоставимость результатов

Более поздние оценки часто модифицируют исходный протокол. К релевантным переменным относятся:

- zero-shot против three-shot-промптинга;
- инструкции прямого ответа против «цепочки мыслей»;
- вручную написанные против автоматически сгенерированных демонстраций;
- жадное декодирование против стохастического сэмплирования;
- голосование большинством или self-consistency по нескольким ответам;
- максимальная длина контекста и генерации;
- шаблоны диалога и системные инструкции;
- регулярные выражения для извлечения ответа;
- нормализация регистра, пробелов, пунктуации и меток;
- использование инструментов, выполнения кода или внешнего поиска.

Поэтому сообщённый «балл BBH» не полностью интерпретируем без описания промпта, процедуры декодирования, агрегирования задач и парсера ответов. Результаты, полученные по существенно различающимся протоколам, не следует рассматривать как строки единого строго сопоставимого лидерборда.

## Первоначальные результаты и выводы

Исходное исследование оценило несколько размеров моделей PaLM, InstructGPT и Codex. Основные результаты для крупнейшей модели каждого семейства приведены ниже<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

<table class="wikitable">
<caption>Результаты, сообщённые в исходном исследовании Big-Bench Hard</caption>
<colgroup>
<col style="width: 25%" />
<col style="width: 25%" />
<col style="width: 25%" />
<col style="width: 25%" />
</colgroup>
<thead>
<tr class="header">
<th>Система или базовый уровень</th>
<th>Средний балл «только ответ»</th>
<th>Средний балл «цепочка мыслей»</th>
<th>Задач выше среднего результата человека<br />
только ответ → CoT</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>Средний результат человека-оценщика</td>
<td><strong>67,7 %</strong></td>
<td>—</td>
<td>—</td>
</tr>
<tr class="even">
<td>Максимальный результат человека-оценщика</td>
<td><strong>94,4 %</strong></td>
<td>—</td>
<td>23 / 23</td>
</tr>
<tr class="odd">
<td>PaLM 540B</td>
<td>52,3 %</td>
<td>65,2 %<sup><a href="https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-palm_score_note-6">[6]</a></sup></td>
<td>6 / 23 → 10 / 23</td>
</tr>
<tr class="even">
<td>InstructGPT (<code>text-davinci-002</code>)</td>
<td>51,8 %</td>
<td><strong>68,4 %</strong></td>
<td>4 / 23 → 15 / 23</td>
</tr>
<tr class="odd">
<td>Codex (<code>code-davinci-002</code>)</td>
<td>56,6 %</td>
<td><strong>73,9 %</strong></td>
<td>5 / 23 → 17 / 23</td>
</tr>
</tbody>
</table>

Результаты, сообщённые в исходном исследовании Big-Bench Hard

Codex с промптингом «цепочка мыслей» показал сильнейший агрегированный результат исследования. Его балл **73,9 %** превысил средний результат человека-оценщика 67,7 %, но остался более чем на 20 процентных пунктов ниже максимального результата человека-оценщика 94,4 %. Модель превзошла средний человеческий балл на 17 из 23 задач против лишь пяти задач при промптинге «только ответ»<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

Эффект промптинга «цепочка мыслей» различался по семействам задач. Для Codex он увеличил средний балл на 11 алгоритмических задачах с **45,9 % до 74,4 %**, то есть на 28,5 процентных пункта. На 12 задачах естественного языка улучшение было меньше — с **66,4 % до 73,5 %**<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

Наибольшие приросты на уровне отдельных задач для Codex сообщались на:

- **Tracking Shuffled Objects** — прирост 60,4 процентных пункта;
- **Многошаговой арифметике** (Multi-Step Arithmetic) — прирост 46,4 процентных пункта;
- **Навигации** (Navigate) — прирост 46,0 процентных пунктов;
- **Временных последовательностях** (Temporal Sequences) — прирост 19,8 процентных пункта.

Эти задачи требуют поддержания и обновления промежуточного состояния на протяжении нескольких операций. Авторы утверждали, что явные цепочки рассуждений помогали достаточно способным моделям декомпозировать такие задачи на последовательные шаги<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

Польза промптинга «цепочка мыслей» зависела и от масштаба модели. Для малых моделей InstructGPT и PaLM «цепочка мыслей» давала небольшое улучшение или иногда снижала точность. Положительная разница росла с масштабом. Авторы описали это как эмерджентный эффект промптинга и выделили задачи Multi-Step Arithmetic, Tracking Shuffled Objects и Web of Lies, результаты на которых при прямом промптинге оставались близкими к случайным, но резко росли с «цепочкой мыслей» на больших моделях<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)[\[7\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-emergent_paper-7)</sup>.

«Цепочка мыслей» не была универсально полезной. В исходных экспериментах она снижала результаты или не улучшала их на таких задачах, как Causal Judgement, Ruin Names и Snarks. Эти задачи сильнее опираются на социальную интерпретацию, юмор, культурные знания или прагматическое понимание языка, чем на детерминированную последовательность символических операций<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

## Принятие и насыщение

BBH впоследствии стал широко упоминаемым бенчмарком общего рассуждения в модельных карточках, технических отчётах, открытых оценочных фреймворках и академических исследованиях. Компактный размер, публичные промпты, разнообразие задач и единый агрегированный балл сделали его более простым в запуске, чем полная коллекция BIG-bench.

Бенчмарк также стремительно двигался к насыщению. К 2024 году несколько frontier-моделей, как сообщалось, достигали агрегированных баллов BBH выше 90 % в обычно применяемых few-shot-протоколах. Анализ 2025 года пришёл к выводу, что современные модели достигли почти идеальной точности на многих отдельных задачах, что снизило полезность BBH для различения сильнейших систем<sup>[\[8\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbeh_paper-8)</sup>.

Насыщение обесценивает не каждую задачу BBH. Паттерны ошибок на уровне задач всё ещё могут выявлять слабости в символьном отслеживании состояния, формальной логике, временных выводах или лингвистической интерпретации. Однако агрегированный балл, близкий к потолку, даёт малое разрешение для ранжирования frontier-моделей и может скрывать небольшое число задач, на которых сохраняются значимые различия.

## Ограничения и критика

### Исторически относительное определение сложности

Процедура отбора BBH определяет сложность относительно моделей, промптов и человеческих базовых уровней, доступных во время оценки BIG-bench. Задача попала в BBH потому, что ранее описанные модели не смогли превзойти её средний результат человека-оценщика, а не потому, что она удовлетворяет независимой мере когнитивной сложности.

Процедура также создаёт форму селективного смещения или смещения выжившего. Задачи, уже решённые ранними моделями, были удалены, но 13 задач, оставшихся предельно сложными, также были исключены, поскольку авторы сочли их непригодными для задуманного исследования «цепочки мыслей». BBH поэтому представляет собой проходимую среднюю область исходного бенчмарка, а не полный набор его сложнейших задач<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

### Базовые результаты человека

Сообщённые человеческие базовые результаты не следует интерпретировать как окончательные оценки обычных или экспертных человеческих способностей. Исходная человеческая оценка BIG-bench проводилась на протяжении длительного периода, в течение которого форматирование и содержание некоторых задач менялись. Оценщики отвечали на подвыборки задач, работали ограниченное время и иногда могли пользоваться внешними ресурсами, такими как интернет<sup>[\[1\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_paper-1)</sup>.

Некоторые инструкции также было трудно выполнять, или их можно было сформулировать яснее. В результате авторы BBH предупреждали, что превышение среднего балла человека-оценщика не следует считать доказательством общего понимания языка или рассуждений человеческого уровня.

### Публичность данных и загрязнение обучения

BBH — статический общедоступный бенчмарк. Его файлы задач, промпты, метки и примеры выходов моделей доступны в интернете с момента выпуска. Эти материалы могут быть скопированы в веб-краулы, компиляции бенчмарков, синтетические обучающие наборы или корпусы для инструктивной настройки.

Репозиторий содержит канареечную строку с предупреждением, что данные бенчмарка не должны появляться в обучающих корпусах. Канарейка помогает аудиту, но не может обнаружить перефразированные примеры, отдельно скопированное содержимое задач или обучающие данные из исходных источников BIG-bench. Высокий балл модели с нераскрытыми обучающими данными может, следовательно, отражать неизвестную смесь способности к рассуждениям, знакомства с шаблонами задач и прямого или косвенного запоминания<sup>[\[2\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbh_repo-2)[\[9\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-contamination_survey-9)</sup>.

### Неоднородные случайные базовые уровни и ярлыки

Задачи не разделяют общий формат ответа или случайный базовый уровень. Восемь из 23 концептуальных задач используют бинарные метки, а ещё в пяти не более пяти вариантов ответа. Высокая вероятность случайного успеха может поэтому существенно влиять на агрегированный балл, особенно когда модели используют закономерности частотности ответов или форматирования<sup>[\[8\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbeh_paper-8)</sup>.

Более поздний анализ также выявил возможность использования задачных ярлыков. Некоторые задачи можно решать, распознавая повторяющиеся шаблоны или поверхностные закономерности, вместо выполнения задуманной процедуры рассуждения. Например, задача геометрии на основе SVG может вознаграждать знакомство с типичными паттернами путей, а повторяющиеся языковые шаблоны позволяют модели выводить распределение меток.

Авторы BIG-Bench Extra Hard охарактеризовали входы BBH как сравнительно короткие — с макроусреднённой по задачам длиной около 700 символов — и отметили, что многие примеры требуют лишь небольшого числа операций рассуждения. Эти свойства способствовали быстрому прогрессу и последующему насыщению бенчмарка<sup>[\[8\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbeh_paper-8)</sup>.

### Агрегированный балл и взвешивание задач

Невзвешенное среднее по 23 задачам придаёт одинаковый вес каждой концептуальной задаче. Задача со 146 оценочными примерами вносит такой же вклад, как совокупность трёх подзадач по 250 примеров. Это упрощает интерпретацию агрегированного балла как среднего по способностям, но он не эквивалентен точности по всем 6 511 примерам.

Единое среднее также объединяет качественно разные способности: арифметику, детекцию сарказма, культурные знания, формальную дедукцию и пространственное отслеживание. Две модели могут получить одинаковый агрегированный балл, успешно справляясь с разными группами задач. Публикация результатов по отдельным задачам, подвыборок алгоритмических и естественноязычных задач и доверительных интервалов даёт более информативную оценку.

### Чувствительность к промпту и парсеру

Баллы BBH зависят от деталей, которые не являются свойствами самой модели. Формулировки инструкций, порядок демонстраций, включение вариантов ответа, наличие подсказок к рассуждению и максимальная длина генерации могут влиять на результат. Оценка по точному совпадению дополнительно зависит от того, корректно ли парсер извлекает действительный ответ из пояснительного текста.

Модель может рассуждать верно, но потерять балл из-за неожиданного формата метки. Наоборот, модель может сгенерировать некорректное обоснование, за которым следует короткий правильный ответ, и получить полный балл. Стандартная точность BBH, таким образом, измеряет совпадение окончательных ответов, а не верность или логическую обоснованность сгенерированной цепочки рассуждений.

### Языковой и культурный охват

BBH — преимущественно англоязычный бенчмарк. Несколько задач опираются на английскую грамматику, англоязычный юмор, западные развлечения, известные виды спорта или социальные суждения о намерениях и причинности. Задача Salient Translation Error Detection дополнительно предполагает знание перевода с немецкого на английский.

Набор не оценивает всесторонне многоязычные рассуждения, рассуждения в длинном контексте, продвинутую математику, программирование, формальное построение доказательств, мультимодальное восприятие, интерактивное планирование или использование реальных инструментов. Результаты на BBH следует поэтому интерпретировать как данные об ограниченном наборе текстовых задач на рассуждение, а не как общую меру интеллекта.

## BIG-Bench Extra Hard

Чтобы восстановить различительную сложность после начала насыщения BBH, исследователи представили **BIG-Bench Extra Hard** (**BBEH**), опубликованный на ACL 2025. BBEH заменяет каждую из 23 задач BBH заново построенной парой, спроектированной проверять схожую базовую способность, но требующей более длинных входов, большего числа шагов рассуждения, больших пространств выходов или устойчивости к простым ярлыкам<sup>[\[8\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbeh_paper-8)</sup>.

Заменяющие задачи сохраняют широкое разнообразие BBH, но не являются просто большими выборками тех же примеров. Они были перепроектированы для увеличения композиционной и вычислительной сложности. В исходной оценке BBEH сильнейшая модель общего назначения достигла **23,9 %**, а сильнейшая модель, специализированная на рассуждениях, **54,2 %**, оставив существенно больше пространства для улучшения, чем современная оценка BBH<sup>[\[8\]](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_note-bbeh_paper-8)</sup>.

BBEH, следовательно, позиционируется как преемник, а не пересмотрённая система подсчёта баллов BBH. Результаты на двух бенчмарках напрямую не сопоставимы, поскольку их вопросы, пространства ответов, длины входов и распределения сложности различаются.

## Ссылки

- <a href="https://github.com/suzgunmirac/BIG-Bench-Hard" class="external text" rel="nofollow">Официальный репозиторий Big-Bench Hard</a>
- <a href="https://github.com/google/BIG-bench" class="external text" rel="nofollow">Официальный репозиторий BIG-bench</a>
- <a href="https://github.com/google-deepmind/bbeh" class="external text" rel="nofollow">Официальный репозиторий BIG-Bench Extra Hard</a>
- <a href="https://aiwiki.ai/wiki/big-bench-hard" class="external text" rel="nofollow">BIG-Bench Hard — AI Wiki</a>
- <a href="https://systems-analysis.info/eng/Big-Bench_Hard" class="external text" rel="nofollow">Big-Bench Hard — англоязычная версия статьи</a>

## См. также

- [BIG-bench](https://systems-analysis.info/wiki/BIG-bench "BIG-bench")
- [Chain-of-Thought Prompting](https://systems-analysis.info/wiki/Chain-of-Thought_Prompting "Chain-of-Thought Prompting")
- [In-Context Learning](https://systems-analysis.info/wiki/In-Context_Learning "In-Context Learning")
- [Prompt инжиниринг](https://systems-analysis.info/wiki/Prompt_%D0%B8%D0%BD%D0%B6%D0%B8%D0%BD%D0%B8%D1%80%D0%B8%D0%BD%D0%B3 "Prompt инжиниринг")
- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [MMLU-Pro Benchmark](https://systems-analysis.info/wiki/MMLU-Pro_Benchmark "MMLU-Pro Benchmark")

## Литература

- Srivastava, A. et al. (2023). *Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models*. Transactions on Machine Learning Research. <a href="https://openreview.net/forum?id=uyTL5Bvosj" class="external autonumber" rel="nofollow">[9]</a>.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. NeurIPS. <a href="https://arxiv.org/abs/2201.11903" class="external text" rel="nofollow">arXiv:2201.11903</a>.
- Kojima, T. et al. (2022). *Large Language Models are Zero-Shot Reasoners*. NeurIPS. <a href="https://arxiv.org/abs/2205.11916" class="external text" rel="nofollow">arXiv:2205.11916</a>.
- Suzgun, M. et al. (2023). *Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them*. Findings of ACL 2023. <a href="https://aclanthology.org/2023.findings-acl.824/" class="external autonumber" rel="nofollow">[10]</a>.
- Wei, J. et al. (2022). *Emergent Abilities of Large Language Models*. Transactions on Machine Learning Research. <a href="https://openreview.net/forum?id=yzkSU5zdwD" class="external autonumber" rel="nofollow">[11]</a>.
- Kazemi, M. et al. (2025). *BIG-Bench Extra Hard*. ACL 2025. <a href="https://aclanthology.org/2025.acl-long.1285/" class="external autonumber" rel="nofollow">[12]</a>.

## Примечания

1.  <span id="cite_note-bbh_paper-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-9)</sup> <sup>[1,10](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-10)</sup> <sup>[1,11](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-11)</sup> <sup>[1,12](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-12)</sup> <sup>[1,13](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-13)</sup> <sup>[1,14](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-14)</sup> <sup>[1,15](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-15)</sup> <sup>[1,16](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-16)</sup> <sup>[1,17](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_paper_1-17)</sup> Suzgun, M. et al. "Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them". *Findings of the Association for Computational Linguistics: ACL 2023*, pp. 13003–13051. doi:10.18653/v1/2023.findings-acl.824. <a href="https://aclanthology.org/2023.findings-acl.824/" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-bbh_repo-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_repo_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_repo_2-1)</sup> <sup>[2,2](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_repo_2-2)</sup> <sup>[2,3](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_repo_2-3)</sup> <sup>[2,4](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbh_repo_2-4)</sup> Suzgun, M. et al. "BIG-Bench Hard". GitHub repository. <a href="https://github.com/suzgunmirac/BIG-Bench-Hard" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-bigbench_paper-3">[↑](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bigbench_paper_3-0) Srivastava, A. et al. "Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models". *Transactions on Machine Learning Research*, 2023. <a href="https://openreview.net/forum?id=uyTL5Bvosj" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-zero_shot_cot-4">[↑](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-zero_shot_cot_4-0) Kojima, T. et al. "Large Language Models are Zero-Shot Reasoners". *NeurIPS*, 2022. <a href="https://arxiv.org/abs/2205.11916" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-cot_paper-5">[↑](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-cot_paper_5-0) Wei, J. et al. "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models". *NeurIPS*, 2022. <a href="https://arxiv.org/abs/2201.11903" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-palm_score_note-6">[↑](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-palm_score_note_6-0) Сводная таблица статьи в сборнике ACL сообщает 65,2 % для PaLM 540B с промптингом «цепочка мыслей», тогда как итоговая строка таблицы по задачам показывает 63,3 %. Главный результат — что PaLM превзошла средний результат человека на 10 из 23 задач — сформулирован в статье согласованно.</span>
7.  <span id="cite_note-emergent_paper-7">[↑](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-emergent_paper_7-0) Wei, J. et al. "Emergent Abilities of Large Language Models". *Transactions on Machine Learning Research*, 2022. <a href="https://openreview.net/forum?id=yzkSU5zdwD" class="external autonumber" rel="nofollow">[6]</a></span>
8.  <span id="cite_note-bbeh_paper-8">↑ <sup>[8,0](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbeh_paper_8-0)</sup> <sup>[8,1](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbeh_paper_8-1)</sup> <sup>[8,2](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbeh_paper_8-2)</sup> <sup>[8,3](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbeh_paper_8-3)</sup> <sup>[8,4](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-bbeh_paper_8-4)</sup> Kazemi, M. et al. "BIG-Bench Extra Hard". *Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics*, 2025, pp. 26473–26501. doi:10.18653/v1/2025.acl-long.1285. <a href="https://aclanthology.org/2025.acl-long.1285/" class="external autonumber" rel="nofollow">[7]</a></span>
9.  <span id="cite_note-contamination_survey-9">[↑](https://systems-analysis.info/wiki/Big-Bench_Hard#cite_ref-contamination_survey_9-0) Xu, C. et al. "Benchmark Data Contamination of Large Language Models: A Survey". *arXiv:2406.04244*, 2024. <a href="https://arxiv.org/abs/2406.04244" class="external autonumber" rel="nofollow">[8]</a></span>
