---
title: "BIG-bench"
source: "https://systems-analysis.info/wiki/BIG-bench"
wiki: "systems-analysis.info/wiki"
article: "BIG-bench"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
revision_id: 73
wiki_created_at: 2026-09-06T21:54:36Z
wiki_modified_at: 2026-09-06T21:54:36Z
downloaded_at: 2026-09-07T22:17:13Z
---

# BIG-bench

**BIG-bench** (акроним от англ. **Beyond the Imitation Game benchmark**) — это крупномасштабный набор заданий ([бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")), созданный для оценки возможностей и пределов [больших языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM). Проект был разработан в 2021–2022 годах совместными усилиями более 450 исследователей из 132 организаций под эгидой **Google**<sup>[\[1\]](https://systems-analysis.info/wiki/BIG-bench#cite_note-srivastava2022-1)</sup>.

Бенчмарк включает **204 разнообразных задания**, которые охватывают широкий спектр областей: лингвистику, математику, программирование, здравый смысл, биологию, физику и оценку социальных предубеждений. Основная цель BIG-bench — выйти за рамки «игры в имитацию» (теста Тьюринга) и проверить модели на задачах, которые считаются сложными или неразрешимыми для существующих архитектур. Бенчмарк предназначен не только для измерения текущих способностей, но и для экстраполяции их будущих возможностей по мере роста масштаба<sup>[\[2\]](https://systems-analysis.info/wiki/BIG-bench#cite_note-deepgram_summary-2)</sup>.

## Разработка и структура

Инициатором создания BIG-bench выступила группа исследователей из Google, которая организовала открытый сбор заданий от научного сообщества. В результате в итоговый набор вошли 204 задачи от десятков независимых команд. Каждая задача разрабатывалась как вызов для LLM и имеет собственный формат и метрику оценки (например, точность выбора, оценка свободно сгенерированного ответа).

Задания варьируются от стандартных академических вопросов до нестандартных головоломок, таких как:

- Решение математических и логических задач.
- Понимание эмодзи-последовательностей.
- Решение шахматных проблем по текстовому описанию.
- Выявление социальных стереотипов в ответах модели.

Весь бенчмарк и его код находятся в открытом доступе на **GitHub**, что позволяет исследователям тестировать новые модели и предлагать дополнительные задания<sup>[\[3\]](https://systems-analysis.info/wiki/BIG-bench#cite_note-github_repo-3)</sup>.

## Оценка моделей и человеческий базовый уровень

В оригинальной работе 2022 года было проведено масштабное тестирование моделей, включая семейство **[GPT](https://systems-analysis.info/wiki/GPT "GPT")** от OpenAI, а также плотные и разреженные модели от Google, такие как **[PaLM](https://systems-analysis.info/wiki/PaLM "PaLM")** и **Switch Transformers**.

Для сопоставления результатов был установлен **человеческий базовый уровень**. Эксперты-оценщики выполнили все задания, используя доступные им ресурсы. Были определены два показателя:

- **Средний результат экспертов**: около 45/100 в условной нормировке.
- **Лучший результат экспертов**: около 80/100 (когда хотя бы один эксперт решал задачу оптимально).

Даже самые крупные модели того времени значительно уступали людям. Например, лучшие из них (включая GPT-3) набирали лишь около 15/100 баллов, что подчеркнуло сложность заданий и большой потенциал для дальнейшего прогресса<sup>[\[1\]](https://systems-analysis.info/wiki/BIG-bench#cite_note-srivastava2022-1)</sup>.

## Ключевые результаты и выводы

Анализ результатов на BIG-bench выявил несколько ключевых закономерностей:

1.  **Влияние масштаба**. Точность моделей растёт с увеличением количества параметров практически во всех категориях задач.
2.  **Эмергентные способности**. На многих задачах производительность моделей долгое время остаётся на уровне случайного угадывания, но после достижения определённого "критического" масштаба происходит резкий скачок качества. Это явление получило название **эмергентного поведения** (emergent behavior).
3.  **Социальные предубеждения (bias)**. С увеличением размера модели может расти и уровень проявления социальных стереотипов, усвоенных из обучающих данных. Однако было показано, что правильная формулировка запроса (промптинг) может снизить этот эффект.

## Эволюция бенчмарка

По мере того как модели становились мощнее, некоторые задачи BIG-bench переставали быть сложными. Это привело к созданию более трудных поднаборов.

### Big-bench Hard (BBH)

В 2022 году исследователи выделили **23 наиболее сложных задания**, на которых все модели изначально уступали среднему человеческому уровню. Этот набор получил название **BIG-bench Hard (BBH)**. Эксперименты показали, что использование техники **Chain-of-Thought** (CoT) — когда модель генерирует цепочку рассуждений перед ответом — резко повышает производительность. С помощью CoT модель **PaLM** (540 млрд параметров) смогла превзойти средний человеческий результат на 10 из 23 задач, а **Codex** (версия GPT-3) — на 17 из 23<sup>[\[4\]](https://systems-analysis.info/wiki/BIG-bench#cite_note-suzgun2022-4)</sup>.

### Big-bench Extra Hard (BBEH)

К 2024 году, когда даже задачи из BBH стали решаться передовыми моделями, был предложен следующий этап — **BIG-bench Extra Hard (BBEH)**. Авторы из DeepMind заменили каждое из 23 заданий BBH на новое, схожее по типу рассуждений, но значительно более сложное<sup>[\[5\]](https://systems-analysis.info/wiki/BIG-bench#cite_note-arora2025-5)</sup>. Первые тесты на BBEH показали, что даже самые мощные современные LLM далеки от их решения, что обеспечивает долгосрочный вызов для будущих моделей.

### Big-bench Lite (BBL)

Для быстрого и менее ресурсозатратного тестирования была создана облегчённая версия — **BIG-bench Lite (BBL)**. Она представляет собой выборку из **24 задач**, отражающих разнообразие полного набора. BBL позволяет разработчикам оперативно оценивать свои модели и сравнивать их на публичном лидерборде.

## См. также

- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [Оценка LLM](https://systems-analysis.info/wiki/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_LLM "Оценка LLM")
- [MT-Bench benchmark](https://systems-analysis.info/wiki/MT-Bench_benchmark "MT-Bench benchmark")
- [SWE-bench](https://systems-analysis.info/wiki/SWE-bench "SWE-bench")
- [GPT](https://systems-analysis.info/wiki/GPT "GPT")

## Ссылки

- <a href="https://github.com/google/BIG-bench" class="external text" rel="nofollow">Официальный репозиторий BIG-bench на GitHub</a>
- <a href="https://paperswithcode.com/benchmark/big-bench" class="external text" rel="nofollow">Страница BIG-bench на Papers With Code</a>

## Литература

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. <a href="https://arxiv.org/abs/2307.03109" class="external text" rel="nofollow">arXiv:2307.03109</a>.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. <a href="https://arxiv.org/abs/2508.15361" class="external text" rel="nofollow">arXiv:2508.15361</a>.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. <a href="https://arxiv.org/abs/2405.14782" class="external text" rel="nofollow">arXiv:2405.14782</a>.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. <a href="https://arxiv.org/abs/2104.14337" class="external text" rel="nofollow">arXiv:2104.14337</a>.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. <a href="https://arxiv.org/abs/2106.06052" class="external text" rel="nofollow">arXiv:2106.06052</a>.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. <a href="https://arxiv.org/abs/2101.04840" class="external text" rel="nofollow">arXiv:2101.04840</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. <a href="https://arxiv.org/abs/2506.11094" class="external text" rel="nofollow">arXiv:2506.11094</a>.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. <a href="https://arxiv.org/abs/2403.04132" class="external text" rel="nofollow">arXiv:2403.04132</a>.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. <a href="https://arxiv.org/abs/2311.17295" class="external text" rel="nofollow">arXiv:2311.17295</a>.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. <a href="https://arxiv.org/abs/2311.05232" class="external text" rel="nofollow">arXiv:2311.05232</a>.

## Примечания

1.  <span id="cite_note-srivastava2022-1">↑ <sup>[1,0](https://systems-analysis.info/wiki/BIG-bench#cite_ref-srivastava2022_1-0)</sup> <sup>[1,1](https://systems-analysis.info/wiki/BIG-bench#cite_ref-srivastava2022_1-1)</sup> Srivastava, A., et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». *arXiv:2206.04615*. <a href="https://arxiv.org/abs/2206.04615" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-deepgram_summary-2">[↑](https://systems-analysis.info/wiki/BIG-bench#cite_ref-deepgram_summary_2-0) «BIG-Bench: The New Benchmark for Language Models». *Deepgram*. <a href="https://deepgram.com/learn/big-bench-llm-benchmark-guide" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-github_repo-3">[↑](https://systems-analysis.info/wiki/BIG-bench#cite_ref-github_repo_3-0) «google/BIG-bench». *GitHub*. <a href="https://github.com/google/BIG-bench" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-suzgun2022-4">[↑](https://systems-analysis.info/wiki/BIG-bench#cite_ref-suzgun2022_4-0) Suzgun, M., et al. «Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them». *arXiv:2210.09261*. <a href="https://arxiv.org/abs/2210.09261" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-arora2025-5">[↑](https://systems-analysis.info/wiki/BIG-bench#cite_ref-arora2025_5-0) Arora, S., et al. «BIG-Bench Extra Hard». *arXiv:2502.19187*. <a href="https://arxiv.org/abs/2502.19187" class="external autonumber" rel="nofollow">[5]</a></span>