BIG-bench

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

BIG-bench (акроним от англ. Beyond the Imitation Game benchmark) — это крупномасштабный набор заданий (бенчмарк), созданный для оценки возможностей и пределов больших языковых моделей (LLM). Проект был разработан в 2021–2022 годах совместными усилиями более 450 исследователей из 132 организаций под эгидой Google[1].

Бенчмарк включает 204 разнообразных задания, которые охватывают широкий спектр областей: лингвистику, математику, программирование, здравый смысл, биологию, физику и оценку социальных предубеждений. Основная цель BIG-bench — выйти за рамки «игры в имитацию» (теста Тьюринга) и проверить модели на задачах, которые считаются сложными или неразрешимыми для существующих архитектур. Бенчмарк предназначен не только для измерения текущих способностей, но и для экстраполяции их будущих возможностей по мере роста масштаба[2].

Разработка и структура

Инициатором создания BIG-bench выступила группа исследователей из Google, которая организовала открытый сбор заданий от научного сообщества. В результате в итоговый набор вошли 204 задачи от десятков независимых команд. Каждая задача разрабатывалась как вызов для LLM и имеет собственный формат и метрику оценки (например, точность выбора, оценка свободно сгенерированного ответа).

Задания варьируются от стандартных академических вопросов до нестандартных головоломок, таких как:

  • Решение математических и логических задач.
  • Понимание эмодзи-последовательностей.
  • Решение шахматных проблем по текстовому описанию.
  • Выявление социальных стереотипов в ответах модели.

Весь бенчмарк и его код находятся в открытом доступе на GitHub, что позволяет исследователям тестировать новые модели и предлагать дополнительные задания[3].

Оценка моделей и человеческий базовый уровень

В оригинальной работе 2022 года было проведено масштабное тестирование моделей, включая семейство GPT от OpenAI, а также плотные и разреженные модели от Google, такие как PaLM и Switch Transformers.

Для сопоставления результатов был установлен человеческий базовый уровень. Эксперты-оценщики выполнили все задания, используя доступные им ресурсы. Были определены два показателя:

  • Средний результат экспертов: около 45/100 в условной нормировке.
  • Лучший результат экспертов: около 80/100 (когда хотя бы один эксперт решал задачу оптимально).

Даже самые крупные модели того времени значительно уступали людям. Например, лучшие из них (включая GPT-3) набирали лишь около 15/100 баллов, что подчеркнуло сложность заданий и большой потенциал для дальнейшего прогресса[1].

Ключевые результаты и выводы

Анализ результатов на BIG-bench выявил несколько ключевых закономерностей:

  1. Влияние масштаба. Точность моделей растёт с увеличением количества параметров практически во всех категориях задач.
  2. Эмергентные способности. На многих задачах производительность моделей долгое время остаётся на уровне случайного угадывания, но после достижения определённого "критического" масштаба происходит резкий скачок качества. Это явление получило название эмергентного поведения (emergent behavior).
  3. Социальные предубеждения (bias). С увеличением размера модели может расти и уровень проявления социальных стереотипов, усвоенных из обучающих данных. Однако было показано, что правильная формулировка запроса (промптинг) может снизить этот эффект.

Эволюция бенчмарка

По мере того как модели становились мощнее, некоторые задачи BIG-bench переставали быть сложными. Это привело к созданию более трудных поднаборов.

Big-bench Hard (BBH)

В 2022 году исследователи выделили 23 наиболее сложных задания, на которых все модели изначально уступали среднему человеческому уровню. Этот набор получил название BIG-bench Hard (BBH). Эксперименты показали, что использование техники Chain-of-Thought (CoT) — когда модель генерирует цепочку рассуждений перед ответом — резко повышает производительность. С помощью CoT модель PaLM (540 млрд параметров) смогла превзойти средний человеческий результат на 10 из 23 задач, а Codex (версия GPT-3) — на 17 из 23[4].

Big-bench Extra Hard (BBEH)

К 2024 году, когда даже задачи из BBH стали решаться передовыми моделями, был предложен следующий этап — BIG-bench Extra Hard (BBEH). Авторы из DeepMind заменили каждое из 23 заданий BBH на новое, схожее по типу рассуждений, но значительно более сложное[5]. Первые тесты на BBEH показали, что даже самые мощные современные LLM далеки от их решения, что обеспечивает долгосрочный вызов для будущих моделей.

Big-bench Lite (BBL)

Для быстрого и менее ресурсозатратного тестирования была создана облегчённая версия — BIG-bench Lite (BBL). Она представляет собой выборку из 24 задач, отражающих разнообразие полного набора. BBL позволяет разработчикам оперативно оценивать свои модели и сравнивать их на публичном лидерборде.

См. также

Ссылки

Литература

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Примечания

  1. ↑ 1,0 1,1 Srivastava, A., et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». arXiv:2206.04615. [1]
  2. ↑ «BIG-Bench: The New Benchmark for Language Models». Deepgram. [2]
  3. ↑ «google/BIG-bench». GitHub. [3]
  4. ↑ Suzgun, M., et al. «Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them». arXiv:2210.09261. [4]
  5. ↑ Arora, S., et al. «BIG-Bench Extra Hard». arXiv:2502.19187. [5]
Источник — https://systems-analysis.info/wiki/index.php?title=BIG-bench&oldid=73