Бенчмарки LLM
Бенчмарки больших языковых моделей — это стандартизированные наборы тестов, предназначенные для измерения, сравнения и оценки качества и возможностей больших языковых моделей (LLM)[1]. Обычно каждый бенчмарк представляет собой фиксированный набор задач (например, вопросы, тексты или инструкции), для которых заранее известны правильные ответы или критерии оценки. Такой подход обеспечивает объективное сравнение разных моделей в одинаковых условиях, позволяя отслеживать прогресс в области и выявлять сильные и слабые стороны моделей[2].
Регулярное использование бенчмарков играет ключевую роль в развитии LLM, стимулируя разработчиков улучшать модели и обеспечивая прозрачность и сопоставимость результатов в научном сообществе. Эволюция бенчмарков отражает развитие самих LLM: от простых задач на понимание языка до комплексных тестов, проверяющих многошаговые рассуждения, здравый смысл, этику и безопасность[3].
Основные категории и примеры
Бенчмарки LLM охватывают разнообразные навыки и области применения. Ниже рассмотрены основные категории и наиболее известные наборы задач в каждой из них.
Общее языковое понимание
Эта категория оценивает базовые способности модели к пониманию и интерпретации естественного языка.
- GLUE (General Language Understanding Evaluation, 2019) — один из первых комплексных бенчмарков, включающий ряд разноплановых задач: от определения тональности до оценки логической связности текста. Результаты по всем заданиям агрегируются в единый балл, что позволило сравнивать ранние модели по их суммарной эффективности[4].
- SuperGLUE (2019) — «усиленный» преемник GLUE, разработанный в ответ на то, что модели быстро достигли на нём уровня, близкого к человеческому. SuperGLUE включает более трудные задачи, требующие глубокого понимания контекста и умения делать выводы[5].
- WinoGrande (2019) — расширенный вариант викторины Winograd Schema. Содержит 44 тысячи заданий на разрешение неоднозначных местоимений в предложениях, требующих здравого смысла для выбора правильной интерпретации[6].
Мультизадачные и комплексные бенчмарки
Эти наборы проверяют модели на широком спектре знаний и умений, выходя за рамки чисто лингвистических задач.
- MMLU (Massive Multitask Language Understanding, 2020) — сборник задач в виде викторины, охватывающий 57 предметных областей: от школьных дисциплин до узкоспециализированных профессиональных знаний (юриспруденция, медицина). MMLU измеряет широту эрудиции модели[7].
- MMLU-Pro (2024) — прямое развитие MMLU, отвечающее на его насыщение: 57 исходных предметов объединены в 14 дисциплин, число вариантов ответа увеличено с четырёх до десяти (в среднем 9,47), лёгкие и некорректно размеченные вопросы удалены, добавлены более сложные задачи на рассуждения из STEM-источников; 12 032 вопроса, прирост роли промптинга «цепочкой мыслей» (GPT-4o: 53,5 % → 72,6 %)[8].
- BIG-bench (Beyond the Imitation Game Benchmark, 2022) — крупнейший на момент создания коллаборативный бенчмарк, разработанный более чем 400 авторами. Он включает свыше 200 задач на самые разные темы, от лингвистики до физики, чтобы проверить модели за пределами шаблонного соответствия и выявить их границы в нестандартных ситуациях[9].
- Big-Bench Hard (2022) — поднабор из 23 задач BIG-bench, отобранных по признаку, что сильнейшие модели не превзошли на них средний результат человека; стал стандартным бенчмарком многошаговых рассуждений и влияния промптинга «цепочка мыслей» (CoT): Codex с CoT достиг 73,9 % против среднего человеческого 67,7 %; к 2024 году бенчмарк насыщен (результаты frontier-моделей выше 90 %), преемник — BIG-Bench Extra Hard (BBEH)[10].
- HELM (Holistic Evaluation of Language Models, 2022) — открытый фреймворк оценки и семейство бенчмарков Стэнфордского центра CRFM: широкое покрытие (42 сценария: 16 основных и 26 целевых), семь категорий метрик (точность, калибровка, робастность, справедливость, предвзятость, токсичность, эффективность), стандартизированные промпты и публикации всех ответов моделей; позднее развился в наборы HELM Lite, HELM Safety, HELM Capabilities и мультимодальные расширения (VHELM, HEIM, MedHELM, AHELM)[11].
Научное рассуждение
- GPQA Diamond (2023) — самый сложный поднабор (198 вопросов) бенчмарка GPQA: вопросы аспирантского уровня по биологии, физике и химии, составленные так, что ответы нельзя найти поиском в интернете («Google-proof»). Эксперты уровня PhD набирают на Diamond 69,7 %, а сильнейшие модели к 2026 году превысили 93 %, что делает бенчмарк в значительной мере насыщенным[12].
Абстрактное рассуждение
- ARC-AGI-2 (2025) — бенчмарк few-shot-абстрактного рассуждения на задачах преобразования цветных сеток, откалиброванный на человеческом тестировании (407 участников). Преемник ARC-AGI-1: каждая оценочная задача решается не менее чем двумя людьми за две попытки, а средняя человеческая точность составляет около 66 %. В июле 2026 года GPT-5.6 Sol в режиме максимального рассуждения показала верифицированный результат 92,5 %[13].
Мультимодальные бенчмарки
Эта категория оценивает способности моделей одновременно обрабатывать изображения, схемы и текст и рассуждать на их основе.
- MMMU (2023) — мультимодальный бенчмарк вузовского уровня: 11 550 вопросов «изображение + текст» по шести дисциплинам (искусство и дизайн, бизнес, естественные науки, медицина, гуманитарные науки, техника), 30 предметам и 183 подобластям, с 30 гетерогенными типами изображений. Проверяет восприятие, знания и рассуждение; позиционируется как мультимодальный аналог MMLU[14].
- MMMU-Pro (2024) — более устойчивая и сложная версия MMMU: исключены вопросы, решаемые чисто текстовыми моделями, число вариантов увеличено до десяти, добавлена конфигурация только с визуальным входом; 1 730 вопросов (3 460 заданий в двух форматах)[15].
Здравый смысл и правдивость
Эти бенчмарки оценивают способность модели делать логичные выводы о повседневных ситуациях и избегать распространения ложной информации.
- HellaSwag (2019) — проверяет здравый смысл через задачу выбора наиболее правдоподобного завершения для описания ситуации. Особенность бенчмарка — наличие «ловушек»: неправильные ответы сгенерированы автоматически и выглядят очень правдоподобно, что требует от модели глубокого понимания контекста[16].
- TruthfulQA (2021) — измеряет склонность модели распространять популярные мифы и заблуждения. Содержит вопросы, где распространённый в интернете ответ является неверным (например, «Вызывают ли вакцины аутизм?»). От модели требуется не поддаться ложным стереотипам и дать фактически корректный ответ[17].
Математические задачи
- GSM8K (2021) — включает тысячи текстовых задач по математике уровня начальной школы. Каждая задача требует выполнения последовательности из 2–8 арифметических шагов для получения ответа, что проверяет способность модели к многошаговым рассуждениям[18].
- MATH (2021) — более сложный набор, состоящий из задач с математических олимпиад и конкурсов. Он включает разделы алгебры, геометрии и теории чисел, требуя от модели владения нетривиальными методами решения[19].
- MATH-500 (2023) — компактный поднабор из 500 задач из тестовой части MATH, отобранный случайно в исследовании OpenAI «Let's Verify Step by Step» и ставший стандартной оценкой многошаговых математических рассуждений[20].
- FrontierMath (2024) — бенчмарк организации Epoch AI, построенный из оригинальных задач исследовательского уровня, написанных более чем 60 математиками и не публиковавшихся до включения в набор. Задачи требуют продвинутого математического рассуждения, а ответы проверяются автоматически; большинство коллекции (Tiers 1–4) приватно для защиты от загрязнения данных[21].
Генерация программного кода
- HumanEval (2021) — стандартный тест для оценки способности LLM писать код. Содержит 164 задачи по программированию, где модель должна сгенерировать корректный код на Python по заданному описанию. Правильность оценивается с помощью юнит-тестов[22].
- SWE-bench (2023) — более реалистичный бенчмарк, собирающий описания реальных проблем (issues) с GitHub. Модель должна сгенерировать патч (фрагмент кода), устраняющий проблему. Это требует понимания большого объёма чужого кода и сложного пошагового рассуждения[23].
- SWE-bench Verified (2024) — прошедшее ручную валидацию подмножество из 500 задач SWE-bench, созданное OpenAI совместно с авторами исходного бенчмарка для устранения недоопределённых, некорректно проверяемых и нерешаемых задач; в феврале 2026 года OpenAI прекратила публикацию результатов из-за загрязнения обучающих данных[24].
- SWE-bench Pro (2025) — бенчмарк от Scale AI для оценки ИИ-агентов на длинногоризонтных задачах программной инженерии: 1 865 задач из 41 репозитория (Python, Go, JavaScript, TypeScript), публичный, отложенный и приватный коммерческий поднаборы; задачи взяты из копилефт- и проприетарных кодовых баз для снижения загрязнения обучающих данных, лучшие модели на запуске решали лишь около 23 % публичных задач[25].
- SciCode (2024) — бенчмарк научного программирования: 80 задач из реальных исследовательских процессов в 16 подобластях естественных наук, декомпозированных на 338 подзадач. Основная задача считается решённой, только если пройдены тесты всех её подзадач; на момент выпуска лучшая модель решала лишь однозначные проценты основных задач[26].
- LiveCodeBench (2024) — непрерывно версионируемый бенчмарк генерации кода на свежих задачах контестов LeetCode, AtCoder и Codeforces (1055 задач в релизе release_v6, май 2023 — апрель 2025). Каждая задача снабжена датой публикации, что позволяет оценивать модели только на задачах после их заявленного среза знаний и снижать влияние загрязнения обучающих данных; поддерживает сценарии генерации кода, самоисправления, выполнения кода и предсказания вывода тестов, метрики pass@1 и pass@5[27].
Агентные бенчмарки
Эти бенчмарки оценивают автономных ИИ-агентов на многошаговых задачах в реальных вычислительных средах.
- Terminal-Bench (2025) — бенчмарк агентных возможностей в терминале командной строки: агент работает в Docker-песочнице, а успех проверяется тестами по финальному состоянию среды. Разработан Стэнфордским университетом и Laude Institute; версия 2.0 (ноябрь 2025) включает 89 задач в 16 категориях с целевым «потолком» в 50 % для frontier-систем[28].
- Τ-bench (2024) — бенчмарк диалоговых агентов службы поддержки в двух синтетических доменах (розница и авиакомпания): клиент симулируется LLM, агент работает с API-инструментами и документом доменной политики, а успех проверяется сравнением конечного состояния базы данных с целевым. Ввёл метрику надёжности
pass^k, требующую успеха во всех k повторных прогонах одной задачи; семейство развилось в τ²-bench (двойное управление) и τ³-bench (голос и знания)[29].
- OSWorld (2024) — бенчмарк мультимодальных агентов для открытых задач в реальных компьютерных средах: 369 задач Ubuntu и 43 задачи Windows в виртуализированных ОС, действия мыши и клавиатуры, оценка на основе исполнения; разработан XLANG Lab (Tianbao Xie и коллеги), NeurIPS 2024; версии OSWorld-Verified (июль 2025) и OSWorld 2.0 (июнь 2026) с 108 длинногоризонтными рабочими процессами[30].
- GDPval-AA v2 (2026) — агентный бенчмарк компании Artificial Analysis на «золотом» 220-задачном поднаборе GDPval от OpenAI (44 профессии, 9 отраслей ВВП США): модель действует как агент в песочнице на открытом harness Stirrup (веб-поиск, исполнение кода, до 250 ходов) и создаёт готовые результаты работы, которые вслепую сравниваются панелью из трёх LLM-судей; итог — Elo-рейтинг с опорой на уровень человеческих экспертов (≈1000); самый взвешенный компонент (20 %) Intelligence Index v4.1[31].
Оценка диалоговых моделей
- Chatbot Arena (2024) — открытая онлайн-платформа, где две анонимные модели участвуют в парном диалоге с пользователем. После диалога пользователь голосует, чей ответ был лучше. На основе тысяч таких «дуэлей» формируется рейтинг Эло предпочтений пользователей, который отражает качество моделей в живом общении[32].
- MT-Bench (2023) — автоматизированный бенчмарк для стресс-тестирования диалоговых умений. Он содержит 80 пар вопросов, имитирующих многоходовой диалог. Ответы моделей оцениваются другой, более мощной LLM («LLM-as-a-judge», например GPT-4) по заранее заданной шкале[33].
Следование инструкциям
- IFEval (2023) — бенчмарк из 541 промпта с 25 типами проверяемых инструкций (формат, длина, язык, ключевые слова): успех проверяется детерминированными чекерами, а не эталонным ответом или LLM-судьёй. Широко используется в модельных карточках и лидербордах; расширения Multi-IF, M-IFEval, IFBench и IFEval++ добавляют многоязычность, многоходовость и невиданные типы ограничений[34].
Безопасность и надёжность
- AgentHarm (2024) — бенчмарк, оценивающий склонность LLM-агентов выполнять опасные инструкции. Он включает 110 сценариев, представляющих злонамеренные задачи (от мошенничества до киберпреступлений). Хорошая модель должна отказывать в выполнении таких запросов[35].
- SafetyBench (2023) — широкий набор из более чем 11 тысяч вопросов, проверяющих, насколько последовательно модель избегает генерации неприемлемого контента и вредных советов, в том числе на провокационные запросы[36].
Ограничения и актуальные проблемы
- Контаминация данных: Главная угроза достоверности оценки — утечка тестовых данных в обучающие наборы. Модель может просто запомнить ответы, что искусственно завышает её результат[2].
- Насыщение бенчмарков: По мере развития моделей их производительность на старых бенчмарках (как GLUE) достигает потолка, и тест перестаёт быть полезным для различения новых, более мощных моделей. Это требует постоянной разработки более сложных эталонов[2].
- Разрыв с реальностью: Высокие результаты на бенчмарках не всегда гарантируют надёжную работу модели в реальных, неструктурированных сценариях. Реальная среда часто богаче и непредсказуемее любого фиксированного набора задач[1].
См. также
Ссылки
Примечания
- ↑ 1,0 1,1 «What Are LLM Benchmarks?». IBM. [1]
- ↑ 2,0 2,1 2,2 «20 LLM evaluation benchmarks and how they work». Evidently AI. [2]
- ↑ «Самые популярные LLM бенчмарки». Хабр. [3]
- ↑ Wang, Alex; Singh, Amanpreet; Michael, Julian; et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv. [4]
- ↑ Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». arXiv. [5]
- ↑ Sakaguchi, Keisuke; Le Bras, Ronan; Bhagavatula, Chandra; Choi, Yejin. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv. [6]
- ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; et al. «Measuring Massive Multitask Language Understanding». arXiv. [7]
- ↑ Wang, Y. et al. «MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark». arXiv. [8]
- ↑ Srivastava, Aarohi; et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». arXiv. [9]
- ↑ Suzgun, M. et al. «Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them». arXiv. [10]
- ↑ Liang, P. et al. «Holistic Evaluation of Language Models». arXiv. [11]
- ↑ Rein, D. et al. «GPQA: A Graduate-Level Google-Proof Q&A Benchmark». arXiv. [12]
- ↑ Chollet, F.; Knoop, M.; Kamradt, G.; Landers, B.; Pinkard, H. «ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems». arXiv. [13]
- ↑ Yue, X. et al. «MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI». arXiv. [14]
- ↑ Yue, X. et al. «MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark». arXiv. [15]
- ↑ Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv. [16]
- ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain. «TruthfulQA: Measuring How Models Mimic Human Falsehoods». arXiv. [17]
- ↑ Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; et al. «Training Verifiers to Solve Math Word Problems». arXiv. [18]
- ↑ Hendrycks, Dan; Burns, Collin; Saund, Saurav; et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv. [19]
- ↑ Lightman, Hunter; Kosaraju, Vineet; Burda, Yura; et al. «Let's Verify Step by Step». arXiv. [20]
- ↑ Glazer, Elliot et al. «FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI». arXiv. [21]
- ↑ Chen, Mark; Tworek, Jerry; Jun, Heewoo; et al. «Evaluating Large Language Models Trained on Code». arXiv. [22]
- ↑ Jimenez, Carlos E.; et al. «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?». arXiv. [23]
- ↑ OpenAI «Introducing SWE-bench Verified». OpenAI. [24]
- ↑ Deng, Xiang et al. «SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?». arXiv. [25]
- ↑ Tian, M., Gao, L., Zhang, S. D. et al. «SciCode: A Research Coding Benchmark Curated by Scientists». arXiv. [26]
- ↑ Jain, N. et al. «LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code». arXiv. [27]
- ↑ Merrill, M. A., Shaw, A. G., Carlini, N. et al. «Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces». arXiv. [28]
- ↑ Yao, S.; Shinn, N.; Razavi, P.; Narasimhan, K. «τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains». arXiv. [29]
- ↑ Xie, T. et al. "OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments". Advances in Neural Information Processing Systems 37, 2024. NeurIPS proceedings; arXiv:2404.07972.
- ↑ Patwardhan, T. et al. «GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks». arXiv. [30]
- ↑ Chiang, Wei-Lin; et al. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preferences». lmsys.org. [31]
- ↑ Zheng, Lianmin; et al. «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena». arXiv. [32]
- ↑ Zhou, J. et al. «Instruction-Following Evaluation for Large Language Models». arXiv. [33]
- ↑ Andriushchenko, Maksym; et al. «AgentHarm: A Benchmark for Asessing Agentic AI Harm». arXiv. [34]
- ↑ Zhang, Zhexin; et al. «SafetyBench: A Comprehensive Benchmark for Evaluating the Safety of Large Language Models». arXiv. [35]