---
title: "GLUE benchmark"
source: "https://systems-analysis.info/wiki/GLUE_benchmark"
wiki: "systems-analysis.info/wiki"
article: "GLUE_benchmark"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Бенчмарки LLM"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
revision_id: 107
wiki_created_at: 2026-09-06T21:55:08Z
wiki_modified_at: 2026-09-06T21:55:08Z
downloaded_at: 2026-09-07T22:17:27Z
---

# GLUE benchmark

**GLUE** (акроним от **General Language Understanding Evaluation**, «Общая оценка понимания языка») — это мультизадачный [бенчмарк](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM") для оценки качества моделей обработки естественного языка (NLU). Бенчмарк был предложен в 2018 году группой исследователей из Нью-Йоркского университета, Университета Вашингтона и DeepMind, включая **Алекса Вана** и **Сэмюэла Боумана**, и получил широкое распространение в исследовательском сообществе<sup>[\[1\]](https://systems-analysis.info/wiki/GLUE_benchmark#cite_note-glue_paper-1)</sup>.

Основная цель GLUE — предоставить единый, нейтральный и сложный тестовый комплекс для сравнительной оценки возможностей NLU-моделей на разнообразном наборе задач, выходящих за рамки одной конкретной области. Бенчмарк включает онлайн-платформу с **лидербордом** (таблицей рекордов), которая обеспечивает объективное сравнение моделей и предотвращает подгонку под тестовые данные, так как истинные метки для части тестов не публикуются и доступны только через сервер оценки. Предполагается, что для достижения высоких результатов модель должна уметь извлекать универсальные языковые представления и эффективно переносить знания между различными типами задач.

## Состав и задачи бенчмарка

Бенчмарк GLUE объединяет девять различных задач по пониманию языка, основанных на уже существующих и сложных для ИИ датасетах. Все задачи сформулированы как классификация или регрессия над одним предложением либо парой предложений<sup>[\[1\]](https://systems-analysis.info/wiki/GLUE_benchmark#cite_note-glue_paper-1)</sup>.

- **CoLA** (*Corpus of Linguistic Acceptability*) — задача определения грамматической приемлемости предложения. Метрика качества — Коэффициент корреляции Мэтьюса.
- **SST-2** (*Stanford Sentiment Treebank*) — задача определения тональности (положительной/отрицательной) отзыва на фильм. Метрика — точность (*accuracy*).
- **MRPC** (*Microsoft Research Paraphrase Corpus*) — задача выявления перефраз в паре предложений из новостных источников. Метрики — точность и F1-мера.
- **QQP** (*Quora Question Pairs*) — задача определения дубликатов вопросов из сообщества Quora. Метрики — точность и F1-мера.
- **STS-B** (*Semantic Textual Similarity Benchmark*) — задача семантического сопоставления двух предложений. Модель должна предсказать степень смысловой близости по шкале от 1 до 5. Метрики — коэффициент корреляции Пирсона и Спирмена.
- **MNLI** (*Multi-Genre Natural Language Inference*) — задача распознавания текстового следствия на примере пар предложений из разножанровых источников (вывод, противоречие, нейтральность). Результаты оцениваются отдельно на совпадающем (*matched*) и несовпадающем (*mismatched*) поднаборах.
- **QNLI** (*Question Natural Language Inference*) — задача, полученная преобразованием датасета SQuAD. Требуется определить, содержит ли предложение из абзаца ответ на заданный вопрос.
- **RTE** (*Recognizing Textual Entailment*) — совокупный датасет по текстовому следствию, объединяющий несколько небольших коллекций. Задача — бинарно классифицировать отношение между предложениями.
- **WNLI** (*Winograd NLI*) — модифицированная версия схемы Винограда, адаптированная под формат NLI. Задача на разрешение анафоры: системе даётся предложение с неоднозначным местоимением, и нужно указать, к какому из двух объектов оно относится.

## Методика оценивания

Для оценки на GLUE исследователи отправляют предсказания своей модели на специальный сервер, после чего получают автоматический расчёт метрик по каждой задаче и сводный балл.

- **GLUE-score** — итоговый показатель, который вычисляется как среднее значение результатов по всем девяти основным задачам.
- **Лидерборд** — публичная таблица, которая отражает актуальное состояние дел и показывает, какие модели лучше справляются с NLU-задачами. Использование скрытых тестовых наборов обеспечивает честное сравнение.
- **Диагностический набор** — специальный набор из 1100 примеров, вручную аннотированных экспертами для тонкого лингвистического анализа. Он не влияет на рейтинг, а служит инструментом качественного анализа для проверки, какие языковые феномены (лексическая семантика, логика, здравый смысл) модель умеет распознавать, а с какими у неё возникают трудности<sup>[\[1\]](https://systems-analysis.info/wiki/GLUE_benchmark#cite_note-glue_paper-1)</sup>.

## Результаты и влияние на индустрию

При запуске GLUE в 2018 году лучшие на тот момент модели (например, BiLSTM с ELMo) достигали совокупного результата около **70 баллов** (по шкале 0–100), что было существенно ниже человеческого уровня (около 87 баллов)<sup>[\[2\]](https://systems-analysis.info/wiki/GLUE_benchmark#cite_note-human_vs_muppet-2)</sup>.

Появление GLUE и открытого лидерборда стимулировало бурный прогресс в области трансферного обучения в NLP.

- К маю 2019 года, менее чем за год, новое поколение моделей, основанных на трансформерах (в первую очередь, [BERT](https://systems-analysis.info/wiki/BERT "BERT")), подняло планку *state-of-the-art* до **83.9 баллов**.
- Во второй половине 2019 года бенчмарк GLUE был фактически «пройден»: лучшие системы вплотную приблизились к человеческому уровню, а на некоторых задачах даже превзошли его<sup>[\[3\]](https://systems-analysis.info/wiki/GLUE_benchmark#cite_note-w4ngatang_superglue-3)</sup>.

GLUE сыграл огромную роль как **единая точка отсчёта** в развитии моделей понимания языка. Благодаря ему исследователи смогли напрямую сравнивать разные архитектуры на комплексном наборе задач, выявлять сильные и слабые стороны подходов и быстро обмениваться достижениями через публичный лидерборд.

## SuperGLUE: последующее развитие

Стремительный успех GLUE привёл к тому, что уже через год тот же коллектив авторов при участии коллег из Facebook AI представил новый, более сложный комплекс под названием **[SuperGLUE](https://systems-analysis.info/wiki/SuperGLUE "SuperGLUE")**<sup>[\[4\]](https://systems-analysis.info/wiki/GLUE_benchmark#cite_note-venturebeat_superglue-4)</sup>.

SuperGLUE был анонсирован в конце 2019 года как «более цепкий» (*stickier*) набор тестов, призванный снова создать задел между возможностями современных моделей и человека. В него были включены восемь задач, требующих ещё более глубокого понимания языка, а также улучшен инструментарий и правила для участников. Хотя GLUE продолжает использоваться как базовый тест, основной фокус соревновательного улучшения сместился на SuperGLUE и другие, более специализированные, бенчмарки.

## См. также

- [Бенчмарки LLM](https://systems-analysis.info/wiki/%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8_LLM "Бенчмарки LLM")
- [SuperGLUE](https://systems-analysis.info/wiki/SuperGLUE "SuperGLUE")
- [Оценка LLM](https://systems-analysis.info/wiki/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_LLM "Оценка LLM")
- [HumanEval benchmark](https://systems-analysis.info/wiki/HumanEval_benchmark "HumanEval benchmark")
- [MATH benchmark](https://systems-analysis.info/wiki/MATH_benchmark "MATH benchmark")

## Ссылки

- <a href="https://gluebenchmark.com/" class="external text" rel="nofollow">Официальный сайт GLUE Benchmark</a>
- <a href="https://paperswithcode.com/dataset/glue" class="external text" rel="nofollow">Страница GLUE на Papers With Code с результатами моделей</a>

## Литература

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. <a href="https://arxiv.org/abs/2307.03109" class="external text" rel="nofollow">arXiv:2307.03109</a>.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. <a href="https://arxiv.org/abs/2508.15361" class="external text" rel="nofollow">arXiv:2508.15361</a>.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. <a href="https://arxiv.org/abs/2405.14782" class="external text" rel="nofollow">arXiv:2405.14782</a>.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. <a href="https://arxiv.org/abs/2104.14337" class="external text" rel="nofollow">arXiv:2104.14337</a>.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. <a href="https://arxiv.org/abs/2106.06052" class="external text" rel="nofollow">arXiv:2106.06052</a>.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. <a href="https://arxiv.org/abs/2101.04840" class="external text" rel="nofollow">arXiv:2101.04840</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. <a href="https://arxiv.org/abs/2506.11094" class="external text" rel="nofollow">arXiv:2506.11094</a>.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. <a href="https://arxiv.org/abs/2403.04132" class="external text" rel="nofollow">arXiv:2403.04132</a>.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. <a href="https://arxiv.org/abs/2311.17295" class="external text" rel="nofollow">arXiv:2311.17295</a>.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. <a href="https://arxiv.org/abs/2311.05232" class="external text" rel="nofollow">arXiv:2311.05232</a>.

## Примечания

1.  <span id="cite_note-glue_paper-1">↑ <sup>[1,0](https://systems-analysis.info/wiki/GLUE_benchmark#cite_ref-glue_paper_1-0)</sup> <sup>[1,1](https://systems-analysis.info/wiki/GLUE_benchmark#cite_ref-glue_paper_1-1)</sup> <sup>[1,2](https://systems-analysis.info/wiki/GLUE_benchmark#cite_ref-glue_paper_1-2)</sup> Wang, A. et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». *arXiv:1804.07461*, 2019. <a href="https://arxiv.org/abs/1804.07461" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-human_vs_muppet-2">[↑](https://systems-analysis.info/wiki/GLUE_benchmark#cite_ref-human_vs_muppet_2-0) Bowman, S. R. et al. «Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark». *arXiv:1905.10425*, 2019. <a href="https://arxiv.org/abs/1905.10425" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-w4ngatang_superglue-3">[↑](https://systems-analysis.info/wiki/GLUE_benchmark#cite_ref-w4ngatang_superglue_3-0) Wang, A. et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». *NeurIPS 2019*. <a href="https://w4ngatang.github.io/static/papers/superglue.pdf" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-venturebeat_superglue-4">[↑](https://systems-analysis.info/wiki/GLUE_benchmark#cite_ref-venturebeat_superglue_4-0) «AI models from Microsoft and Google already surpass human performance on the SuperGLUE language benchmark». *VentureBeat*. <a href="https://venturebeat.com/business/ai-models-from-microsoft-and-google-already-surpass-human-performance-on-the-superglue-language-benchmark/" class="external autonumber" rel="nofollow">[4]</a></span>