--- title: "GLUE Benchmark (BG)" source: "https://systems-analysis.info/int/GLUE_Benchmark_(BG)" wiki: "systems-analysis.info/int" article: "GLUE_Benchmark_(BG)" language: "bg" categories: - "Category:Bulgarian" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 2417 wiki_created_at: 2026-09-06T23:03:43Z wiki_modified_at: 2026-09-06T23:03:43Z downloaded_at: 2026-09-07T22:51:04Z --- # GLUE Benchmark (BG) **GLUE** (акроним от **General Language Understanding Evaluation**, „Обща оценка на разбирането на език") — това е мултизадачен benchmark за оценка на качеството на модели за обработка на естествен език (NLU). Benchmark-ът е предложен през 2018 година от група изследователи от Нюйоркския университет, Университета на Вашингтон и DeepMind, включително **Алекс Уанг** и **Самюъл Боуман**, и получи широко разпространение в изследователската общност[\[1\]](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_note-glue_paper-1). Основната цел на GLUE е да предостави единен, неутрален и сложен тестов комплекс за сравнителна оценка на възможностите на NLU-моделите върху разнообразен набор от задачи, излизащи извън рамките на една конкретна област. Benchmark-ът включва онлайн платформа с **лидерборд** (таблица с рекорди), която осигурява обективно сравнение на моделите и предотвратява нагаждането към тестовите данни, тъй като истинските етикети за част от тестовете не се публикуват и са достъпни само чрез сървъра за оценяване. Предполага се, че за постигане на високи резултати моделът трябва да умее да извлича универсални езикови представяния и ефективно да пренася знания между различни типове задачи. ## Състав и задачи на benchmark-а Benchmark-ът GLUE обединява девет различни задачи за разбиране на език, основани на вече съществуващи и трудни за ИИ dataset-а. Всички задачи са формулирани като класификация или регресия върху едно изречение или двойка изречения[\[1\]](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_note-glue_paper-1). - **CoLA** (*Corpus of Linguistic Acceptability*) — задача за определяне на граматическата приемливост на изречение. Метрика за качество — Коефициент на корелация на Матюс. - **SST-2** (*Stanford Sentiment Treebank*) — задача за определяне на тоналността (положителна/отрицателна) на рецензия за филм. Метрика — точност (*accuracy*). - **MRPC** (*Microsoft Research Paraphrase Corpus*) — задача за разпознаване на парафрази в двойка изречения от новинарски източници. Метрики — точност и F1-мярка. - **QQP** (*Quora Question Pairs*) — задача за определяне на дублиращи се въпроси от общността на Quora. Метрики — точност и F1-мярка. - **STS-B** (*Semantic Textual Similarity Benchmark*) — задача за семантично съпоставяне на две изречения. Моделът трябва да предскаже степента на смислова близост по скала от 1 до 5. Метрики — коефициент на корелация на Пиърсън и Спийрмън. - **MNLI** (*Multi-Genre Natural Language Inference*) — задача за разпознаване на текстово следствие върху двойки изречения от разножанрови източници (извод, противоречие, неутралност). Резултатите се оценяват отделно на съвпадащо (*matched*) и несъвпадащо (*mismatched*) подмножество. - **QNLI** (*Question Natural Language Inference*) — задача, получена чрез преобразуване на dataset-а SQuAD. Изисква се да се определи дали изречение от абзаца съдържа отговор на зададен въпрос. - **RTE** (*Recognizing Textual Entailment*) — съвкупен dataset за текстово следствие, обединяващ няколко малки колекции. Задачата е да се класифицира бинарно отношението между изреченията. - **WNLI** (*Winograd NLI*) — модифицирана версия на схемата на Winograd, адаптирана към формата NLI. Задача за разрешаване на анафора: на системата се дава изречение с неясно местоимение и трябва да се посочи към кой от двата обекта се отнася то. ## Методика на оценяване За оценяване на GLUE изследователите изпращат предсказанията на своя модел до специален сървър, след което получават автоматично изчисление на метриките по всяка задача и обобщен резултат. - **GLUE-score** — краен показател, изчисляван като средна стойност на резултатите по всичките девет основни задачи. - **Лидерборд** — публична таблица, отразяваща актуалното състояние и показваща кои модели се справят по-добре с NLU-задачи. Използването на скрити тестови набори осигурява честно сравнение. - **Диагностичен набор** — специален набор от 1100 примера, ръчно анотирани от експерти за прецизен лингвистичен анализ. Той не влияе върху рейтинга, а служи като инструмент за качествен анализ, проверяващ кои езикови феномени (лексикална семантика, логика, здрав разум) моделът умее да разпознава и с кои среща затруднения[\[1\]](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_note-glue_paper-1). ## Резултати и влияние върху индустрията При стартирането на GLUE през 2018 година най-добрите тогавашни модели (например BiLSTM с ELMo) достигаха съвкупен резултат около **70 точки** (по скала 0–100), което беше съществено по-ниско от човешкото ниво (около 87 точки)[\[2\]](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_note-human_vs_muppet-2). Появата на GLUE и на отворения лидерборд стимулира бурен напредък в областта на трансферното обучение в NLP. - До май 2019 година, в рамките на по-малко от година, новото поколение модели, основани на transformer-и (на първо място BERT), вдигна нивото на *state-of-the-art* до **83.9 точки**. - През втората половина на 2019 година benchmark-ът GLUE беше практически „преминат": най-добрите системи се доближиха плътно до човешкото ниво, а на някои задачи дори го надминаха[\[3\]](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_note-w4ngatang_superglue-3). GLUE изигра огромна роля като **единна отправна точка** в развитието на моделите за разбиране на език. Благодарение на него изследователите успяха да сравняват пряко различни архитектури върху комплексен набор от задачи, да разкриват силните и слабите страни на подходите и бързо да споделят постиженията си чрез публичния лидерборд. ## SuperGLUE: последващо развитие Стремителният успех на GLUE доведе до това, че вече след година същият колектив от автори с участието на колеги от Facebook AI представи нов, по-сложен комплекс под наименованието **SuperGLUE**[\[4\]](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_note-venturebeat_superglue-4). SuperGLUE беше обявен в края на 2019 година като „по-устойчив" (*stickier*) набор от тестове, предназначен отново да създаде дистанция между възможностите на съвременните модели и човека. В него бяха включени осем задачи, изискващи още по-задълбочено разбиране на език, а също така бяха подобрени инструментариумът и правилата за участниците. Въпреки че GLUE продължава да се използва като базов тест, основният фокус на състезателното усъвършенстване се е преместил към SuperGLUE и към други, по-специализирани, benchmark-ове. ## Връзки - Официален сайт на GLUE Benchmark - Страница на GLUE в Papers With Code с резултати на модели ## Литература - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Бележки 1. ↑ [1.0](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_ref-glue_paper_1-0) [1.1](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_ref-glue_paper_1-1) [1.2](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_ref-glue_paper_1-2) Wang, A. et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». *arXiv:1804.07461*, 2019. [1] 2. [↑](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_ref-human_vs_muppet_2-0) Bowman, S. R. et al. «Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark». *arXiv:1905.10425*, 2019. [2] 3. [↑](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_ref-w4ngatang_superglue_3-0) Wang, A. et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». *NeurIPS 2019*. [3] 4. [↑](https://systems-analysis.info/int/GLUE_Benchmark_(BG)#cite_ref-venturebeat_superglue_4-0) «AI models from Microsoft and Google already surpass human performance on the SuperGLUE language benchmark». *VentureBeat*. [4]