GLUE Benchmark (BG)

From Systems analysis Wiki
Jump to navigation Jump to search

GLUE (акроним от General Language Understanding Evaluation, „Обща оценка на разбирането на език") — това е мултизадачен benchmark за оценка на качеството на модели за обработка на естествен език (NLU). Benchmark-ът е предложен през 2018 година от група изследователи от Нюйоркския университет, Университета на Вашингтон и DeepMind, включително Алекс Уанг и Самюъл Боуман, и получи широко разпространение в изследователската общност[1].

Основната цел на GLUE е да предостави единен, неутрален и сложен тестов комплекс за сравнителна оценка на възможностите на NLU-моделите върху разнообразен набор от задачи, излизащи извън рамките на една конкретна област. Benchmark-ът включва онлайн платформа с лидерборд (таблица с рекорди), която осигурява обективно сравнение на моделите и предотвратява нагаждането към тестовите данни, тъй като истинските етикети за част от тестовете не се публикуват и са достъпни само чрез сървъра за оценяване. Предполага се, че за постигане на високи резултати моделът трябва да умее да извлича универсални езикови представяния и ефективно да пренася знания между различни типове задачи.

Състав и задачи на benchmark-а

Benchmark-ът GLUE обединява девет различни задачи за разбиране на език, основани на вече съществуващи и трудни за ИИ dataset-а. Всички задачи са формулирани като класификация или регресия върху едно изречение или двойка изречения[1].

  • CoLA (Corpus of Linguistic Acceptability) — задача за определяне на граматическата приемливост на изречение. Метрика за качество — Коефициент на корелация на Матюс.
  • SST-2 (Stanford Sentiment Treebank) — задача за определяне на тоналността (положителна/отрицателна) на рецензия за филм. Метрика — точност (accuracy).
  • MRPC (Microsoft Research Paraphrase Corpus) — задача за разпознаване на парафрази в двойка изречения от новинарски източници. Метрики — точност и F1-мярка.
  • QQP (Quora Question Pairs) — задача за определяне на дублиращи се въпроси от общността на Quora. Метрики — точност и F1-мярка.
  • STS-B (Semantic Textual Similarity Benchmark) — задача за семантично съпоставяне на две изречения. Моделът трябва да предскаже степента на смислова близост по скала от 1 до 5. Метрики — коефициент на корелация на Пиърсън и Спийрмън.
  • MNLI (Multi-Genre Natural Language Inference) — задача за разпознаване на текстово следствие върху двойки изречения от разножанрови източници (извод, противоречие, неутралност). Резултатите се оценяват отделно на съвпадащо (matched) и несъвпадащо (mismatched) подмножество.
  • QNLI (Question Natural Language Inference) — задача, получена чрез преобразуване на dataset-а SQuAD. Изисква се да се определи дали изречение от абзаца съдържа отговор на зададен въпрос.
  • RTE (Recognizing Textual Entailment) — съвкупен dataset за текстово следствие, обединяващ няколко малки колекции. Задачата е да се класифицира бинарно отношението между изреченията.
  • WNLI (Winograd NLI) — модифицирана версия на схемата на Winograd, адаптирана към формата NLI. Задача за разрешаване на анафора: на системата се дава изречение с неясно местоимение и трябва да се посочи към кой от двата обекта се отнася то.

Методика на оценяване

За оценяване на GLUE изследователите изпращат предсказанията на своя модел до специален сървър, след което получават автоматично изчисление на метриките по всяка задача и обобщен резултат.

  • GLUE-score — краен показател, изчисляван като средна стойност на резултатите по всичките девет основни задачи.
  • Лидерборд — публична таблица, отразяваща актуалното състояние и показваща кои модели се справят по-добре с NLU-задачи. Използването на скрити тестови набори осигурява честно сравнение.
  • Диагностичен набор — специален набор от 1100 примера, ръчно анотирани от експерти за прецизен лингвистичен анализ. Той не влияе върху рейтинга, а служи като инструмент за качествен анализ, проверяващ кои езикови феномени (лексикална семантика, логика, здрав разум) моделът умее да разпознава и с кои среща затруднения[1].

Резултати и влияние върху индустрията

При стартирането на GLUE през 2018 година най-добрите тогавашни модели (например BiLSTM с ELMo) достигаха съвкупен резултат около 70 точки (по скала 0–100), което беше съществено по-ниско от човешкото ниво (около 87 точки)[2].

Появата на GLUE и на отворения лидерборд стимулира бурен напредък в областта на трансферното обучение в NLP.

  • До май 2019 година, в рамките на по-малко от година, новото поколение модели, основани на transformer-и (на първо място BERT), вдигна нивото на state-of-the-art до 83.9 точки.
  • През втората половина на 2019 година benchmark-ът GLUE беше практически „преминат": най-добрите системи се доближиха плътно до човешкото ниво, а на някои задачи дори го надминаха[3].

GLUE изигра огромна роля като единна отправна точка в развитието на моделите за разбиране на език. Благодарение на него изследователите успяха да сравняват пряко различни архитектури върху комплексен набор от задачи, да разкриват силните и слабите страни на подходите и бързо да споделят постиженията си чрез публичния лидерборд.

SuperGLUE: последващо развитие

Стремителният успех на GLUE доведе до това, че вече след година същият колектив от автори с участието на колеги от Facebook AI представи нов, по-сложен комплекс под наименованието SuperGLUE[4].

SuperGLUE беше обявен в края на 2019 година като „по-устойчив" (stickier) набор от тестове, предназначен отново да създаде дистанция между възможностите на съвременните модели и човека. В него бяха включени осем задачи, изискващи още по-задълбочено разбиране на език, а също така бяха подобрени инструментариумът и правилата за участниците. Въпреки че GLUE продължава да се използва като базов тест, основният фокус на състезателното усъвършенстване се е преместил към SuperGLUE и към други, по-специализирани, benchmark-ове.

Връзки

  • Официален сайт на GLUE Benchmark
  • Страница на GLUE в Papers With Code с резултати на модели

Литература

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Бележки

  1. ↑ 1.0 1.1 1.2 Wang, A. et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv:1804.07461, 2019. [1]
  2. ↑ Bowman, S. R. et al. «Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark». arXiv:1905.10425, 2019. [2]
  3. ↑ Wang, A. et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». NeurIPS 2019. [3]
  4. ↑ «AI models from Microsoft and Google already surpass human performance on the SuperGLUE language benchmark». VentureBeat. [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=GLUE_Benchmark_(BG)&oldid=2417"