--- title: "GLUE Benchmark — GLUE基准" source: "https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86" wiki: "systems-analysis.info/int" article: "GLUE_Benchmark_—_GLUE基准" language: "zh" categories: - "Category:Chinese" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 2442 wiki_created_at: 2026-09-06T23:04:05Z wiki_modified_at: 2026-09-06T23:04:05Z downloaded_at: 2026-09-07T22:51:12Z --- # GLUE Benchmark — GLUE基准 **GLUE**（**General Language Understanding Evaluation**，即“通用语言理解评估”的缩写）是一个多任务基准，用于评估自然语言理解（NLU）模型的质量。该基准由纽约大学、华盛顿大学和DeepMind的一组研究人员（包括**Alex Wang**和**Samuel Bowman**）于2018年提出，并在研究界得到广泛应用^{[\[1\]](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_note-glue_paper-1)}。 GLUE的主要目标是提供一个统一、中立且具有挑战性的测试套件，用于在超出单一特定领域的各种任务上对NLU模型的能力进行比较评估。该基准包括一个带有**排行榜**（leaderboard）的在线平台，可确保对模型进行客观比较，并防止针对测试数据进行过拟合，因为部分测试的真实标签并未公开，只能通过评估服务器获取。其理念是，要取得高分，模型必须能够提取通用的语言表示，并有效地在不同类型的任务之间迁移知识。 ## 基准的构成与任务 GLUE基准整合了九项不同的语言理解任务，这些任务基于现有的、对AI而言具有挑战性的数据集。所有任务都被设计为对单个句子或句子对的分类或回归问题^{[\[1\]](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_note-glue_paper-1)}。 - **CoLA** (*Corpus of Linguistic Acceptability*) — 判断一个句子在语法上是否可接受的任务。评价指标是马修斯相关系数。 - **SST-2** (*Stanford Sentiment Treebank*) — 判断电影评论情感（正面/负面）的任务。评价指标是准确率（*accuracy*）。 - **MRPC** (*Microsoft Research Paraphrase Corpus*) — 判断来自新闻来源的一对句子是否为释义的任务。评价指标是准确率和F1分数。 - **QQP** (*Quora Question Pairs*) — 判断来自Quora社区的问题对是否重复的任务。评价指标是准确率和F1分数。 - **STS-B** (*Semantic Textual Similarity Benchmark*) — 对两个句子进行语义相似度匹配的任务。模型需要预测其语义相似度得分（1到5分）。评价指标是皮尔逊和斯皮尔曼相关系数。 - **MNLI** (*Multi-Genre Natural Language Inference*) — 识别来自不同类型来源的句子对之间的文本蕴含关系（蕴含、矛盾、中立）的任务。在匹配（*matched*）和不匹配（*mismatched*）的子集上分别进行评估。 - **QNLI** (*Question Natural Language Inference*) — 由SQuAD数据集转换而来的任务。需要判断一个段落中的句子是否包含给定问题的答案。 - **RTE** (*Recognizing Textual Entailment*) — 一个综合了多个小型数据集的文本蕴含任务。任务是对句子之间的关系进行二元分类。 - **WNLI** (*Winograd NLI*) — 维诺格拉德模式挑战的修改版，调整为NLI格式。这是一个指代消解任务：系统需要判断一个句子中含糊不清的代词指向两个实体中的哪一个。 ## 评估方法为了在GLUE上进行评估，研究人员将其模型的预测结果提交到一个专用服务器，随后自动计算出每个任务的指标和总分。 - **GLUE分数** — 最终指标，计算为所有九个核心任务得分的平均值。 - **排行榜** — 公开的表格，反映了当前的技术水平，并展示了哪些模型在NLU任务上表现更佳。使用隐藏的测试集可确保公平比较。 - **诊断集** — 一个由专家手动标注的包含1100个样本的特殊数据集，用于进行细致的语言学分析。它不影响排名，而是作为一种定性分析工具，用于检验模型能够识别哪些语言现象（如词汇语义、逻辑、常识），以及在哪些方面存在困难^{[\[1\]](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_note-glue_paper-1)}。 ## 结果与行业影响在2018年GLUE刚推出时，当时最先进的模型（例如带有ELMo的BiLSTM）的综合得分约为**70分**（0-100分制），远低于人类水平（约87分）^{[\[2\]](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_note-human_vs_muppet-2)}。 GLUE及其公开排行榜的出现，极大地推动了NLP领域迁移学习的快速发展。 - 到2019年5月，在不到一年的时间里，基于Transformer的新一代模型（主要是BERT）将*state-of-the-art*的水平提升至**83.9分**。 - 2019年下半年，GLUE基准实际上被“攻克”：顶级系统已非常接近人类水平，在某些任务上甚至超越了人类^{[\[3\]](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_note-w4ngatang_superglue-3)}。 GLUE作为语言理解模型发展过程中的**统一参考基点**，发挥了巨大作用。借助它，研究人员能够在复杂的任务集上直接比较不同的架构，识别各种方法的优缺点，并通过公开排行榜快速分享研究成果。 ## SuperGLUE: Subsequent Development - SuperGLUE：后续发展 GLUE的迅速成功促使原作者团队在一年后与Facebook AI的同事合作，推出了一个名为**SuperGLUE**的更难的新基准^{[\[4\]](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_note-venturebeat_superglue-4)}。 SuperGLUE于2019年底发布，被称为“更具粘性”（*stickier*）的测试集，旨在再次拉开顶尖模型与人类能力之间的差距。它包含了八项需要更深层次语言理解的任务，并改进了工具和参赛规则。尽管GLUE仍被用作基础测试，但竞争性研究的焦点已转移到SuperGLUE及其他更专业的基准上。 ## 外部链接 - GLUE Benchmark 官方网站 - Papers With Code 上的 GLUE 页面及模型结果 ## 参考文献 - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## 注释 1. ↑ ^{[1.0](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_ref-glue_paper_1-0)} ^{[1.1](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_ref-glue_paper_1-1)} ^{[1.2](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_ref-glue_paper_1-2)} Wang, A. et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». *arXiv:1804.07461*, 2019. [1] 2. [↑](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_ref-human_vs_muppet_2-0) Bowman, S. R. et al. «Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark». *arXiv:1905.10425*, 2019. [2] 3. [↑](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_ref-w4ngatang_superglue_3-0) Wang, A. et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». *NeurIPS 2019*. [3] 4. [↑](https://systems-analysis.info/int/GLUE_Benchmark_%E2%80%94_GLUE%E5%9F%BA%E5%87%86#cite_ref-venturebeat_superglue_4-0) «AI models from Microsoft and Google already surpass human performance on the SuperGLUE language benchmark». *VentureBeat*. [4]