--- title: "GLUE Benchmark (PT)" source: "https://systems-analysis.info/int/GLUE_Benchmark_(PT)" wiki: "systems-analysis.info/int" article: "GLUE_Benchmark_(PT)" language: "pt" categories: - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" - "Category:Portuguese" revision_id: 2433 wiki_created_at: 2026-09-06T23:03:57Z wiki_modified_at: 2026-09-06T23:03:57Z downloaded_at: 2026-09-07T22:51:10Z --- # GLUE Benchmark (PT) **GLUE** (acrônimo de **General Language Understanding Evaluation**, “Avaliação Geral de Compreensão de Linguagem”) é um benchmark multitarefa para avaliar a qualidade de modelos de processamento de linguagem natural (NLU). O benchmark foi proposto em 2018 por um grupo de pesquisadores da Universidade de Nova York, da Universidade de Washington e da DeepMind, incluindo **Alex Wang** e **Samuel Bowman**, e ganhou ampla aceitação na comunidade de pesquisa^{[\[1\]](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_note-glue_paper-1)}. O objetivo principal do GLUE é fornecer um conjunto de testes unificado, neutro e desafiador para a avaliação comparativa das capacidades de modelos de NLU em um conjunto diversificado de tarefas que vão além de um domínio específico. O benchmark inclui uma plataforma online com um **leaderboard** (tabela de classificação), que garante uma comparação objetiva dos modelos e evita o ajuste excessivo aos dados de teste, já que os rótulos verdadeiros de parte dos testes não são publicados e estão disponíveis apenas através do servidor de avaliação. Assume-se que, para alcançar altos resultados, um modelo deve ser capaz de extrair representações linguísticas universais e transferir conhecimento eficientemente entre diferentes tipos de tarefas. ## Composição e tarefas do benchmark O benchmark GLUE combina nove tarefas distintas de compreensão de linguagem, baseadas em datasets já existentes e desafiadores para IA. Todas as tarefas são formuladas como classificação ou regressão sobre uma única sentença ou um par de sentenças^{[\[1\]](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_note-glue_paper-1)}. - **CoLA** (*Corpus of Linguistic Acceptability*) — tarefa de determinar a aceitabilidade gramatical de uma frase. A métrica de qualidade é o Coeficiente de correlação de Matthews. - **SST-2** (*Stanford Sentiment Treebank*) — tarefa de determinar o sentimento (positivo/negativo) de uma crítica de filme. A métrica é a acurácia (*accuracy*). - **MRPC** (*Microsoft Research Paraphrase Corpus*) — tarefa de identificar paráfrases em um par de sentenças de fontes de notícias. As métricas são acurácia e medida F1. - **QQP** (*Quora Question Pairs*) — tarefa de determinar se perguntas da comunidade Quora são duplicatas. As métricas são acurácia e medida F1. - **STS-B** (*Semantic Textual Similarity Benchmark*) — tarefa de avaliar a similaridade textual semântica entre duas sentenças. O modelo deve prever o grau de similaridade semântica em uma escala de 1 a 5. As métricas são os coeficientes de correlação de Pearson e Spearman. - **MNLI** (*Multi-Genre Natural Language Inference*) — tarefa de reconhecimento de inferência textual em pares de sentenças de diversos gêneros (implicação, contradição, neutralidade). Os resultados são avaliados separadamente nos subconjuntos correspondente (*matched*) e não correspondente (*mismatched*). - **QNLI** (*Question Natural Language Inference*) — tarefa derivada da transformação do dataset SQuAD. É necessário determinar se uma sentença de um parágrafo contém a resposta para uma pergunta específica. - **RTE** (*Recognizing Textual Entailment*) — um dataset agregado para inferência textual, que combina várias coleções menores. A tarefa é classificar a relação entre as sentenças de forma binária. - **WNLI** (*Winograd NLI*) — uma versão modificada do esquema de Winograd, adaptada para o formato NLI. A tarefa é de resolução de anáfora: o sistema recebe uma sentença com um pronome ambíguo e precisa indicar a qual dos dois objetos ele se refere. ## Metodologia de avaliação Para a avaliação no GLUE, os pesquisadores enviam as previsões de seu modelo para um servidor especial, após o qual recebem um cálculo automático das métricas para cada tarefa e uma pontuação agregada. - **GLUE-score** — a pontuação final, calculada como a média dos resultados de todas as nove tarefas principais. - **Leaderboard** — uma tabela pública que reflete o estado atual e mostra quais modelos têm melhor desempenho em tarefas de NLU. O uso de conjuntos de teste ocultos garante uma comparação justa. - **Conjunto de diagnóstico** — um conjunto especial de 1100 exemplos, anotados manualmente por especialistas para uma análise linguística detalhada. Ele não afeta a classificação, mas serve como uma ferramenta de análise qualitativa para verificar quais fenômenos linguísticos (semântica lexical, lógica, senso comum) o modelo consegue reconhecer e com quais ele tem dificuldades^{[\[1\]](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_note-glue_paper-1)}. ## Resultados e impacto na indústria No lançamento do GLUE em 2018, os melhores modelos da época (por exemplo, BiLSTM com ELMo) alcançaram uma pontuação agregada de cerca de **70 pontos** (em uma escala de 0 a 100), o que era significativamente inferior ao nível de desempenho humano (cerca de 87 pontos)^{[\[2\]](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_note-human_vs_muppet-2)}. O surgimento do GLUE e de seu leaderboard aberto estimulou um rápido progresso no campo do aprendizado por transferência em PLN. - Em maio de 2019, em menos de um ano, uma nova geração de modelos baseados em transformers (principalmente o BERT) elevou o patamar do *state-of-the-art* para **83.9 pontos**. - Na segunda metade de 2019, o benchmark GLUE foi efetivamente “superado”: os melhores sistemas se aproximaram muito do desempenho humano e, em algumas tarefas, até o ultrapassaram^{[\[3\]](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_note-w4ngatang_superglue-3)}. O GLUE desempenhou um papel fundamental como um **ponto de referência unificado** no desenvolvimento de modelos de compreensão de linguagem. Graças a ele, os pesquisadores puderam comparar diretamente diferentes arquiteturas em um conjunto complexo de tarefas, identificar os pontos fortes e fracos das abordagens e compartilhar rapidamente seus avanços por meio do leaderboard público. ## SuperGLUE: desenvolvimento posterior O rápido sucesso do GLUE levou o mesmo grupo de autores, com a participação de colegas do Facebook AI, a apresentar, apenas um ano depois, um novo e mais complexo conjunto chamado **SuperGLUE**^{[\[4\]](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_note-venturebeat_superglue-4)}. O SuperGLUE foi anunciado no final de 2019 como um conjunto de testes “mais aderente” (*stickier*), projetado para criar novamente uma lacuna entre as capacidades dos modelos modernos e o desempenho humano. Ele incluiu oito tarefas que exigem uma compreensão ainda mais profunda da linguagem, além de um conjunto de ferramentas e regras aprimoradas para os participantes. Embora o GLUE continue a ser usado como um teste de base, o foco principal da melhoria competitiva deslocou-se para o SuperGLUE e outros benchmarks mais especializados. ## Ligações externas - Site oficial do GLUE Benchmark - Página do GLUE no Papers With Code com resultados de modelos ## Literatura - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Notas 1. ↑ ^{[1.0](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_ref-glue_paper_1-0)} ^{[1.1](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_ref-glue_paper_1-1)} ^{[1.2](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_ref-glue_paper_1-2)} Wang, A. et al. “GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding”. *arXiv:1804.07461*, 2019. [1] 2. [↑](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_ref-human_vs_muppet_2-0) Bowman, S. R. et al. “Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark”. *arXiv:1905.10425*, 2019. [2] 3. [↑](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_ref-w4ngatang_superglue_3-0) Wang, A. et al. “SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems”. *NeurIPS 2019*. [3] 4. [↑](https://systems-analysis.info/int/GLUE_Benchmark_(PT)#cite_ref-venturebeat_superglue_4-0) “AI models from Microsoft and Google already surpass human performance on the SuperGLUE language benchmark”. *VentureBeat*. [4]