GLUE Benchmark (PT)

GLUE (acrônimo de General Language Understanding Evaluation, “Avaliação Geral de Compreensão de Linguagem”) é um benchmark multitarefa para avaliar a qualidade de modelos de processamento de linguagem natural (NLU). O benchmark foi proposto em 2018 por um grupo de pesquisadores da Universidade de Nova York, da Universidade de Washington e da DeepMind, incluindo Alex Wang e Samuel Bowman, e ganhou ampla aceitação na comunidade de pesquisa.

O objetivo principal do GLUE é fornecer um conjunto de testes unificado, neutro e desafiador para a avaliação comparativa das capacidades de modelos de NLU em um conjunto diversificado de tarefas que vão além de um domínio específico. O benchmark inclui uma plataforma online com um leaderboard (tabela de classificação), que garante uma comparação objetiva dos modelos e evita o ajuste excessivo aos dados de teste, já que os rótulos verdadeiros de parte dos testes não são publicados e estão disponíveis apenas através do servidor de avaliação. Assume-se que, para alcançar altos resultados, um modelo deve ser capaz de extrair representações linguísticas universais e transferir conhecimento eficientemente entre diferentes tipos de tarefas.

Composição e tarefas do benchmark

O benchmark GLUE combina nove tarefas distintas de compreensão de linguagem, baseadas em datasets já existentes e desafiadores para IA. Todas as tarefas são formuladas como classificação ou regressão sobre uma única sentença ou um par de sentenças.

• CoLA (Corpus of Linguistic Acceptability) — tarefa de determinar a aceitabilidade gramatical de uma frase. A métrica de qualidade é o Coeficiente de correlação de Matthews.
• SST-2 (Stanford Sentiment Treebank) — tarefa de determinar o sentimento (positivo/negativo) de uma crítica de filme. A métrica é a acurácia (accuracy).
• MRPC (Microsoft Research Paraphrase Corpus) — tarefa de identificar paráfrases em um par de sentenças de fontes de notícias. As métricas são acurácia e medida F1.
• QQP (Quora Question Pairs) — tarefa de determinar se perguntas da comunidade Quora são duplicatas. As métricas são acurácia e medida F1.
• STS-B (Semantic Textual Similarity Benchmark) — tarefa de avaliar a similaridade textual semântica entre duas sentenças. O modelo deve prever o grau de similaridade semântica em uma escala de 1 a 5. As métricas são os coeficientes de correlação de Pearson e Spearman.
• MNLI (Multi-Genre Natural Language Inference) — tarefa de reconhecimento de inferência textual em pares de sentenças de diversos gêneros (implicação, contradição, neutralidade). Os resultados são avaliados separadamente nos subconjuntos correspondente (matched) e não correspondente (mismatched).
• QNLI (Question Natural Language Inference) — tarefa derivada da transformação do dataset SQuAD. É necessário determinar se uma sentença de um parágrafo contém a resposta para uma pergunta específica.
• RTE (Recognizing Textual Entailment) — um dataset agregado para inferência textual, que combina várias coleções menores. A tarefa é classificar a relação entre as sentenças de forma binária.
• WNLI (Winograd NLI) — uma versão modificada do esquema de Winograd, adaptada para o formato NLI. A tarefa é de resolução de anáfora: o sistema recebe uma sentença com um pronome ambíguo e precisa indicar a qual dos dois objetos ele se refere.

Metodologia de avaliação

Para a avaliação no GLUE, os pesquisadores enviam as previsões de seu modelo para um servidor especial, após o qual recebem um cálculo automático das métricas para cada tarefa e uma pontuação agregada.

• GLUE-score — a pontuação final, calculada como a média dos resultados de todas as nove tarefas principais.
• Leaderboard — uma tabela pública que reflete o estado atual e mostra quais modelos têm melhor desempenho em tarefas de NLU. O uso de conjuntos de teste ocultos garante uma comparação justa.
• Conjunto de diagnóstico — um conjunto especial de 1100 exemplos, anotados manualmente por especialistas para uma análise linguística detalhada. Ele não afeta a classificação, mas serve como uma ferramenta de análise qualitativa para verificar quais fenômenos linguísticos (semântica lexical, lógica, senso comum) o modelo consegue reconhecer e com quais ele tem dificuldades.

Resultados e impacto na indústria

No lançamento do GLUE em 2018, os melhores modelos da época (por exemplo, BiLSTM com ELMo) alcançaram uma pontuação agregada de cerca de 70 pontos (em uma escala de 0 a 100), o que era significativamente inferior ao nível de desempenho humano (cerca de 87 pontos).

O surgimento do GLUE e de seu leaderboard aberto estimulou um rápido progresso no campo do aprendizado por transferência em PLN.

• Em maio de 2019, em menos de um ano, uma nova geração de modelos baseados em transformers (principalmente o BERT) elevou o patamar do state-of-the-art para 83.9 pontos.
• Na segunda metade de 2019, o benchmark GLUE foi efetivamente “superado”: os melhores sistemas se aproximaram muito do desempenho humano e, em algumas tarefas, até o ultrapassaram.

O GLUE desempenhou um papel fundamental como um ponto de referência unificado no desenvolvimento de modelos de compreensão de linguagem. Graças a ele, os pesquisadores puderam comparar diretamente diferentes arquiteturas em um conjunto complexo de tarefas, identificar os pontos fortes e fracos das abordagens e compartilhar rapidamente seus avanços por meio do leaderboard público.

SuperGLUE: desenvolvimento posterior

O rápido sucesso do GLUE levou o mesmo grupo de autores, com a participação de colegas do Facebook AI, a apresentar, apenas um ano depois, um novo e mais complexo conjunto chamado SuperGLUE.

O SuperGLUE foi anunciado no final de 2019 como um conjunto de testes “mais aderente” (stickier), projetado para criar novamente uma lacuna entre as capacidades dos modelos modernos e o desempenho humano. Ele incluiu oito tarefas que exigem uma compreensão ainda mais profunda da linguagem, além de um conjunto de ferramentas e regras aprimoradas para os participantes. Embora o GLUE continue a ser usado como um teste de base, o foco principal da melhoria competitiva deslocou-se para o SuperGLUE e outros benchmarks mais especializados.

Ligações externas

• Site oficial do GLUE Benchmark
• Página do GLUE no Papers With Code com resultados de modelos

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.