SuperGLUE (benchmark) (PT)

SuperGLUE é um benchmark (conjunto de tarefas de teste) abrangente para a avaliação de sistemas de processamento de linguagem natural, especialmente grandes modelos de linguagem (LLMs). Foi apresentado em 2019 por um grupo de pesquisadores liderado por Alex Wang, da Universidade de Nova York, com a participação do Facebook AI Research e de outras organizações.

A criação do SuperGLUE foi motivada pelo fato de que, em meados de 2019, o benchmark anterior, GLUE, havia se tornado uma "tarefa fácil" para os modelos modernos: a pontuação agregada dos melhores modelos no GLUE atingiu 88,4, superando o desempenho humano médio (87,1). Assim, a margem para progresso futuro diminuiu. Em resposta, os autores desenvolveram o SuperGLUE como uma alternativa mais desafiadora, capaz de fornecer uma avaliação mais rigorosa da compreensão de linguagem dos modelos. O objetivo do SuperGLUE é oferecer uma medida neutra e difícil de "treinar" para o progresso na compreensão geral da linguagem para o idioma inglês. Esperava-se que uma melhoria significativa nos resultados do SuperGLUE exigisse inovações substanciais nos métodos de aprendizado de máquina — por exemplo, treinamento mais eficiente em amostras pequenas, aprendizado multitarefa e auto-supervisionado. Em outras palavras, o SuperGLUE inclui tarefas que são fáceis para humanos, mas difíceis para a inteligência de máquina, a fim de estimular o desenvolvimento de modelos com uma compreensão verdadeiramente profunda da linguagem.

Características e diferenças em relação ao GLUE

O SuperGLUE segue em grande parte o formato do GLUE — ele oferece uma métrica de desempenho unificada para um conjunto de tarefas, um placar de líderes (leaderboard) público e um conjunto de ferramentas para análise de modelos. No entanto, o SuperGLUE introduz várias melhorias e inovações em comparação com seu antecessor:

• Tarefas mais difíceis: o SuperGLUE selecionou oito das tarefas mais desafiadoras. Duas delas foram herdadas do GLUE (estando entre as mais difíceis lá), enquanto as outras foram escolhidas a partir de novas candidatas com base em sua complexidade para os modelos de PNL modernos. Assim, o benchmark foca nos aspectos da compreensão onde os modelos anteriormente apresentavam os piores resultados.
• Diversidade de formatos: enquanto no GLUE todas as tarefas se resumiam à classificação de sentenças ou pares de sentenças, o SuperGLUE inclui uma gama mais ampla de formatos. Além da classificação, foram adicionadas tarefas de resolução de correferência e resposta a perguntas, que exigem que o modelo compreenda textos coesos e realize inferência lógica.
• Avaliação humana em todas as tarefas: para cada tarefa do SuperGLUE, foi calculado um nível de desempenho humano de base (não especialista), confirmando que mesmo modelos robustos como o BERT estavam significativamente atrás dos humanos no lançamento do benchmark. A existência de uma referência humana (~90% no agregado) fornece uma "margem" para o crescimento do modelo e serve como um alvo a ser alcançado.
• Regras e ferramentas transparentes: as regras para a publicação de resultados no placar de líderes foram revisadas (para garantir uma comparação justa e o reconhecimento da contribuição dos autores dos datasets). Também foi lançado um novo conjunto de ferramentas de código aberto para facilitar o ajuste fino e o treinamento multitarefa de modelos com os dados do SuperGLUE.

Em conjunto, essas medidas tornam o SuperGLUE um teste mais robusto para as capacidades linguísticas generalizadas dos modelos, impedindo que resultados elevados sejam alcançados por meio de "trapaças" específicas (cheating) ou ajuste excessivo aos formatos do antigo GLUE.

Conjunto de tarefas do SuperGLUE

O SuperGLUE consiste em oito tarefas, que abrangem diferentes aspectos da compreensão de texto.

• BoolQ (Boolean Questions): uma tarefa de perguntas e respostas (QA), onde cada exemplo consiste em um texto curto (um trecho da Wikipédia) e uma pergunta que deve ser respondida com "sim" ou "não". As perguntas são formuladas por usuários (a partir de consultas de busca do Google) e exigem a extração de um fato explícito ou implícito do texto; a métrica de qualidade é a proporção de respostas corretas (acurácia).
• CB (CommitmentBank): uma tarefa de implicação lógica (textual entailment) com três classes. O dataset é composto por textos curtos contendo sentenças complexas; a tarefa é determinar até que ponto o autor do texto está comprometido com a veracidade da proposição aninhada. Na prática, trata-se de verificar se uma afirmação pode ser inferida a partir de um determinado contexto. A tarefa é difícil devido ao pequeno tamanho da amostra (cerca de 250 exemplos) e ao desequilíbrio das classes; a qualidade é avaliada pela acurácia e pela F1-score, com média entre as classes.
• COPA (Choice of Plausible Alternatives): uma tarefa de raciocínio causal. O modelo recebe uma premissa (uma única sentença) e deve escolher a causa ou o efeito correto entre duas opções. Todos os exemplos do COPA são formulados manualmente e exigem senso comum para estabelecer a relação de causa e efeito. Os temas incluem situações de blogs e de uma enciclopédia especializada; a métrica é a acurácia (proporção de escolhas corretas). Exemplo: dada a frase "a criança adquiriu imunidade à doença" e a pergunta "qual foi a causa?", um humano entende imediatamente que a resposta correta é "ela recebeu uma vacina", enquanto um modelo precisa adivinhar a relação causal.
• MultiRC (Multi-Sentence Reading Comprehension): uma tarefa de compreensão de leitura de múltiplas sentenças com elementos de múltipla escolha. O modelo recebe um parágrafo de texto, uma pergunta sobre seu conteúdo e uma lista de respostas possíveis; é preciso determinar quais respostas são corretas (cada pergunta pode ter várias respostas certas). Uma característica é que, para responder à pergunta, geralmente é necessário combinar informações de várias sentenças do texto, o que testa a capacidade do modelo de conectar fatos. A qualidade é medida por duas métricas: F1 por respostas (que considera conjuntos parcialmente corretos) e Exact Match (Correspondência Exata) - a proporção de perguntas para as quais foram dados conjuntos de respostas totalmente corretos.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): uma tarefa de compreensão de leitura com uso de conhecimento de senso comum. É um teste Cloze modificado: um texto de notícias (um artigo da CNN/Daily Mail) e uma sentença com uma entidade omitida são fornecidos; o modelo deve escolher qual entidade do texto se encaixa no espaço em branco. As opções de resposta são todas as entidades mencionadas no artigo, que podem ter significados semelhantes. A solução bem-sucedida requer compreensão do contexto e senso comum. As métricas são o F1 máximo no nível do token e o Exact Match (correspondência exata) nas respostas previstas.
• RTE (Recognizing Textual Entailment): uma tarefa de classificação binária de implicação textual (entailment vs. not entailment). O conjunto de dados combina exemplos de várias competições de reconhecimento de implicação textual (séries RTE 1-5). Cada tarefa contém um par de fragmentos de texto (premissa-hipótese); o modelo deve determinar se a hipótese decorre do texto. Ao contrário de muitos grandes conjuntos de dados, o RTE é bastante pequeno (cerca de 2,5 mil exemplos de treinamento), mas mostrou ganhos significativos com o aprendizado por transferência: a acurácia aumentou de ~56% (nível de adivinhação aleatória) para ~86% com o surgimento de modelos como o BERT. No entanto, no lançamento do SuperGLUE, a acurácia dos modelos ainda estava cerca de 8 pontos percentuais abaixo do nível humano, razão pela qual o RTE foi incluído como uma das tarefas que mantinham uma lacuna em relação ao desempenho humano.
• WiC (Word-in-Context): uma tarefa de resolução de ambiguidade de sentido de palavra em contexto (WSD). São dadas duas sentenças independentes, cada uma contendo a mesma palavra polissêmica; é preciso determinar se a palavra foi usada com o mesmo sentido em ambos os casos. Os dados são extraídos de recursos lexicais (WordNet, VerbNet, Wiktionary), cobrindo uma vasta gama de palavras e significados. A tarefa é formalizada como uma classificação binária e avaliada pela proporção de respostas corretas. O WiC exige que o modelo compreenda distinções semânticas sutis, testando efetivamente a semântica lexical.
• WSC (Winograd Schema Challenge): uma tarefa de resolução de correferência com uso de senso comum. Cada tarefa consiste em uma única sentença contendo um pronome e uma lista de duas entidades (substantivos) da mesma sentença. É necessário determinar a qual dos substantivos propostos o pronome se refere. Exemplo da clássica frase de Winograd: “O troféu não coube na mala porque ela era muito pequena” – um humano entende que “ela” se refere à mala (a mala era muito pequena). Tais exemplos são impossíveis de resolver sem conhecimento cotidiano e contexto. Uma versão simplificada dessa tarefa (WNLI) já estava presente no GLUE, mas por muito tempo os modelos não conseguiram superar nem mesmo o nível de aleatoriedade. Apenas técnicas especiais, como a adição de dados externos com exemplos semelhantes, elevaram a qualidade dos modelos no WSC para ~90% em 2019. No entanto, os humanos resolvem as tarefas do WSC praticamente sem erros (~96-100% de respostas corretas). O SuperGLUE inclui a versão original do WSC no formato de classificação binária (para cada par "pronome-entidade", o modelo responde se eles coincidem em referência). Esta tarefa permanece um dos testes mais difíceis que exigem raciocínio de senso comum.

Todos os testes do SuperGLUE possuem conjuntos de teste privados com respostas desconhecidas para os desenvolvedores. Os modelos enviam suas previsões para um servidor, onde uma pontuação agregada é calculada — a média da acurácia entre as tarefas (para tarefas com múltiplas métricas, a métrica interna é primeiro calculada). Essa pontuação única, o SuperGLUE score, simplifica a comparação dos modelos em termos de seu nível geral de inteligência linguística.

Resultados e progresso dos modelos

No lançamento do SuperGLUE, os autores apresentaram os resultados de um modelo de base forte (um BERT aprimorado) como referência – e eles se mostraram significativamente inferiores aos humanos em todas as tarefas. Em média, o melhor modelo da época obteve cerca de 20 pontos a menos que um humano na métrica integrada. Em tarefas específicas, a diferença era particularmente grande: por exemplo, na tarefa WSC, o modelo mal alcançava ~65% de acurácia contra 100% de um humano (uma diferença de ~35 pontos). Mesmo em tarefas aparentemente mais "simples" (BoolQ, CB, RTE, WiC), os sistemas automáticos ficavam ~10 pontos abaixo do nível humano. Essas diferenças confirmaram que o SuperGLUE realmente representava um desafio sério para as tecnologias da época e não podia ser resolvido de forma trivial.

No entanto, apenas alguns meses após o surgimento do SuperGLUE, um rápido progresso começou. No final de 2019, pesquisadores do Google apresentaram o modelo T5 (Text-To-Text Transfer Transformer) com 11 bilhões de parâmetros, que alcançou um resultado agregado de 88,9, aproximando-se muito do nível humano de ~89,8. De fato, o T5 melhorou o recorde anterior no SuperGLUE em 4,3 pontos e reduziu a taxa de erro em quase um terço, deixando apenas uma lacuna mínima de 0,9 ponto para o desempenho humano. Os desenvolvedores observaram que o SuperGLUE foi deliberadamente projetado para que as tarefas fossem fáceis para os humanos, tornando o desempenho do modelo em ~89% um marco importante.

O primeiro a conseguir superar a qualidade humana média foi o modelo da Microsoft, DeBERTa (Decoding-enhanced BERT with disentangled attention). Em janeiro de 2021, os pesquisadores relataram que a versão do DeBERTa com 1,5 bilhão de parâmetros alcançou 89,9 pontos, um pouco acima da referência humana de 89,8. Este foi o primeiro caso em que um único modelo superou os humanos na métrica SuperGLUE. Além disso, um ensemble de vários modelos DeBERTa elevou o recorde para ~90,3 pontos. O modelo DeBERTa superou o líder anterior (Google T5) em cerca de 0,6% e demonstrou a eficácia de novas ideias na arquitetura Transformer (representação separada de conteúdo e posição das palavras, um decodificador de máscara aprimorado, etc.).

O progresso não parou por aí: à medida que o tamanho e a complexidade dos modelos de linguagem aumentavam, os resultados no SuperGLUE continuaram a melhorar. No final de 2021, o topo do placar de líderes era ocupado pelo modelo da Microsoft T-NLRv5 (da família Microsoft Turing NLR) — ele aumentou ainda mais a diferença em relação ao nível humano. As últimas tarefas do GLUE que ainda não haviam sido resolvidas por máquinas (por exemplo, as sutilezas do NLI) foram "fechadas" por este modelo, que se aproximou muito da paridade total com os humanos mesmo nas subtarefas mais difíceis.

Em 2022-2023, o limiar do nível humano no SuperGLUE foi superado com confiança por vários grandes modelos independentes. Por exemplo, o modelo PaLM do Google (540 bilhões de parâmetros), após ajuste fino nas tarefas do SuperGLUE, alcançou cerca de 90,4 pontos, e o modelo GPT-4 (desenvolvido pela OpenAI) mostrou um resultado ainda ligeiramente superior. Em meados de 2023, o placar de líderes do SuperGLUE contava com vários modelos com resultados acima de 90 (ou seja, superando o nível humano médio). Pode-se dizer que o benchmark está praticamente resolvido pelos sistemas modernos: o desempenho dos melhores modelos é tão alto que excede as capacidades da maioria dos humanos não qualificados. Esse sucesso demonstra o progresso gigantesco na PNL em um curto período, mas também aponta para a necessidade de testes novos e ainda mais complexos para os modelos mais recentes. Já estão surgindo benchmarks subsequentes (por exemplo, MMLU, BIG-Bench, etc.), projetados para testar os modelos em uma compreensão e erudição mais amplas, que vão além das tarefas do SuperGLUE.

Influência e pesquisas futuras

O SuperGLUE, portanto, consolidou-se como uma etapa importante no desenvolvimento de metodologias de avaliação em processamento de linguagem. Nos círculos de entusiastas e acadêmicos, seus resultados tornaram-se uma espécie de "teste de fogo" para novas arquiteturas de LLM: alcançar ou superar o nível humano no SuperGLUE é visto como um sinal de um modelo avançado com profunda compreensão linguística. Isso também se refletiu na prática — muitos modelos de linguagem modernos que alcançaram altos resultados no SuperGLUE formaram a base para sistemas aplicados de perguntas e respostas, agentes de conversação, sistemas de sumarização de texto, entre outros. O SuperGLUE continua a ser usado por pesquisadores para ajuste fino e comparação de algoritmos, embora a vanguarda agora esteja gradualmente se deslocando para novas fronteiras na avaliação da inteligência artificial.

Ligações externas

• Site oficial do SuperGLUE
• Artigo original do SuperGLUE (NeurIPS)
• Artigo da Microsoft sobre o DeBERTa atingindo o nível humano
• Página do dataset SuperGLUE no Papers With Code

Leitura adicional

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.