--- title: "SuperGLUE (benchmark) (PT)" source: "https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)" wiki: "systems-analysis.info/int" article: "SuperGLUE_(benchmark)_(PT)" language: "pt" categories: - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" - "Category:Portuguese" revision_id: 7013 wiki_created_at: 2026-09-07T00:14:34Z wiki_modified_at: 2026-09-07T00:14:34Z downloaded_at: 2026-09-07T23:16:55Z --- # SuperGLUE (benchmark) (PT) **SuperGLUE** é um **benchmark** (conjunto de tarefas de teste) abrangente para a avaliação de sistemas de processamento de linguagem natural, especialmente **grandes modelos de linguagem** (LLMs)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Foi apresentado em 2019 por um grupo de pesquisadores liderado por Alex Wang, da Universidade de Nova York, com a participação do Facebook AI Research e de outras organizações^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. A criação do SuperGLUE foi motivada pelo fato de que, em meados de 2019, o benchmark anterior, GLUE, havia se tornado uma "tarefa fácil" para os modelos modernos: a pontuação agregada dos melhores modelos no GLUE atingiu 88,4, superando o desempenho humano médio (87,1)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Assim, a margem para progresso futuro diminuiu^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Em resposta, os autores desenvolveram o SuperGLUE como uma alternativa mais desafiadora, capaz de fornecer uma avaliação mais rigorosa da compreensão de linguagem dos modelos^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. O objetivo do SuperGLUE é oferecer uma medida neutra e difícil de "treinar" para o progresso na compreensão geral da linguagem para o idioma inglês^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Esperava-se que uma melhoria significativa nos resultados do SuperGLUE exigisse inovações substanciais nos métodos de aprendizado de máquina — por exemplo, treinamento mais eficiente em amostras pequenas, aprendizado multitarefa e auto-supervisionado^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Em outras palavras, o SuperGLUE inclui tarefas que são fáceis para humanos, mas difíceis para a inteligência de máquina^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}, a fim de estimular o desenvolvimento de modelos com uma compreensão verdadeiramente profunda da linguagem. ## Características e diferenças em relação ao GLUE O SuperGLUE segue em grande parte o formato do GLUE — ele oferece uma **métrica de desempenho unificada** para um conjunto de tarefas, um **placar de líderes** (leaderboard) público e um **conjunto de ferramentas** para análise de modelos^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. No entanto, o SuperGLUE introduz várias melhorias e inovações em comparação com seu antecessor^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}: - **Tarefas mais difíceis**: o SuperGLUE selecionou **oito das tarefas mais desafiadoras**^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Duas delas foram herdadas do GLUE (estando entre as mais difíceis lá), enquanto as outras foram escolhidas a partir de novas candidatas com base em sua complexidade para os modelos de PNL modernos^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Assim, o benchmark foca nos aspectos da compreensão onde os modelos anteriormente apresentavam os piores resultados. - **Diversidade de formatos**: enquanto no GLUE todas as tarefas se resumiam à classificação de sentenças ou pares de sentenças, o SuperGLUE inclui uma **gama mais ampla de formatos**^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Além da classificação, foram adicionadas tarefas de **resolução de correferência** e **resposta a perguntas**, que exigem que o modelo compreenda textos coesos e realize **inferência lógica**^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. - **Avaliação humana em todas as tarefas**: para cada tarefa do SuperGLUE, foi calculado um **nível de desempenho humano de base** (não especialista)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}, confirmando que mesmo modelos robustos como o BERT estavam significativamente atrás dos humanos no lançamento do benchmark^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. A existência de uma **referência humana** (~90% no agregado) fornece uma "margem" para o crescimento do modelo e serve como um alvo a ser alcançado^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. - **Regras e ferramentas transparentes**: as regras para a publicação de resultados no placar de líderes foram revisadas (para garantir uma comparação justa e o reconhecimento da contribuição dos autores dos datasets)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Também foi lançado um novo conjunto de ferramentas de código aberto para facilitar o ajuste fino e o treinamento multitarefa de modelos com os dados do SuperGLUE^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Em conjunto, essas medidas tornam o SuperGLUE um teste mais robusto para as **capacidades linguísticas generalizadas** dos modelos, impedindo que resultados elevados sejam alcançados por meio de "trapaças" específicas (cheating) ou ajuste excessivo aos formatos do antigo GLUE^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. ## Conjunto de tarefas do SuperGLUE O SuperGLUE consiste em **oito tarefas**, que abrangem diferentes aspectos da compreensão de texto. - **BoolQ** (Boolean Questions): uma tarefa de **perguntas e respostas (QA)**, onde cada exemplo consiste em um texto curto (um trecho da Wikipédia) e uma pergunta que deve ser respondida com "sim" ou "não"^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. As perguntas são formuladas por usuários (a partir de consultas de busca do Google) e exigem a extração de um fato explícito ou implícito do texto; a métrica de qualidade é a proporção de respostas corretas (acurácia)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. - **CB** (CommitmentBank): uma tarefa de **implicação lógica** (textual entailment) com três classes^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. O dataset é composto por textos curtos contendo sentenças complexas; a tarefa é determinar até que ponto o autor do texto está **comprometido com a veracidade** da proposição aninhada^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Na prática, trata-se de verificar se uma afirmação pode ser inferida a partir de um determinado contexto. A tarefa é difícil devido ao pequeno tamanho da amostra (cerca de 250 exemplos) e ao desequilíbrio das classes; a qualidade é avaliada pela acurácia e pela F1-score, com média entre as classes^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. - **COPA** (Choice of Plausible Alternatives): uma tarefa de **raciocínio causal**^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. O modelo recebe uma premissa (uma única sentença) e deve escolher a causa ou o efeito correto entre duas opções^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Todos os exemplos do COPA são formulados manualmente e exigem **senso comum** para estabelecer a relação de causa e efeito. Os temas incluem situações de blogs e de uma enciclopédia especializada; a métrica é a acurácia (proporção de escolhas corretas)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Exemplo: dada a frase "a criança adquiriu imunidade à doença" e a pergunta "qual foi a causa?", um humano entende imediatamente que a resposta correta é "ela recebeu uma vacina", enquanto um modelo precisa adivinhar a relação causal^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. - **MultiRC** (Multi-Sentence Reading Comprehension): uma tarefa de **compreensão de leitura de múltiplas sentenças** com elementos de múltipla escolha^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. O modelo recebe um parágrafo de texto, uma pergunta sobre seu conteúdo e uma lista de respostas possíveis; é preciso determinar quais respostas são corretas (cada pergunta pode ter várias respostas certas)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Uma característica é que, para responder à pergunta, geralmente é necessário combinar informações de várias sentenças do texto, o que testa a capacidade do modelo de **conectar fatos**^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. A qualidade é medida por duas métricas: F1 por respostas (que considera conjuntos parcialmente corretos) e Exact Match (Correspondência Exata) - a proporção de perguntas para as quais foram dados conjuntos de respostas totalmente corretos^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. - **ReCoRD** (Reading Comprehension with Commonsense Reasoning Dataset): uma tarefa de **compreensão de leitura com uso de conhecimento de senso comum**^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. É um teste Cloze modificado: um texto de notícias (um artigo da CNN/Daily Mail) e uma sentença com uma entidade omitida são fornecidos; o modelo deve escolher qual entidade do texto se encaixa no espaço em branco^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. As opções de resposta são todas as entidades mencionadas no artigo, que podem ter significados semelhantes^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. A solução bem-sucedida requer compreensão do contexto e senso comum. As métricas são o F1 máximo no nível do token e o Exact Match (correspondência exata) nas respostas previstas^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. - **RTE** (Recognizing Textual Entailment): uma tarefa de classificação binária de **implicação textual** (entailment vs. not entailment)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. O conjunto de dados combina exemplos de várias competições de reconhecimento de implicação textual (séries RTE 1-5)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Cada tarefa contém um par de fragmentos de texto (premissa-hipótese); o modelo deve determinar se a hipótese decorre do texto. Ao contrário de muitos grandes conjuntos de dados, o RTE é bastante pequeno (cerca de 2,5 mil exemplos de treinamento), mas mostrou ganhos significativos com o aprendizado por transferência: a acurácia aumentou de ~56% (nível de adivinhação aleatória) para ~86% com o surgimento de modelos como o BERT^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. No entanto, no lançamento do SuperGLUE, a acurácia dos modelos ainda estava cerca de 8 pontos percentuais abaixo do nível humano^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}, razão pela qual o RTE foi incluído como uma das tarefas que mantinham uma lacuna em relação ao desempenho humano. - **WiC** (Word-in-Context): uma tarefa de **resolução de ambiguidade de sentido de palavra em contexto** (WSD)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. São dadas duas sentenças independentes, cada uma contendo a mesma palavra polissêmica; é preciso determinar se a palavra foi usada **com o mesmo sentido** em ambos os casos^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Os dados são extraídos de recursos lexicais (WordNet, VerbNet, Wiktionary), cobrindo uma vasta gama de palavras e significados^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. A tarefa é formalizada como uma classificação binária e avaliada pela proporção de respostas corretas. O WiC exige que o modelo compreenda distinções semânticas sutis, testando efetivamente a **semântica lexical**. - **WSC** (Winograd Schema Challenge): uma tarefa de **resolução de correferência com uso de senso comum**^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Cada tarefa consiste em uma única sentença contendo um pronome e uma lista de duas entidades (substantivos) da mesma sentença^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. É necessário determinar a qual dos substantivos propostos o **pronome se refere**^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Exemplo da clássica frase de Winograd: “O troféu não coube na mala porque ela era muito pequena” – um humano entende que “ela” se refere à mala (a mala era muito pequena). Tais exemplos são impossíveis de resolver sem **conhecimento cotidiano e contexto**^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Uma versão simplificada dessa tarefa (WNLI) já estava presente no GLUE, mas por muito tempo os modelos não conseguiram superar nem mesmo o nível de aleatoriedade^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Apenas técnicas especiais, como a adição de dados externos com exemplos semelhantes, elevaram a qualidade dos modelos no WSC para ~90% em 2019^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. No entanto, os humanos resolvem as tarefas do WSC praticamente sem erros (~96-100% de respostas corretas)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. O SuperGLUE inclui a versão original do WSC no formato de classificação binária (para cada par "pronome-entidade", o modelo responde se eles coincidem em referência)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Esta tarefa permanece um dos testes mais difíceis que exigem raciocínio de senso comum. Todos os testes do SuperGLUE possuem **conjuntos de teste privados** com respostas desconhecidas para os desenvolvedores^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Os modelos enviam suas previsões para um servidor, onde uma pontuação agregada é calculada — a média da acurácia entre as tarefas (para tarefas com múltiplas métricas, a métrica interna é primeiro calculada)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Essa pontuação única, o **SuperGLUE score**, simplifica a comparação dos modelos em termos de seu nível geral de inteligência linguística. ## Resultados e progresso dos modelos No lançamento do SuperGLUE, os autores apresentaram os resultados de um modelo de base forte (um BERT aprimorado) como referência – e eles se mostraram **significativamente inferiores aos humanos** em todas as tarefas^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Em média, o melhor modelo da época obteve cerca de **20 pontos a menos** que um humano na métrica integrada^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Em tarefas específicas, a diferença era particularmente grande: por exemplo, na tarefa WSC, o modelo mal alcançava ~65% de acurácia contra 100% de um humano (uma diferença de ~35 pontos)^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Mesmo em tarefas aparentemente mais "simples" (BoolQ, CB, RTE, WiC), os sistemas automáticos ficavam ~10 pontos abaixo do nível humano^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. Essas diferenças confirmaram que o SuperGLUE realmente representava um desafio sério para as tecnologias da época e não podia ser resolvido de forma trivial. No entanto, apenas alguns meses após o surgimento do SuperGLUE, um **rápido progresso** começou^{[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-neurips-main-1)}. No final de 2019, pesquisadores do Google apresentaram o modelo **T5** (Text-To-Text Transfer Transformer) com 11 bilhões de parâmetros, que alcançou um resultado agregado de 88,9, aproximando-se muito do nível humano de ~89,8^{[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-reddit-t5-2)}. De fato, o T5 melhorou o recorde anterior no SuperGLUE em 4,3 pontos e reduziu a taxa de erro em quase um terço^{[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-reddit-t5-2)}, deixando apenas uma lacuna mínima de **0,9 ponto** para o desempenho humano^{[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-reddit-t5-2)}. Os desenvolvedores observaram que o SuperGLUE foi deliberadamente projetado para que as tarefas fossem fáceis para os humanos, tornando o desempenho do modelo em ~89% um marco importante^{[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-reddit-t5-2)}. O primeiro a conseguir **superar a qualidade humana média** foi o modelo da Microsoft, **DeBERTa** (Decoding-enhanced BERT with disentangled attention)^{[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-deberta-3)}. Em janeiro de 2021, os pesquisadores relataram que a versão do DeBERTa com 1,5 bilhão de parâmetros alcançou **89,9 pontos**, um pouco acima da referência humana de 89,8^{[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-deberta-3)}. Este foi o **primeiro caso** em que um único modelo superou os humanos na métrica SuperGLUE^{[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-deberta-3)}. Além disso, um ensemble de vários modelos DeBERTa elevou o recorde para ~90,3 pontos^{[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-deberta-3)}. O modelo DeBERTa superou o líder anterior (Google T5) em cerca de 0,6% e demonstrou a eficácia de novas ideias na arquitetura Transformer (representação separada de conteúdo e posição das palavras, um decodificador de máscara aprimorado, etc.)^{[\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-syncedreview-deberta-4)}. O progresso não parou por aí: à medida que o tamanho e a complexidade dos modelos de linguagem aumentavam, os resultados no SuperGLUE continuaram a melhorar^{[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-scaling-5)}. No final de 2021, o topo do placar de líderes era ocupado pelo modelo da Microsoft **T-NLRv5** (da família Microsoft Turing NLR) — ele aumentou ainda mais a diferença em relação ao nível humano^{[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-scaling-5)}. As últimas tarefas do GLUE que ainda não haviam sido resolvidas por máquinas (por exemplo, as sutilezas do NLI) foram "fechadas" por este modelo, que se aproximou muito da **paridade total com os humanos** mesmo nas subtarefas mais difíceis^{[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-scaling-5)}. Em 2022-2023, o limiar do nível humano no SuperGLUE foi superado com confiança por vários grandes modelos independentes^{[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-ainavigator-benchmarks-6)}. Por exemplo, o modelo **PaLM** do Google (540 bilhões de parâmetros), após ajuste fino nas tarefas do SuperGLUE, alcançou cerca de 90,4 pontos, e o modelo **GPT-4** (desenvolvido pela OpenAI) mostrou um resultado ainda ligeiramente superior^{[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-ainavigator-benchmarks-6)}. Em meados de 2023, o placar de líderes do SuperGLUE contava com vários modelos com resultados acima de 90 (ou seja, superando o nível humano médio)^{[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-ainavigator-benchmarks-6)}. Pode-se dizer que o benchmark está **praticamente resolvido** pelos sistemas modernos^{[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-ainavigator-benchmarks-6)}: o desempenho dos melhores modelos é tão alto que excede as capacidades da maioria dos humanos não qualificados^{[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-ainavigator-benchmarks-6)}. Esse sucesso demonstra o progresso gigantesco na PNL em um curto período, mas também aponta para a necessidade de testes novos e ainda mais complexos para os modelos mais recentes^{[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-ainavigator-benchmarks-6)}. Já estão surgindo benchmarks subsequentes (por exemplo, MMLU, BIG-Bench, etc.), projetados para testar os modelos em uma compreensão e erudição mais amplas, que vão além das tarefas do SuperGLUE^{[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-ainavigator-benchmarks-6)}. ## Influência e pesquisas futuras O SuperGLUE, portanto, consolidou-se como uma **etapa importante no desenvolvimento de metodologias de avaliação** em processamento de linguagem^{[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-deberta-3)}. Nos círculos de entusiastas e acadêmicos, seus resultados tornaram-se uma espécie de "teste de fogo" para novas arquiteturas de LLM: alcançar ou superar o nível humano no SuperGLUE é visto como um sinal de um modelo avançado com profunda compreensão linguística^{[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-deberta-3)}. Isso também se refletiu na prática — muitos modelos de linguagem modernos que alcançaram altos resultados no SuperGLUE formaram a base para sistemas aplicados de perguntas e respostas, agentes de conversação, sistemas de sumarização de texto, entre outros^{[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_note-microsoft-deberta-3)}. O SuperGLUE continua a ser usado por pesquisadores para ajuste fino e comparação de algoritmos, embora a vanguarda agora esteja gradualmente se deslocando para novas fronteiras na avaliação da inteligência artificial. ## Ligações externas - Site oficial do SuperGLUE - Artigo original do SuperGLUE (NeurIPS) - Artigo da Microsoft sobre o DeBERTa atingindo o nível humano - Página do dataset SuperGLUE no Papers With Code ## Leitura adicional - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Notas 1. ↑ ^{[1.00](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-0)} ^{[1.01](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-1)} ^{[1.02](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-2)} ^{[1.03](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-3)} ^{[1.04](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-4)} ^{[1.05](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-5)} ^{[1.06](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-6)} ^{[1.07](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-7)} ^{[1.08](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-8)} ^{[1.09](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-9)} ^{[1.10](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-10)} ^{[1.11](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-11)} ^{[1.12](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-12)} ^{[1.13](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-13)} ^{[1.14](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-14)} ^{[1.15](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-15)} ^{[1.16](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-16)} ^{[1.17](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-17)} ^{[1.18](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-18)} ^{[1.19](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-19)} ^{[1.20](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-20)} ^{[1.21](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-21)} ^{[1.22](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-22)} ^{[1.23](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-23)} ^{[1.24](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-24)} ^{[1.25](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-25)} ^{[1.26](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-26)} ^{[1.27](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-27)} ^{[1.28](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-28)} ^{[1.29](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-29)} ^{[1.30](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-30)} ^{[1.31](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-31)} ^{[1.32](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-32)} ^{[1.33](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-33)} ^{[1.34](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-34)} ^{[1.35](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-35)} ^{[1.36](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-36)} ^{[1.37](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-37)} ^{[1.38](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-38)} ^{[1.39](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-39)} ^{[1.40](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-40)} ^{[1.41](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-41)} ^{[1.42](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-42)} ^{[1.43](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-43)} ^{[1.44](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-44)} ^{[1.45](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-45)} ^{[1.46](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-46)} ^{[1.47](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-47)} ^{[1.48](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-48)} ^{[1.49](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-49)} ^{[1.50](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-50)} ^{[1.51](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-51)} ^{[1.52](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-52)} ^{[1.53](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-53)} ^{[1.54](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-54)} ^{[1.55](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-55)} ^{[1.56](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-56)} ^{[1.57](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-57)} ^{[1.58](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-neurips-main_1-58)} Wang, Alex et al. (2019). “SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems”. *NeurIPS*. [1] 2. ↑ ^{[2.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-reddit-t5_2-0)} ^{[2.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-reddit-t5_2-1)} ^{[2.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-reddit-t5_2-2)} ^{[2.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-reddit-t5_2-3)} “Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline”. *Reddit /r/linguistics*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-deberta_3-0)} ^{[3.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-deberta_3-1)} ^{[3.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-deberta_3-2)} ^{[3.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-deberta_3-3)} ^{[3.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-deberta_3-4)} ^{[3.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-deberta_3-5)} ^{[3.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-deberta_3-6)} “Microsoft DeBERTa surpasses human performance on the SuperGLUE benchmark”. *Microsoft Research Blog*. [3] 4. [↑](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-syncedreview-deberta_4-0) “Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark”. *Synced Review*. [4] 5. ↑ ^{[5.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-scaling_5-0)} ^{[5.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-scaling_5-1)} ^{[5.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-microsoft-scaling_5-2)} “Efficiently and effectively scaling up language model pretraining for best language representation model on GLUE and SuperGLUE”. *Microsoft Research Blog*. [5] 6. ↑ ^{[6.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-ainavigator-benchmarks_6-0)} ^{[6.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-ainavigator-benchmarks_6-1)} ^{[6.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-ainavigator-benchmarks_6-2)} ^{[6.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-ainavigator-benchmarks_6-3)} ^{[6.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-ainavigator-benchmarks_6-4)} ^{[6.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-ainavigator-benchmarks_6-5)} ^{[6.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(PT)#cite_ref-ainavigator-benchmarks_6-6)} “The Ultimate Guide to AI Benchmarks”. *The AI Navigator*. [6]