SuperGLUE (benchmark) (ES)

SuperGLUE es un benchmark integral (un conjunto de tareas de prueba) para evaluar sistemas de procesamiento del lenguaje natural, especialmente modelos de lenguaje grandes (LLM). Fue presentado en 2019 por un grupo de investigadores liderado por Alex Wang de la Universidad de Nueva York, con la participación de Facebook AI Research y otras organizaciones.

La creación de SuperGLUE fue motivada por el hecho de que, a mediados de 2019, el benchmark anterior, GLUE, se había convertido en una «tarea fácil» para los modelos modernos: la puntuación agregada de los mejores modelos en GLUE alcanzó 88.4, superando el rendimiento humano promedio (87.1). Por lo tanto, el margen para un mayor progreso se había reducido. En respuesta, los autores desarrollaron SuperGLUE como una alternativa más desafiante, capaz de proporcionar una evaluación más rigurosa de la comprensión del lenguaje por parte de los modelos. El objetivo de SuperGLUE es ofrecer una métrica de progreso neutral y difícil de «explotar» en el campo de la comprensión general del lenguaje para el idioma inglés. Se esperaba que una mejora notable en los resultados de SuperGLUE requiriera innovaciones significativas en los métodos de aprendizaje automático, como un aprendizaje más eficiente con muestras pequeñas, aprendizaje multitarea y auto-supervisado. En otras palabras, SuperGLUE incluye tareas que son fáciles para los humanos pero difíciles para la inteligencia artificial, con el fin de estimular el desarrollo de modelos con una comprensión del lenguaje verdaderamente profunda.

Características y diferencias con GLUE

SuperGLUE sigue en gran medida el formato de GLUE: ofrece una única puntuación de rendimiento integral a través de un conjunto de tareas, una tabla de clasificación pública y un conjunto de herramientas para el análisis de modelos. Sin embargo, SuperGLUE introduce una serie de mejoras e innovaciones en comparación con su predecesor:

• Tareas más difíciles: SuperGLUE selecciona ocho de las tareas más complicadas. Dos de ellas se heredaron de GLUE (entre las más difíciles allí), mientras que las demás fueron elegidas de nuevas candidatas en función de su dificultad para los modelos de NLP modernos. De este modo, el benchmark se centra en aquellos aspectos de la comprensión donde los modelos habían mostrado previamente los peores resultados.
• Diversidad de formatos: mientras que en GLUE todas las tareas se reducían a la clasificación de oraciones o pares de oraciones, SuperGLUE incluye una gama más amplia de formatos. Además de la clasificación, se han añadido tareas de resolución de correferencias y respuesta a preguntas, que requieren que el modelo comprenda texto coherente y realice inferencias lógicas.
• Evaluación humana en todas las tareas: para cada tarea de SuperGLUE, se ha calculado un nivel de rendimiento humano de referencia (no experto), lo que confirma que incluso modelos potentes como BERT eran sustancialmente inferiores a los humanos en el momento del lanzamiento del benchmark. La existencia de un punto de referencia humano (~90 % en total) proporciona un «margen» para el crecimiento del modelo y sirve como objetivo.
• Reglas y herramientas transparentes: se han revisado las reglas para publicar resultados en la tabla de clasificación (para garantizar una comparación justa y reconocer la contribución de los autores de los conjuntos de datos). También se ha publicado un nuevo conjunto de herramientas de código abierto para facilitar el ajuste fino y el entrenamiento multitarea de modelos con los datos de SuperGLUE.

En conjunto, estas medidas hacen de SuperGLUE una prueba más robusta para las capacidades lingüísticas generalizadas de los modelos, que no permite alcanzar altos resultados mediante trampas específicas o el sobreajuste a los formatos particulares del antiguo GLUE.

Conjunto de tareas de SuperGLUE

SuperGLUE consta de ocho tareas que abarcan diferentes aspectos de la comprensión de texto.

• BoolQ (Boolean Questions): una tarea de respuesta a preguntas (QA) donde a cada ejemplo se le da un texto breve (un extracto de Wikipedia) y una pregunta que debe responderse con «sí» o «no». Las preguntas son formuladas por usuarios (a partir de consultas de búsqueda de Google) y requieren extraer un hecho explícito o implícito del texto; la métrica de rendimiento es la proporción de respuestas correctas (accuracy).
• CB (CommitmentBank): una tarea de inferencia textual (textual entailment) con tres clases. El conjunto de datos consiste en textos breves que contienen oraciones complejas; se requiere determinar hasta qué punto el autor del texto está comprometido con la veracidad de la proposición incrustada. En la práctica, esto evalúa si una afirmación se deduce de un contexto dado. La tarea es difícil debido al pequeño tamaño de la muestra (aprox. 250 ejemplos) y al desequilibrio de clases; el rendimiento se evalúa mediante la precisión y la puntuación F1 promediada por clase.
• COPA (Choice of Plausible Alternatives): una tarea de razonamiento causal. Al modelo se le da una premisa (una oración) y debe elegir la causa o el efecto correcto entre dos opciones. Todos los ejemplos de COPA están formulados manualmente y requieren sentido común para establecer la relación de causa y efecto. La temática incluye situaciones de blogs y una enciclopedia especializada; la métrica es la precisión (proporción de elecciones correctas). Por ejemplo: dada la oración «el niño adquirió inmunidad a la enfermedad» y la pregunta «¿cuál es la causa?», un humano entiende de inmediato que la respuesta correcta es «recibió una vacuna», mientras que un modelo debe inferir la conexión causal.
• MultiRC (Multi-Sentence Reading Comprehension): una tarea de comprensión de lectura multioracional con elementos de opción múltiple. El modelo recibe un párrafo de texto, una pregunta sobre su contenido y una lista de posibles respuestas; debe determinar cuáles de las respuestas son correctas (cada pregunta puede tener varias respuestas correctas). Una característica clave es que, para responder a la pregunta, generalmente se requiere combinar información de varias oraciones del texto, lo que pone a prueba la capacidad del modelo para conectar hechos. El rendimiento se mide con dos métricas: F1 por respuesta (que tiene en cuenta conjuntos parcialmente correctos) y Exact Match, la proporción de preguntas para las que se han dado conjuntos de respuestas completamente correctos.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): una tarea de comprensión de lectura con razonamiento de sentido común. Es una prueba de Cloze modificada: se proporciona un texto de noticias (un artículo de CNN/Daily Mail) y una oración con una entidad omitida; el modelo debe elegir qué entidad del texto encaja en el espacio en blanco. Las opciones de respuesta se definen como todas las entidades mencionadas en el artículo, que pueden ser semánticamente similares. Para resolver la tarea con éxito, se requiere comprensión del contexto y sentido común. Las métricas son el F1 máximo a nivel de token y el Exact Match (coincidencia exacta) de las respuestas predichas.
• RTE (Recognizing Textual Entailment): una tarea de clasificación binaria sobre inferencia textual (entailment vs. not entailment). El conjunto de datos combina ejemplos de varios concursos de reconocimiento de inferencia textual (la serie RTE 1-5). Cada tarea contiene un par de fragmentos de texto (premisa-hipótesis); el modelo debe determinar si la hipótesis se sigue del texto. A diferencia de muchos grandes conjuntos de datos, RTE es bastante pequeño (aprox. 2.500 ejemplos de entrenamiento), pero ha demostrado un beneficio significativo del aprendizaje por transferencia: la precisión aumentó de ~56% (nivel de adivinación aleatoria) a ~86% con la llegada de modelos como BERT. Sin embargo, en el momento del lanzamiento de SuperGLUE, la precisión de los modelos todavía estaba por detrás de la humana en unos 8 puntos porcentuales, por lo que RTE fue incluido como una de las tareas que mantenían una brecha con el rendimiento humano.
• WiC (Word-in-Context): una tarea de desambiguación del sentido de las palabras en contexto (WSD). Se dan dos oraciones independientes, cada una con la misma palabra polisémica; se debe determinar si la palabra se utiliza con el mismo significado en ambos casos. Los datos se extrajeron de recursos léxicos (WordNet, VerbNet, Wiktionary), por lo que abarcan una amplia gama de palabras y significados. La tarea está formalizada como una clasificación binaria y se evalúa por la proporción de respuestas correctas. WiC requiere que el modelo comprenda sutiles diferencias de significado, evaluando de hecho la semántica léxica.
• WSC (Winograd Schema Challenge): una tarea de resolución de correferencias con uso de sentido común. Cada tarea consiste en una oración que contiene un pronombre y una lista de dos entidades (sustantivos) de la misma oración. Se requiere determinar a cuál de los sustantivos propuestos se refiere el pronombre. Un ejemplo clásico de un esquema de Winograd es: «El trofeo no cabía en la maleta porque era demasiado pequeño». Un humano entiende que «era» se refiere a la maleta (la maleta era demasiado pequeña). Ejemplos como este son imposibles de resolver sin conocimiento cotidiano y contexto. En GLUE ya existía una versión simplificada de esta tarea (WNLI), pero durante mucho tiempo los modelos no lograron superar ni siquiera el nivel de azar. Solo técnicas especiales, como la adición de datos externos con ejemplos similares, elevaron el rendimiento de los modelos en WSC a ~90% para 2019. Sin embargo, los humanos resuelven las tareas de WSC prácticamente sin errores (~96-100% de respuestas correctas). En SuperGLUE se incluye la versión original de WSC en formato de clasificación binaria (para cada par «pronombre-entidad», el modelo responde si son correferentes). Esta tarea sigue siendo una de las pruebas más difíciles que requieren razonamiento de sentido común.

Todas las pruebas de SuperGLUE tienen conjuntos de prueba privados con respuestas desconocidas para los desarrolladores. Los modelos envían sus predicciones a un servidor, donde se calcula una puntuación agregada, que es la precisión promediada entre las tareas (para tareas con múltiples métricas, primero se promedian las métricas internas). Esta única puntuación de SuperGLUE simplifica la comparación de modelos en función de su nivel general de inteligencia lingüística.

Resultados y progreso de los modelos

Al lanzar SuperGLUE, los autores presentaron como referencia los resultados de un modelo base potente (un BERT mejorado), y estos resultaron ser significativamente inferiores a los de los humanos en todas las tareas. En promedio, el mejor modelo de la época obtuvo aproximadamente 20 puntos menos que un humano en la métrica agregada. En algunas tareas, la brecha era especialmente grande: por ejemplo, en la tarea WSC, el modelo apenas alcanzaba un ~65% de precisión frente al 100% de un humano (una diferencia de ~35 puntos). Incluso en tareas aparentemente «más fáciles» (BoolQ, CB, RTE, WiC), los sistemas automáticos cedían ~10 puntos frente al nivel humano. Estas diferencias confirmaron que SuperGLUE realmente planteaba un desafío serio para las tecnologías del momento y no podía resolverse de manera trivial.

Sin embargo, solo unos meses después de la aparición de SuperGLUE, comenzó un rápido progreso. A finales de 2019, investigadores de Google presentaron el modelo T5 (Text-To-Text Transfer Transformer) con 11 mil millones de parámetros, que logró una puntuación agregada de 88.9, acercándose mucho al nivel humano de ~89.8. De hecho, T5 mejoró el récord anterior en SuperGLUE en 4.3 puntos de una sola vez y redujo la tasa de error en casi un tercio, dejando solo una brecha mínima de 0.9 puntos con el rendimiento humano. Los desarrolladores señalaron que SuperGLUE fue diseñado deliberadamente para que las tareas fueran simples para los humanos, por lo que el hecho de que un modelo alcanzara un ~89% fue un hito importante.

El primer modelo en superar el rendimiento humano promedio fue DeBERTa (Decoding-enhanced BERT with disentangled attention) de Microsoft. En enero de 2021, los investigadores informaron que una versión de DeBERTa con 1.5 mil millones de parámetros alcanzó una puntuación de 89.9, ligeramente por encima del punto de referencia humano de 89.8. Este fue el primer caso en que un modelo único superó a los humanos en la métrica de SuperGLUE. Además, un ensemble de varios modelos DeBERTa elevó el récord a ~90.3 puntos. El modelo DeBERTa superó al líder anterior (Google T5) en aproximadamente un 0.6% y demostró la eficacia de nuevas ideas en la arquitectura Transformer (representación separada del contenido y la posición de las palabras, un decodificador de máscaras mejorado, etc.).

El progreso no se detuvo ahí: a medida que los modelos de lenguaje crecían en tamaño y complejidad, los resultados en SuperGLUE continuaron mejorando. A finales de 2021, el modelo T-NLRv5 de Microsoft (de la familia Microsoft Turing NLR) se situó en la cima de la tabla de clasificación, aumentando aún más la brecha por encima del nivel humano. Las últimas tareas de GLUE que quedaban sin resolver para las máquinas (por ejemplo, las sutilezas de NLI) fueron «cerradas» por este modelo, que se acercó a la paridad total con los humanos incluso en las subtareas más difíciles.

Para 2022-2023, el umbral del rendimiento humano en SuperGLUE fue superado con confianza por varios modelos grandes e independientes. Por ejemplo, el modelo PaLM de Google (540 mil millones de parámetros), después de un ajuste fino en las tareas de SuperGLUE, alcanzó alrededor de 90.4 puntos, y el modelo GPT-4 (desarrollado por OpenAI) mostró un resultado incluso ligeramente superior. A mediados de 2023, la tabla de líderes de SuperGLUE contaba con varios modelos con puntuaciones superiores a 90 (es decir, que superaban el rendimiento humano promedio). Se puede decir que el benchmark está prácticamente resuelto por los sistemas modernos: el rendimiento de los mejores modelos es tan alto que supera las capacidades de la mayoría de las personas no expertas. Este éxito demuestra el gigantesco progreso en NLP en un corto período de tiempo, pero al mismo tiempo señala la necesidad de nuevas pruebas, aún más complejas, para los modelos más recientes. Ya están apareciendo benchmarks posteriores (por ejemplo, MMLU, BIG-Bench, etc.), diseñados para evaluar los modelos en una comprensión y erudición más amplias, que van más allá de las tareas de SuperGLUE.

Impacto e investigación futura

SuperGLUE, por lo tanto, se ha consolidado como una etapa importante en el desarrollo de metodologías de evaluación en el procesamiento del lenguaje. En los círculos académicos y de entusiastas, sus resultados se han convertido en una especie de «prueba de fuego» para las nuevas arquitecturas de LLM: alcanzar o superar el nivel humano en SuperGLUE se percibe como una señal de un modelo avanzado con una profunda comprensión del lenguaje. Esto también se ha reflejado en la práctica: muchos modelos de lenguaje modernos que han logrado altos resultados en SuperGLUE han servido de base para sistemas aplicados de respuesta a preguntas, agentes conversacionales, sistemas de resumen de texto, etc.. SuperGLUE sigue siendo utilizado por los investigadores para el ajuste fino y la comparación de algoritmos, aunque la vanguardia ahora se está desplazando gradualmente hacia nuevas fronteras en la evaluación de la inteligencia artificial.

Enlaces externos

• Sitio web oficial de SuperGLUE
• Artículo original de SuperGLUE (NeurIPS)
• Artículo de Microsoft sobre DeBERTa alcanzando el nivel humano
• Página del conjunto de datos SuperGLUE en Papers With Code

Bibliografía

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.