SuperGLUE (benchmark) (DE)

SuperGLUE ist ein umfassender Benchmark (eine Sammlung von Testaufgaben) zur Bewertung von Systemen zur Verarbeitung natürlicher Sprache, insbesondere von großen Sprachmodellen (LLMs). Er wurde 2019 von einer Forschergruppe unter der Leitung von Alex Wang von der New York University in Zusammenarbeit mit Facebook AI Research und anderen Organisationen vorgestellt.

Die Entwicklung von SuperGLUE wurde notwendig, da der vorherige Benchmark GLUE bis Mitte 2019 für moderne Modelle zu einer „einfachen Aufgabe“ geworden war: Die Gesamtpunktzahl der besten Modelle auf GLUE erreichte 88,4 und übertraf damit das durchschnittliche menschliche Niveau (87,1). Dadurch verringerte sich der Spielraum für weitere Fortschritte. Als Reaktion darauf entwickelten die Autoren SuperGLUE als eine anspruchsvollere Alternative, die eine strengere Überprüfung des Sprachverständnisses von Modellen ermöglicht. Das Ziel von SuperGLUE ist es, eine neutrale und schwer zu „überlernende“ Metrik für den Fortschritt im allgemeinen Sprachverständnis für die englische Sprache bereitzustellen. Es wurde erwartet, dass eine signifikante Verbesserung der Ergebnisse auf SuperGLUE wesentliche Innovationen in den Methoden des maschinellen Lernens erfordern würde – zum Beispiel effizienteres Lernen mit kleinen Stichproben, Multi-Task-Learning und Self-Supervised Learning. Mit anderen Worten, SuperGLUE enthält Aufgaben, die für Menschen einfach, aber für künstliche Intelligenz schwierig sind, um die Entwicklung von Modellen mit einem wirklich tiefen Sprachverständnis zu fördern.

Merkmale und Unterschiede zu GLUE

SuperGLUE folgt in vielerlei Hinsicht dem Format von GLUE – es bietet eine einzige aggregierte Qualitätsmetrik über eine Reihe von Aufgaben, ein öffentliches Leaderboard und ein Toolkit zur Analyse von Modellen. SuperGLUE bringt jedoch eine Reihe von Verbesserungen und Neuerungen gegenüber seinem Vorgänger mit sich:

• Anspruchsvollere Aufgaben: Für SuperGLUE wurden acht der schwierigsten Aufgaben ausgewählt. Zwei davon wurden von GLUE übernommen (als einige der schwierigsten dort), die restlichen wurden aus neuen Kandidaten aufgrund ihrer Schwierigkeit für moderne NLP-Modelle ausgewählt. Somit konzentriert sich der Benchmark auf jene Aspekte des Verständnisses, bei denen Modelle zuvor die schlechtesten Ergebnisse zeigten.
• Vielfältige Formate: Während bei GLUE alle Aufgaben auf die Klassifizierung von Sätzen oder Satzpaaren hinausliefen, umfasst SuperGLUE ein breiteres Spektrum an Formaten. Neben der Klassifizierung wurden Aufgaben zur Koreferenzauflösung und zur Beantwortung von Fragen hinzugefügt, die vom Modell das Verständnis zusammenhängender Texte und logisches Schließen erfordern.
• Menschliche Bewertung für alle Aufgaben: Für jede Aufgabe in SuperGLUE wurde eine Baseline für die menschliche Leistung (Nicht-Experten) berechnet, was bestätigt, dass selbst starke Modelle wie BERT zum Zeitpunkt der Einführung des Benchmarks den Menschen deutlich unterlegen waren. Das Vorhandensein eines menschlichen Referenzwerts (insgesamt ca. 90 %) bietet einen „Puffer“ für das Wachstum der Modelle und dient als Zielvorgabe.
• Transparente Regeln und Werkzeuge: Die Regeln für die Veröffentlichung von Ergebnissen auf dem Leaderboard wurden überarbeitet, um einen fairen Vergleich zu gewährleisten und die Beiträge der Datensatz-Autoren zu würdigen. Zudem wurde ein neues Open-Source-Toolkit veröffentlicht, um das Finetuning und das Multi-Task-Learning von Modellen auf SuperGLUE-Daten zu erleichtern.

Zusammengenommen machen diese Maßnahmen SuperGLUE zu einem zuverlässigeren Test für die verallgemeinerten Sprachfähigkeiten von Modellen, der es nicht erlaubt, hohe Ergebnisse durch enges „Cheating“ oder eine Anpassung an die spezifischen Formate des früheren GLUE zu erzielen.

Der Aufgabensatz von SuperGLUE

SuperGLUE besteht aus acht Aufgaben, die verschiedene Aspekte des Textverständnisses abdecken.

• BoolQ (Boolean Questions): Eine Aufgabe vom Typ Frage-Antwort (QA), bei der zu jedem Beispiel ein kurzer Text (ein Auszug aus Wikipedia) und eine Frage gegeben werden, die mit „Ja“ oder „Nein“ beantwortet werden muss. Die Fragen wurden von Nutzern formuliert (aus Google-Suchanfragen) und erfordern das Extrahieren expliziter oder impliziter Fakten aus dem Text; die Qualitätsmetrik ist der Anteil korrekter Antworten (Accuracy).
• CB (CommitmentBank): Eine Aufgabe zur logischen Folgerung (Textual Entailment) mit drei Klassen. Der Datensatz besteht aus kurzen Texten mit komplexen Satzgefügen; es muss bestimmt werden, inwieweit der Autor des Textes sich auf die Wahrheit der eingebetteten Aussage festlegt. Im Grunde wird geprüft, ob eine Aussage aus dem gegebenen Kontext abgeleitet werden kann. Die Aufgabe ist aufgrund des kleinen Stichprobenumfangs (ca. 250 Beispiele) und der unausgewogenen Klassenverteilung schwierig; die Qualität wird anhand der Genauigkeit und des F1-Scores, gemittelt über die Klassen, bewertet.
• COPA (Choice of Plausible Alternatives): Eine Aufgabe zum kausalen Schließen. Dem Modell wird eine Prämisse (ein Satz) gegeben, und es muss die richtige Ursache oder Folge aus zwei Optionen auswählen. Alle COPA-Beispiele sind manuell formuliert und erfordern gesunden Menschenverstand, um eine Ursache-Wirkungs-Beziehung herzustellen. Die Themen umfassen Situationen aus Blogs und einer spezialisierten Enzyklopädie; die Metrik ist die Genauigkeit (Anteil der richtigen Wahlen). Beispiel: Gegeben ist der Satz „Das Kind entwickelte eine Immunität gegen die Krankheit“ und die Frage „Was ist die Ursache?“ – ein Mensch versteht sofort, dass die richtige Antwort „Es erhielt einen Impfstoff“ ist, während Modelle die kausale Verbindung erraten müssen.
• MultiRC (Multi-Sentence Reading Comprehension): Eine Aufgabe zum Leseverständnis über mehrere Sätze mit Multiple-Choice-Elementen. Das Modell erhält einen Textabschnitt, eine Frage zu dessen Inhalt und eine Liste möglicher Antworten; es muss bestimmen, welche Antworten richtig sind (bei jeder Frage können mehrere Antworten korrekt sein). Eine Besonderheit ist, dass zur Beantwortung der Frage in der Regel Informationen aus mehreren Sätzen des Textes kombiniert werden müssen, was die Fähigkeit des Modells zur Verknüpfung von Fakten prüft. Die Qualität wird mit zwei Metriken gemessen: F1 über die Antworten (berücksichtigt teilweise korrekte Antwortsätze) und Exact Match – der Anteil der Fragen, bei denen alle Antworten vollständig korrekt sind.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): Eine Aufgabe zum Leseverständnis unter Einbeziehung von Allgemeinwissen. Es handelt sich um einen modifizierten Cloze-Test: Gegeben sind ein Nachrichtentext (ein Artikel von CNN/Daily Mail) und ein Satz mit einem fehlenden Substantiv (Entität); das Modell muss auswählen, welche Entität aus dem Text an die Stelle der Lücke passt. Als Antwortmöglichkeiten werden alle im Artikel erwähnten Entitäten vorgegeben, die inhaltlich ähnlich sein können. Eine erfolgreiche Lösung erfordert Kontextverständnis und gesunden Menschenverstand. Die Metriken sind der maximale Token-Level-F1 und Exact Match (exakte Übereinstimmung) für die vorhergesagten Antworten.
• RTE (Recognizing Textual Entailment): Eine binäre Klassifikationsaufgabe zum Textual Entailment (Entailment vs. Non-Entailment). Der Datensatz vereint Beispiele aus mehreren Wettbewerben zur Erkennung von textuellen Folgerungen (RTE-Serie 1-5). Jede Aufgabe enthält ein Paar von Textfragmenten (Prämisse-Hypothese); das Modell muss bestimmen, ob die Hypothese aus dem Text folgt. Im Gegensatz zu vielen großen Datensätzen ist RTE recht klein (ca. 2.500 Trainingsbeispiele), hat aber erheblich vom Transfer-Learning profitiert: Die Genauigkeit stieg von ~56 % (Zufallsniveau) auf ~86 % mit dem Aufkommen von Modellen wie BERT. Dennoch lag die Genauigkeit der Modelle zum Zeitpunkt der Einführung von SuperGLUE immer noch etwa 8 Prozentpunkte unter der des Menschen, weshalb RTE als eine der Aufgaben aufgenommen wurde, bei denen noch ein Abstand zum menschlichen Niveau bestand.
• WiC (Word-in-Context): Eine Aufgabe zur Disambiguierung der Wortbedeutung im Kontext (WSD). Gegeben sind zwei unabhängige Sätze, in denen jeweils dasselbe mehrdeutige Wort vorkommt; es muss bestimmt werden, ob dieses Wort in beiden Fällen in derselben Bedeutung verwendet wird. Die Daten stammen aus lexikalischen Ressourcen (WordNet, VerbNet, Wiktionary) und decken daher ein breites Spektrum an Wörtern und Bedeutungen ab. Die Aufgabe ist als binäre Klassifikation formuliert und wird nach dem Anteil korrekter Antworten bewertet. WiC erfordert vom Modell das Verständnis feiner semantischer Unterschiede und prüft damit faktisch die lexikalische Semantik.
• WSC (Winograd Schema Challenge): Eine Aufgabe zur Koreferenzauflösung unter Verwendung von gesundem Menschenverstand. Jede Aufgabe besteht aus einem Satz, der ein Pronomen enthält, und einer Liste von zwei Entitäten (Substantiven) aus demselben Satz. Es muss bestimmt werden, auf welches der vorgeschlagenen Substantive sich das Pronomen bezieht. Ein klassisches Winograd-Schema-Beispiel lautet: „Die Trophäe passte nicht in den Koffer, weil er zu klein war“ – ein Mensch versteht, dass „er“ sich auf den Koffer bezieht (der Koffer war zu klein). Solche Beispiele lassen sich ohne Alltagswissen und Kontext nicht lösen. In GLUE gab es bereits eine vereinfachte Version dieser Aufgabe (WNLI), aber die Modelle konnten lange Zeit nicht einmal das Zufallsniveau übertreffen. Erst spezielle Techniken, wie das Hinzufügen externer Daten mit ähnlichen Beispielen, hoben die Leistung der Modelle auf WSC bis 2019 auf ~90 % an. Menschen lösen WSC-Aufgaben jedoch praktisch fehlerfrei (~96-100 % richtige Antworten). In SuperGLUE ist die Originalversion von WSC als binäre Klassifikationsaufgabe enthalten (für jedes Paar „Pronomen-Entität“ antwortet das Modell, ob sie referenziell übereinstimmen). Diese Aufgabe bleibt einer der schwierigsten Tests, der Common-Sense-Reasoning erfordert.

Alle Tests von SuperGLUE haben private Testdatensätze mit für die Entwickler unbekannten Antworten. Die Modelle senden ihre Vorhersagen an einen Server, auf dem eine Gesamtpunktzahl berechnet wird – die über die Aufgaben gemittelte Genauigkeit (bei Aufgaben mit mehreren Metriken wird zuerst die interne Metrik gemittelt). Dieser einheitliche SuperGLUE-Score vereinfacht den Vergleich von Modellen hinsichtlich ihres allgemeinen sprachlichen Intelligenzniveaus.

Ergebnisse und Fortschritt der Modelle

Bei der Einführung von SuperGLUE gaben die Autoren als Referenz die Ergebnisse eines starken Basismodells (eines verbesserten BERT) an – und diese fielen bei allen Aufgaben deutlich schlechter als die menschlichen aus. Im Durchschnitt erreichte das beste Modell zu diesem Zeitpunkt etwa 20 Punkte weniger als der Mensch in der Gesamtmetrik. Bei einzelnen Aufgaben war der Unterschied besonders groß: So erreichte das Modell bei der WSC-Aufgabe kaum ~65 % Genauigkeit gegenüber 100 % beim Menschen (ein Rückstand von ~35 Punkten). Selbst bei den auf den ersten Blick „einfacheren“ Aufgaben (BoolQ, CB, RTE, WiC) lagen die automatischen Systeme ~10 Punkte unter dem menschlichen Niveau. Diese Unterschiede bestätigten, dass SuperGLUE eine ernsthafte Herausforderung für die damaligen Technologien darstellte und nicht trivial gelöst werden konnte.

Dennoch begann nur wenige Monate nach dem Erscheinen von SuperGLUE ein rascher Fortschritt. Ende 2019 stellten Forscher von Google das Modell T5 (Text-To-Text Transfer Transformer) mit 11 Milliarden Parametern vor, das ein Gesamtergebnis von 88,9 erreichte und sich damit dem menschlichen Niveau von ~89,8 annäherte. Tatsächlich verbesserte T5 den bisherigen Rekord auf SuperGLUE um 4,3 Punkte und reduzierte die Fehlerrate um fast ein Drittel, sodass nur noch ein minimaler Abstand von 0,9 Punkten zur menschlichen Leistung verblieb. Die Entwickler merkten an, dass die Aufgaben in SuperGLUE bewusst so gewählt wurden, dass sie für Menschen einfach sind, weshalb das Erreichen eines Niveaus von ~89 % durch ein Modell ein wichtiger Meilenstein war.

Das erste Modell, dem es gelang, die durchschnittliche menschliche Leistung zu übertreffen, war DeBERTa (Decoding-enhanced BERT with disentangled attention) von Microsoft. Im Januar 2021 berichteten die Forscher, dass eine Version von DeBERTa mit 1,5 Milliarden Parametern 89,9 Punkte erreichte und damit knapp über dem menschlichen Referenzwert von 89,8 lag. Dies war das erste Mal, dass ein einzelnes Modell den Menschen in der SuperGLUE-Metrik übertraf. Darüber hinaus steigerte ein Ensemble aus mehreren DeBERTa-Modellen den Rekord auf ~90,3 Punkte. Das DeBERTa-Modell übertraf den bisherigen Spitzenreiter (Google T5) um etwa 0,6 % und demonstrierte die Wirksamkeit neuer Ideen in der Transformer-Architektur (getrennte Darstellung von Wortinhalt und -position, verbesserter Masken-Decoder usw.).

Der Fortschritt hörte hier nicht auf: Mit zunehmender Größe und Komplexität der Sprachmodelle verbesserten sich die SuperGLUE-Ergebnisse weiter. Ende 2021 stand das Microsoft-Modell T-NLRv5 (aus der Microsoft Turing NLR-Familie) an der Spitze des Leaderboards – es vergrößerte den Abstand zum menschlichen Niveau noch weiter. Die letzten für Maschinen ungelösten GLUE-Aufgaben (z. B. Feinheiten von NLI) wurden von diesem Modell „geschlossen“, das sich selbst bei den schwierigsten Teilaufgaben einer vollständigen Parität mit dem Menschen annäherte.

In den Jahren 2022-2023 wurde die Schwelle der menschlichen Leistung auf SuperGLUE von mehreren unabhängigen großen Modellen souverän überschritten. So erreichte beispielsweise das Modell PaLM von Google (540 Mrd. Parameter) nach einem Finetuning auf SuperGLUE-Aufgaben etwa 90,4 Punkte, und das Modell GPT-4 (entwickelt von OpenAI) zeigte ein sogar noch etwas höheres Ergebnis. Mitte 2023 gab es in der SuperGLUE-Rangliste mehrere Modelle mit Ergebnissen über 90 (d. h. über dem durchschnittlichen menschlichen Niveau). Man kann sagen, dass der Benchmark von modernen Systemen praktisch gelöst wurde: Die Leistungen der besten Modelle sind so hoch, dass sie die Fähigkeiten der meisten nicht qualifizierten Menschen übertreffen. Dieser Erfolg zeugt von dem gigantischen Fortschritt im Bereich NLP in kurzer Zeit, weist aber gleichzeitig auf die Notwendigkeit neuer, noch komplexerer Tests für die neuesten Modelle hin. Es entstehen bereits nachfolgende Benchmarks (z. B. MMLU, BIG-Bench u. a.), die darauf abzielen, Modelle auf ein breiteres Verständnis und Allgemeinwissen zu prüfen, das über die Aufgaben von SuperGLUE hinausgeht.

Einfluss und weitere Forschung

SuperGLUE hat sich somit als wichtiger Meilenstein in der Entwicklung von Bewertungsmethoden in der Sprachverarbeitung etabliert. In Enthusiasten- und Wissenschaftskreisen sind seine Ergebnisse zu einer Art „Lackmustest“ für neue LLM-Architekturen geworden: Das Erreichen oder Übertreffen des menschlichen Niveaus auf SuperGLUE wird als Zeichen eines fortschrittlichen Modells mit tiefem Sprachverständnis angesehen. Dies spiegelte sich auch in der Praxis wider – viele moderne Sprachmodelle, die hohe Ergebnisse auf SuperGLUE erzielten, bildeten die Grundlage für angewandte Systeme wie Frage-Antwort-Systeme, Dialogagenten, Textzusammenfassungssysteme und mehr. SuperGLUE wird von Forschern weiterhin für das Finetuning und den Vergleich von Algorithmen verwendet, obwohl sich der Fokus der Spitzenforschung allmählich auf neue Grenzen der Bewertung künstlicher Intelligenz verlagert.

Weblinks

• Offizielle Website von SuperGLUE
• Originalartikel zu SuperGLUE (NeurIPS)
• Microsoft-Artikel über das Erreichen des menschlichen Niveaus durch DeBERTa
• Datensatzseite von SuperGLUE auf Papers With Code

Literatur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.