SuperGLUE (benchmark) (BG)

SuperGLUE — това е комплексен benchmark (набор от тестови задания) за оценка на системи за обработка на естествен език, особено на големи езикови модели (БЕМ). Той е представен през 2019 година от група изследователи под ръководството на Алекс Ван от Нюйоркския университет с участието на Facebook AI Research и други организации.

Създаването на SuperGLUE е предизвикано от факта, че към средата на 2019 година предшестващият benchmark GLUE се е превърнал в „лесна задача" за съвременните модели: съвкупният показател на най-добрите модели на GLUE достигна 88,4, надминавайки средното ниво на човека (87,1). По този начин пространството за по-нататъшен прогрес се стесни. В отговор на това авторите разработиха SuperGLUE като по-сложна алтернатива, способна да осигури по-строга проверка на езиковото разбиране от страна на моделите. Целта на SuperGLUE е да предостави неутрален и трудно „обучаем" показател за напредъка в областта на общото езиково разбиране за английски език. Очакваше се, че забележимото подобрение на резултатите на SuperGLUE ще изисква съществени иновации в методите на Machine Learning — например по-ефективно обучение върху малки извадки, мултизадачно и самосупервайзно обучение. С други думи, в SuperGLUE са включени задания, които са прости за човека, но сложни за машинния интелект, с цел да се стимулира разработването на модели с наистина дълбоко разбиране на езика.

Особености и разлики от GLUE

SuperGLUE до голяма степен повтаря формата на GLUE — предлага единен интегрален показател за качество по съвкупност от задачи, публичен лидерборд и инструментариум за анализ на модели. Въпреки това SuperGLUE внася редица подобрения и нововъведения в сравнение с предшественика си:

• По-сложни задания: в SuperGLUE са подбрани осемте най-трудни задачи. Две от тях са наследени от GLUE (сред най-сложните там), а останалите са избрани от нови кандидатури въз основа на тяхната сложност за съвременните NLP-модели. По този начин benchmark-ът се фокусира върху онези аспекти на разбирането, при които моделите преди са показвали най-лоши резултати.
• Разнообразие на форматите: ако в GLUE всички задачи се свеждаха до класификация на изречения или двойки изречения, то SuperGLUE включва по-широк спектър от формати. Освен класификация, са добавени задачи за разрешаване на кореференция и отговори на въпроси, изискващи от модела разбиране на свързан текст и логически извод.
• Оценка от човек за всички задачи: за всяка задача на SuperGLUE е изчислено базово ниво на производителност на човека (non-expert), потвърждаващо, че дори силни модели като BERT значително отстъпваха на човека в момента на стартиране на benchmark-а. Наличието на човешки ориентир (~90% съвкупно) осигурява „запас" за растеж на модела и служи като целеви ориентир.
• Прозрачни правила и инструменти: преразгледани са правилата за публикуване на резултати в лидерборда (за осигуряване на честно сравнение и посочване на приноса на авторите на dataset-ите). Също така е публикуван нов отворен кодов инструментариум за удобство при fine-tuning и мултизадачно обучение на модели върху данните от SuperGLUE.

В съвкупност тези мерки правят SuperGLUE по-надежден тест за обобщените езикови способности на моделите, не позволявайки постигането на високи резултати чрез тясно читерство или нагаждане към специфичните формати на предишния GLUE.

Набор от задачи на SuperGLUE

SuperGLUE се състои от осем задачи, обхващащи различни аспекти на разбирането на текст.

• BoolQ (Boolean Questions): задача от тип въпрос-отговор (QA), при която на всеки пример е даден кратък текст (откъс от Уикипедия) и въпрос, на който трябва да се отговори с „да" или „не". Въпросите са формулирани от потребители (от търсения в Google) и изискват извличане на явен или неявен факт от текста; метриката за качество е дялът на верните отговори (accuracy).
• CB (CommitmentBank): задача за логическо следване (textual entailment) с три класа. Dataset-ът се състои от кратки текстове, съдържащи сложни изречения; изисква се да се определи в каква степен авторът на текста е ангажиран с истинността на вложеното твърдение. Фактически това е проверка дали твърдението следва от дадения контекст. Задачата е сложна поради малкия размер на извадката (ок. 250 примера) и дисбаланса на класовете; качеството се оценява по точност и F1-мярка, усреднена по класовете.
• COPA (Choice of Plausible Alternatives): задача за причинно-следствено разсъждение. На модела се дава предпоставка (едно изречение) и трябва да избере правилната причина или следствие от два варианта. Всички примери на COPA са формулирани ръчно и изискват здрав разум за установяване на причинно-следствена връзка. Тематиката включва ситуации от блогове и специализирана енциклопедия; метриката е точност (дял на верните избори). Пример: дадено е изречението „детето придоби имунитет към болестта" и въпросът „каква е причината?" — човекът веднага разбира, че верният отговор е „то е получило ваксина", докато моделът трябва да установи причинната връзка.
• MultiRC (Multi-Sentence Reading Comprehension): задача за многофразово разбиране на текст с елементи на множествен избор. Моделът получава абзац текст, въпрос по съдържанието на абзаца и списък от възможни отговори; трябва да определи кои отговори са верни (за всеки въпрос може да има няколко верни отговора). Особеност: за отговор на въпроса, като правило, се изисква обединяване на информация от няколко изречения от текста, което проверява способността на модела да свързва факти. Качеството се измерва с две метрики: F1 по отговорите (отчита частично верни набори) и Exact Match — дялът на въпросите, на които са дадени напълно верни набори от отговори.
• ReCoRD (Reading Comprehension with Commonsense Reasoning Dataset): задача за четене с разбиране и използване на знания. Представлява модифициран Cloze-тест: даден е новинарски текст (статия от CNN/Daily Mail) и изречение с пропусната същностна дума; моделът трябва да избере коя същност от текста е подходяща на мястото на пропуска. Вариантите за отговор са зададени като всички същности, споменати в статията, като могат да съвпадат по смисъл. За успешно решаване се изисква разбиране на контекста и здрав разум. Метриките са максимален token-level F1 и Exact Match (точно съвпадение) по предсказаните отговори.
• RTE (Recognizing Textual Entailment): задача за бинарна класификация на текстово следване (entailment vs. not entailment). Наборът от данни обединява примери от няколко конкурса по разпознаване на текстов извод (серия RTE 1-5). Всяко задание съдържа двойка текстови фрагмента (premise-hypothesis); моделът трябва да определи дали хипотезата следва от текста. За разлика от много големи набори от данни, RTE е доста малък (ок. 2,5 хил. обучаващи примера), но е показал значителна полза от transfer learning: точността е нараснала от ~56% (ниво на случайно познаване) до ~86% с появата на модели от типа BERT. Въпреки това, в момента на стартиране на SuperGLUE точността на моделите все още изоставаше от тази на човека с около 8 процентни пункта, поради което RTE е включен като една от задачите, запазили разлика до човешкото ниво.
• WiC (Word-in-Context): задача за разрешаване на неяснота на значението на дума в контекст (WSD). Дадени са две независими изречения, всяко от които съдържа една и съща многозначна дума; трябва да се определи дали тази дума е използвана в едно и също значение и в двата случая. Данните са взети от речникови ресурси (WordNet, VerbNet, Wiktionary), поради което обхващат широк спектър от думи и значения. Задачата е формализирана като бинарна класификация и се оценява по дял на верните отговори. WiC изисква от модела разбиране на фини смислови различия, фактически проверявайки лексическата семантика.
• WSC (Winograd Schema Challenge): задача за разрешаване на кореференция с използване на здрав разум. Всяко задание се състои от едно изречение, съдържащо местоимение, и списък от две същности (съществителни) от същото изречение. Изисква се да се определи към кое от предложените съществителни се отнася даденото местоимение. Пример за класическо winograd-изречение: „Трофеят не се побра в куфара, защото той беше твърде малък" — човекът разбира, че „той" се отнася до куфара (твърде малък беше куфарът). Подобни примери е невъзможно да бъдат решени без ежедневни знания и контекст. В GLUE вече присъстваше опростен вариант на тази задача (WNLI), но моделите дълго не можеха да надминат дори нивото на случайност. Само специални техники, като добавяне на външни данни с подобни примери, повишиха качеството на моделите на WSC до ~90% към 2019 година. Въпреки това, човекът решава задачите на WSC почти без грешки (~96-100% верни отговори). В SuperGLUE е включена оригиналната версия на WSC във формат на бинарна класификация (за всяка двойка „местоимение-същност" моделът отговаря дали те съвпадат по референция). Тази задача остава един от най-трудните тестове, изискващи commonsense разсъждения.

Всички тестове на SuperGLUE имат затворени тестови набори с неизвестни за разработчиците отговори. Моделите изпращат своите предсказания към сървър, където се изчислява съвкупният бал — усреднена по задачите точност (за задачи с няколко метрики първо се усреднява вътрешната метрика). Такъв единен SuperGLUE score опростява сравнението на моделите по общото ниво на езиков интелект.

Резултати и прогрес на моделите

При стартирането на SuperGLUE авторите са представили като ориентир резултатите на силен базов модел (подсилен BERT) — и те се оказаха значително по-ниски от човешките за всички задачи. Средно най-добрият по онова време модел е набрал приблизително 20 пункта по-малко от човека по интегралната метрика. При отделни задания разликата е била особено голяма: например при задачата WSC моделът едва достигаше ~65% точност срещу 100% при човека (изоставане от ~35 пункта). Дори при „по-лесно" изглеждащите задачи (BoolQ, CB, RTE, WiC) автоматичните системи отстъпваха с ~10 пункта от човешкото ниво. Тези различия потвърдиха, че SuperGLUE наистина поставя сериозно предизвикателство пред настоящите технологии и не може да бъде решен тривиално.

Въпреки това, само няколко месеца след появата на SuperGLUE започна бърз прогрес. В края на 2019 година изследователи от Google представиха модела T5 (Text-To-Text Transfer Transformer) с 11 милиарда параметра, който постигна съвкупен резултат 88,9, доближавайки се плътно до човешкото ниво ~89,8. Фактически T5 подобри предишния рекорд на SuperGLUE с цели 4,3 пункта и намали дела на грешките почти с една трета, оставяйки само минимална разлика от 0,9 пункта до показателя на човека. Разработчиците отбелязаха, че SuperGLUE е умишлено подбран така, че задачите са прости за хората, поради което достигането от модела до ниво ~89% се е превърнало в важна веха.

Първият, на когото се удаде да надмине усредненото човешко качество, беше моделът на Microsoft DeBERTa (Decoding-enhanced BERT with disentangled attention). През януари 2021 година изследователите съобщиха, че версията на DeBERTa с 1,5 млрд параметра е набрала 89,9 точки, малко над човешкия ориентир 89,8. Това беше първият случай, в който единичен модел надминаваше човека по метриката на SuperGLUE. Освен това, ансамбъл от няколко модела DeBERTa повиши рекорда до ~90,3 точки. Моделът DeBERTa изпревари предишния лидер (Google T5) с около 0,6% и демонстрира ефективността на новите идеи в архитектурата Transformer (разделно представяне на съдържание и позиция на думите, подобрен decoder на маски и др.).

Прогресът не спря дотук: с нарастването на размерите и сложността на езиковите модели резултатите на SuperGLUE продължиха да се подобряват. Към края на 2021 година на върха на лидерборда се оказа моделът на Microsoft T-NLRv5 (семейство Microsoft Turing NLR) — той допълнително увеличи разликата над човешкото ниво. Последните нерешени за машините задачи на GLUE (например тънкостите на NLI) бяха „затворени" от този модел, доближил се плътно до пълноценен паритет с човека дори при най-трудните подзадачи.

Към 2022-2023 година прагът на човешкото ниво на SuperGLUE беше уверено преодолян от няколко независими крупни модела. Например моделът PaLM на Google (540 млрд параметра) при fine-tuning върху задачите на SuperGLUE достигна около 90,4 точки, а моделът GPT-4 (разработен от OpenAI) показа резултат дори малко по-висок. Към средата на 2023 година в таблицата на лидерите на SuperGLUE имаше веднага няколко модела с резултат над 90 (т.е. надминаващи средното човешко ниво). Може да се каже, че benchmark-ът е практически решен от съвременните системи: показателите на най-добрите модели са толкова високи, че надминават възможностите на повечето неквалифицирани хора. Този успех свидетелства за гигантски прогрес в NLP за кратко време, но едновременно с това посочва необходимостта от нови, още по-сложни тестове за най-новите модели. Вече се появяват последващи benchmark-ове (например MMLU, BIG-Bench и др.), призвани да проверяват моделите за по-широко разбиране и ерудиция, излизащи извън рамките на задачите на SuperGLUE.

Влияние и по-нататъшни изследвания

SuperGLUE по този начин се утвърди като важен етап в развитието на оценъчните методики в обработката на езика. В ентусиастките и научните среди неговите резултати се превърнаха в своеобразен „лакмус" за новите архитектури на БЕМ: достигането или надминаването на човешкото ниво на SuperGLUE се възприема като белег на водещ модел с дълбоко езиково разбиране. Това намери отражение и на практика — много съвременни езикови модели, постигнали високи резултати на SuperGLUE, легнаха в основата на приложни системи за въпроси и отговори, диалогови агенти, системи за обобщаване на текст и др.. SuperGLUE продължава да се използва от изследователите за fine-tuning и сравнение на алгоритми, въпреки че предната позиция сега постепенно се измества към нови рубежи в оценката на изкуствения интелект.

Препратки

• Официален сайт на SuperGLUE
• Оригинална статия за SuperGLUE (NeurIPS)
• Статия на Microsoft за достигането на човешко ниво от DeBERTa
• Страница на dataset-а SuperGLUE в Papers With Code

Литература

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.