GLUE Benchmark (EL)

GLUE (ακρωνύμιο του General Language Understanding Evaluation, «Γενική Αξιολόγηση Κατανόησης Γλώσσας») — είναι ένα πολυεργασιακό benchmark για την αξιολόγηση της ποιότητας μοντέλων επεξεργασίας φυσικής γλώσσας (NLU). Το benchmark προτάθηκε το 2018 από μια ομάδα ερευνητών του Πανεπιστημίου της Νέας Υόρκης, του Πανεπιστημίου της Ουάσινγκτον και του DeepMind, συμπεριλαμβανομένων των Alex Wang και Samuel Bowman, και απέκτησε ευρεία διάδοση στην ερευνητική κοινότητα.

Ο κύριος στόχος του GLUE είναι να παρέχει ένα ενιαίο, αμερόληπτο και απαιτητικό σύνολο δοκιμών για τη συγκριτική αξιολόγηση των δυνατοτήτων μοντέλων NLU σε ένα ποικίλο σύνολο εργασιών που υπερβαίνουν τα όρια ενός συγκεκριμένου τομέα. Το benchmark περιλαμβάνει διαδικτυακή πλατφόρμα με leaderboard (πίνακα ρεκόρ), η οποία εξασφαλίζει αντικειμενική σύγκριση μοντέλων και αποτρέπει την προσαρμογή στα δεδομένα δοκιμών, καθώς οι πραγματικές ετικέτες για μέρος των δοκιμών δεν δημοσιεύονται και είναι προσβάσιμες μόνο μέσω του διακομιστή αξιολόγησης. Υποτίθεται ότι για να επιτύχει υψηλά αποτελέσματα, το μοντέλο πρέπει να είναι σε θέση να εξάγει καθολικές γλωσσικές αναπαραστάσεις και να μεταφέρει αποτελεσματικά τη γνώση μεταξύ διαφόρων τύπων εργασιών.

Σύνθεση και εργασίες του benchmark

Το benchmark GLUE συγκεντρώνει εννέα διαφορετικές εργασίες κατανόησης γλώσσας, βασισμένες σε ήδη υπάρχοντα και απαιτητικά για την ΤΝ dataset. Όλες οι εργασίες διατυπώνονται ως κατηγοριοποίηση ή παλινδρόμηση πάνω σε μία πρόταση ή ζεύγος προτάσεων.

• CoLA (Corpus of Linguistic Acceptability) — εργασία προσδιορισμού της γραμματικής αποδεκτότητας μιας πρότασης. Μετρική ποιότητας — Συντελεστής Συσχέτισης Matthews.
• SST-2 (Stanford Sentiment Treebank) — εργασία προσδιορισμού του συναισθήματος (θετικού/αρνητικού) κριτικής ταινίας. Μετρική — ακρίβεια (accuracy).
• MRPC (Microsoft Research Paraphrase Corpus) — εργασία εντοπισμού παραφράσεων σε ζεύγος προτάσεων από ειδησεογραφικές πηγές. Μετρικές — ακρίβεια και μέτρο F1.
• QQP (Quora Question Pairs) — εργασία εντοπισμού διπλότυπων ερωτήσεων από την κοινότητα Quora. Μετρικές — ακρίβεια και μέτρο F1.
• STS-B (Semantic Textual Similarity Benchmark) — εργασία σημασιολογικής αντιστοίχισης δύο προτάσεων. Το μοντέλο πρέπει να προβλέψει τον βαθμό σημασιολογικής εγγύτητας σε κλίμακα από 1 έως 5. Μετρικές — συντελεστής συσχέτισης Pearson και Spearman.
• MNLI (Multi-Genre Natural Language Inference) — εργασία αναγνώρισης γλωσσικής συνεπαγωγής σε ζεύγη προτάσεων από πηγές διαφόρων ειδών (συνεπαγωγή, αντίφαση, ουδετερότητα). Τα αποτελέσματα αξιολογούνται χωριστά σε αντιστοιχισμένο (matched) και μη αντιστοιχισμένο (mismatched) υποσύνολο.
• QNLI (Question Natural Language Inference) — εργασία που προέκυψε από μετατροπή του dataset SQuAD. Απαιτείται να προσδιοριστεί εάν η πρόταση από μια παράγραφο περιέχει απάντηση στο δοθέν ερώτημα.
• RTE (Recognizing Textual Entailment) — συνολικό dataset για γλωσσική συνεπαγωγή, που συνδυάζει αρκετές μικρές συλλογές. Εργασία — δυαδική κατηγοριοποίηση της σχέσης μεταξύ προτάσεων.
• WNLI (Winograd NLI) — τροποποιημένη έκδοση του σχήματος Winograd, προσαρμοσμένη στη μορφή NLI. Εργασία επίλυσης αναφοράς: στο σύστημα δίνεται πρόταση με αμφίσημη αντωνυμία και πρέπει να υποδειχθεί σε ποιο από τα δύο αντικείμενα αναφέρεται.

Μεθοδολογία αξιολόγησης

Για την αξιολόγηση στο GLUE, οι ερευνητές υποβάλλουν τις προβλέψεις του μοντέλου τους σε έναν ειδικό διακομιστή, μετά τον οποίο λαμβάνουν αυτόματο υπολογισμό μετρικών για κάθε εργασία και συνολική βαθμολογία.

• GLUE-score — το τελικό αποτέλεσμα, που υπολογίζεται ως ο μέσος όρος των αποτελεσμάτων για όλες τις εννέα κύριες εργασίες.
• Leaderboard — δημόσιος πίνακας που αντικατοπτρίζει την τρέχουσα κατάσταση και δείχνει ποια μοντέλα ανταποκρίνονται καλύτερα στις εργασίες NLU. Η χρήση κρυφών συνόλων δοκιμών εξασφαλίζει δίκαιη σύγκριση.
• Διαγνωστικό σύνολο — ειδικό σύνολο 1100 παραδειγμάτων, χειροκίνητα σχολιασμένων από εμπειρογνώμονες για λεπτή γλωσσολογική ανάλυση. Δεν επηρεάζει την κατάταξη, αλλά χρησιμεύει ως εργαλείο ποιοτικής ανάλυσης για τον έλεγχο ποια γλωσσικά φαινόμενα (λεξιλογική σημασιολογία, λογική, κοινή λογική) αναγνωρίζει το μοντέλο και με ποια αντιμετωπίζει δυσκολίες.

Αποτελέσματα και επίδραση στη βιομηχανία

Κατά την έναρξη του GLUE το 2018, τα καλύτερα μοντέλα εκείνης της εποχής (όπως το BiLSTM με ELMo) επιτύγχαναν συνολικό αποτέλεσμα περίπου 70 βαθμών (σε κλίμακα 0–100), κάτι που ήταν σημαντικά χαμηλότερα από το ανθρώπινο επίπεδο (περίπου 87 βαθμοί).

Η εμφάνιση του GLUE και του ανοιχτού leaderboard τόνωσε την ταχεία πρόοδο στον τομέα της μεταβατικής μάθησης στο NLP.

• Έως τον Μάιο του 2019, σε λιγότερο από ένα χρόνο, η νέα γενιά μοντέλων βασισμένων σε transformer (κυρίως το BERT) ανέβασε τον πήχη του state-of-the-art στους 83,9 βαθμούς.
• Στο δεύτερο μισό του 2019, το benchmark GLUE ουσιαστικά «ολοκληρώθηκε»: τα καλύτερα συστήματα πλησίασαν ανεπαίσθητα το ανθρώπινο επίπεδο και σε ορισμένες εργασίες το ξεπέρασαν.

Το GLUE διαδραμάτισε τεράστιο ρόλο ως ενιαίο σημείο αναφοράς στην ανάπτυξη μοντέλων κατανόησης γλώσσας. Χάρη σε αυτό, οι ερευνητές μπόρεσαν να συγκρίνουν άμεσα διαφορετικές αρχιτεκτονικές σε ένα σύνθετο σύνολο εργασιών, να εντοπίζουν τα δυνατά και αδύνατα σημεία των προσεγγίσεων και να ανταλλάσσουν γρήγορα επιτεύγματα μέσω του δημόσιου leaderboard.

SuperGLUE: μεταγενέστερη εξέλιξη

Η ταχεία επιτυχία του GLUE οδήγησε στο γεγονός ότι μόλις έναν χρόνο αργότερα η ίδια ομάδα συγγραφέων, με τη συμμετοχή συναδέλφων από το Facebook AI, παρουσίασε ένα νέο, πιο απαιτητικό σύνολο δοκιμών με το όνομα SuperGLUE.

Το SuperGLUE ανακοινώθηκε στα τέλη του 2019 ως ένα «πιο ανθεκτικό» (stickier) σύνολο δοκιμών, που αποσκοπούσε στο να δημιουργήσει εκ νέου ένα χάσμα μεταξύ των δυνατοτήτων των σύγχρονων μοντέλων και του ανθρώπου. Συμπεριλήφθηκαν οκτώ εργασίες που απαιτούν ακόμη βαθύτερη κατανόηση γλώσσας, ενώ βελτιώθηκαν επίσης τα εργαλεία και οι κανόνες για τους συμμετέχοντες. Αν και το GLUE εξακολουθεί να χρησιμοποιείται ως βασικό τεστ, η κύρια εστίαση της αγωνιστικής βελτίωσης μετατοπίστηκε στο SuperGLUE και σε άλλα, πιο εξειδικευμένα, benchmark.

Σύνδεσμοι

• Επίσημος ιστότοπος GLUE Benchmark
• Σελίδα GLUE στο Papers With Code με αποτελέσματα μοντέλων

Βιβλιογραφία

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.