MT-Bench (benchmark) (EL)

MT-Bench (συντομογραφία του αγγλικού Multi-Turn Benchmark, «benchmark πολλαπλών γύρων») — είναι ένα σύνολο αναφοράς δοκιμαστικών εργασιών (benchmark) για την αξιολόγηση μεγάλων γλωσσικών μοντέλων (LLM) σε συνθήκες πολυγύρου διαλόγου. Το benchmark προτάθηκε το 2023 από μια ομάδα ερευνητών της LMSYS (με επικεφαλής τον Lianmin Zheng) ως μέρος της μεθόδου LLM-as-a-Judge («LLM στον ρόλο του κριτή») για την αντικειμενική σύγκριση της ποιότητας των chatbot.

Σε αντίθεση με τις παραδοσιακές δοκιμές ενός γύρου (όπως το MMLU), το MT-Bench ελέγχει την ικανότητα των μοντέλων να διεξάγουν πολυβάθμιο διάλογο, να αφομοιώνουν διαδοχικά νέα δεδομένα και να ακολουθούν με ακρίβεια τις οδηγίες του χρήστη. Στόχος είναι μια πιο ρεαλιστική αξιολόγηση της λειτουργίας των chatbot σε σύνθετα σενάρια, προσανατολισμένη στην ανταπόκριση στις ανθρώπινες προτιμήσεις και τις πρακτικές απαιτήσεις των συνομιλητικών συστημάτων.

Προϋποθέσεις δημιουργίας

Η ανάπτυξη διαλογικών μοντέλων LLM, όπως τα ChatGPT, GPT-4 και Vicuna, ανέδειξε το χάσμα μεταξύ των παραδοσιακών μετρικών ποιότητας και της πραγματικής αντίληψης των χρηστών για τις απαντήσεις. Αποδείχθηκε ότι η βελτίωση ενός μοντέλου από την άποψη της ευθυγράμμισης με τις ανθρώπινες οδηγίες (μέσω RLHF) δεν βελτιώνει πάντα τα αποτελέσματα στα παλαιά, μονογύρου benchmarks. Δοκιμές όπως το MMLU ή το HELM συχνά δεν διακρίνουν τα βελτιωμένα («ευθυγραμμισμένα») chatbot από τα βασικά τους μοντέλα. Αυτό υποδεικνύει τους περιορισμούς των προηγούμενων μεθοδολογιών, που δεν αντικατοπτρίζουν την ποιότητα της πολυγύρου αλληλεπίδρασης και των οδηγιών ανοιχτής μορφής.

Το MT-Bench εμφανίστηκε ως απάντηση σε αυτό το πρόβλημα, προσφέροντας ένα σύνολο ερωτήσεων ανοιχτού τύπου σε μορφή διαλόγου, που εστιάζει σε δύο πτυχές: 1. Στην ικανότητα του μοντέλου να διατηρεί μια συνεκτική συνομιλία σε πολλά βήματα (turns). 2. Στην ακριβή τήρηση σύνθετων οδηγιών του χρήστη.

Δομή και περιεχόμενο του benchmark

Το MT-Bench αποτελείται από 80 προσεκτικά επιλεγμένα πολυγύρου διαλογικά σενάρια που καλύπτουν διαφορετικούς τύπους εργασιών. Κάθε σενάριο περιλαμβάνει μια σειρά από αρκετές ανταλλαγές μεταξύ χρήστη και μοντέλου, ελέγχοντας την ικανότητα του μοντέλου να διατηρεί το πλαίσιο και να προσαρμόζεται σε νέα δεδομένα. Οι διάλογοι ομαδοποιούνται σε 8 κατηγορίες εργασιών:

• Writing (συγγραφή κειμένου) — έλεγχος δημιουργικών δεξιοτήτων (π.χ. σύνθεση blog).
• Roleplay (παιχνίδι ρόλων) — προσομοίωση διαλόγων σε συγκεκριμένους ρόλους.
• Extraction (εξαγωγή πληροφοριών) — ικανότητα εξαγωγής γεγονότων από το παρεχόμενο πλαίσιο.
• Reasoning (λογική συλλογιστική) — επίλυση εργασιών λογικής σκέψης.
• Math (μαθηματικά) — επίλυση μαθηματικών προβλημάτων.
• Coding (προγραμματισμός) — συγγραφή ή αποσφαλμάτωση κώδικα.
• STEM (επιστήμες και τεχνολογία) — ερωτήσεις από φυσικές επιστήμες.
• Humanities (ανθρωπιστικές γνώσεις) — ερωτήσεις ιστορίας, λογοτεχνίας, κοινωνικών επιστημών.

Σε κάθε κατηγορία παρουσιάζονται 10 διαλογικές εργασίες. Οι εργασίες περιλαμβάνουν σκόπιμα πονηρές συνεχίσεις (π.χ. απροσδόκητες διευκρινιστικές ερωτήσεις), ώστε να δοκιμαστεί το μοντέλο σε υποθετικά «πραγματικές» συνομιλίες.

Μεθοδολογία αξιολόγησης: LLM-as-a-Judge

Βασικό χαρακτηριστικό του MT-Bench είναι η χρήση ενός ισχυρού γλωσσικού μοντέλου στον ρόλο του κριτή για την αυτοματοποιημένη αξιολόγηση των απαντήσεων (LLM-as-a-Judge). Στην πρωτότυπη εργασία, αυτόν τον ρόλο είχε το μοντέλο GPT-4.

Η διαδικασία αξιολόγησης διαρθρώνεται ως εξής: 1. Για κάθε διαλογικό σενάριο, αρκετά συμμετέχοντα μοντέλα παράγουν απαντήσεις. 2. Το μοντέλο-κριτής (GPT-4) συγκρίνει αυτές τις απαντήσεις (σε μορφή ζευγαρωτής σύγκρισης ή βαθμολόγησης κατά κλίμακα) και αποφαίνεται για την προτιμησιμότητά τους.

Η αυτοματοποιημένη κριτική αντικαθιστά την επίπονη χειροκίνητη επισήμανση. Οι ερευνητές απέδειξαν ότι οι αξιολογήσεις του GPT-4 ως κριτή παρουσιάζουν συμφωνία άνω του 80% με τα αποτελέσματα ανθρώπων-εμπειρογνωμόνων, που είναι συγκρίσιμο με τη συμφωνία μεταξύ των ίδιων των ανθρώπων. Αυτό καταδεικνύει την αξιοπιστία της μεθόδου και τη δυνατότητα κλιμάκωσης των αξιολογήσεων χωρίς άμεση ανθρώπινη συμμετοχή. Για την ενίσχυση της αντικειμενικότητας, λήφθηκαν υπόψη και μετριάστηκαν πιθανές αποκλίσεις του μοντέλου-κριτή, όπως το φαινόμενο της θεσιακής απόκλισης (προτίμηση στην πρώτη απάντηση), της πολυλογίας (προτίμηση στη μακρύτερη απάντηση) και της αυτοπροβολής (επιείκεια προς απαντήσεις στο δικό του ύφος).

Αποτελέσματα και εφαρμογή

Το MT-Bench κατέστησε δυνατό τον εντοπισμό αξιοσημείωτων διαφορών στις ποιότητες των σύγχρονων μοντέλων. Στις κατηγορίες λογικής συλλογιστικής, μαθηματικών και προγραμματισμού, το GPT-4 υπερείχε σημαντικά έναντι των προηγούμενων εκδόσεων (π.χ. GPT-3.5). Αυτό επιβεβαίωσε ότι τα μεγαλύτερα μοντέλα διατηρούν καλύτερα το πλαίσιο σε πολλά βήματα διαλόγου.

Για την πρακτική αξιοποίηση των αποτελεσμάτων, η ομάδα LMSYS δημιούργησε ένα δημόσιο leaderboard, όπου τα μοντέλα κατατάσσονται βάσει της μέσης βαθμολογίας MT-Bench και της κατάταξης Elo από το Chatbot Arena. Αυτή η κατάταξη ενημερώνεται τακτικά, αντικατοπτρίζοντας την πρόοδο στον κλάδο. Το ίδιο το dataset και ο κώδικας εκτέλεσής του δημοσιοποιήθηκαν, επιτρέποντας σε ανεξάρτητους προγραμματιστές να δοκιμάζουν τα μοντέλα τους.

Περιορισμοί και κριτική

Παρά την επιτυχημένη εφαρμογή του, το MT-Bench και η προσέγγιση LLM-as-a-Judge παρουσιάζουν ορισμένους περιορισμούς:

• Ατέλεια του κριτή. Το μοντέλο-κριτής (π.χ. GPT-4) δεν είναι παντοδύναμο: δεν αναγνωρίζει πάντα πραγματικά σφάλματα ή ψευδαισθήσεις στις απαντήσεις των δοκιμαζόμενων μοντέλων.
• Δυσκολίες αξιολόγησης λογικής και μαθηματικών. Ο LLM-κριτής ενδέχεται να μην μπορεί να παρακολουθήσει πλήρως μια σύνθετη συλλογιστική ή να επαληθεύσει μια απόδειξη, πράγμα που ενέχει κίνδυνο σφαλμάτων κατά την αξιολόγηση.
• Αποκλίσεις (Biases). Παρά τα μέτρα μετριασμού τους, το μοντέλο-κριτής ενδέχεται να διατηρεί προκατάληψη προς ένα συγκεκριμένο ύφος ή μορφή απάντησης.

Αυτές οι πτυχές σημαίνουν ότι σε κρίσιμες εφαρμογές εξακολουθεί να είναι επιθυμητή η ανθρώπινη εποπτεία ή συνδυαστικές μέθοδοι αξιολόγησης.

Εξέλιξη και επεκτάσεις

Η επιτυχία του MT-Bench ώθησε στην εμφάνιση επεκτεταμένων εκδόσεων. Το 2024 προτάθηκε η μεθοδολογία MT-Bench-101, που στοχεύει σε ακόμα πιο λεπτομερή ανάλυση των ικανοτήτων των μοντέλων στο διάλογο. Οι συγγραφείς διαμόρφωσαν μια τρισεπίπεδη ταξινομία δεξιοτήτων και συγκέντρωσαν σημαντικά μεγαλύτερο dataset, γεγονός που επέτρεψε τον εντοπισμό λεπτών διαφορών στη συμπεριφορά των μοντέλων σε διαφορετικά στάδια του διαλόγου.

Σύνδεσμοι

• Επίσημο αποθετήριο με τα δεδομένα MT-Bench στο GitHub

Βιβλιογραφία

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.