LLM-as-a-Judge (EL)

LLM-as-a-Judge (LLM ως κριτής) — αυτή είναι μια προσέγγιση στη μηχανική μάθηση, κατά την οποία ένα μεγάλο γλωσσικό μοντέλο (LLM) χρησιμοποιείται για την αξιολόγηση της ποιότητας κειμένου που παράγεται από άλλο μοντέλο τεχνητής νοημοσύνης, βάσει συγκεκριμένων κριτηρίων. Η ιδέα είναι να αναλαμβάνει το ίδιο το AI τον ρόλο του «κριτή», αξιολογώντας τις απαντήσεις σύμφωνα με ορισμένες παραμέτρους.

Αυτή η μέθοδος έγινε δημοφιλής από το 2023 ως πρακτική εναλλακτική λύση στη δαπανηρή χειροκίνητη αξιολόγηση για ανοιχτές εργασίες παραγωγής κειμένου. Οι παραδοσιακές μετρικές (όπως BLEU ή ROUGE) δεν είναι κατάλληλες για ελεύθερες κειμενικές απαντήσεις, ενώ η εμπλοκή ανθρώπων αξιολογητών σε εργασίες μεγάλης κλίμακας είναι ανέφικτη. Το LLM-as-a-Judge λύνει αυτό το πρόβλημα: αντί για άνθρωπο, την ποιότητα του κειμένου αξιολογεί το ίδιο το γλωσσικό μοντέλο, λαμβάνοντας ως είσοδο την υπό εξέταση απάντηση και ένα prompt με οδηγίες που περιλαμβάνει τα κριτήρια αξιολόγησης.

Μεθοδολογίες αξιολόγησης με χρήση LLM

Η προσέγγιση LLM-as-a-Judge εφαρμόζεται σε διαφορετικά σενάρια και μορφές αξιολόγησης.

• Σύγκριση ζευγών (pairwise comparison): Πρόκειται για την πιο διαδεδομένη μέθοδο. Το μοντέλο-κριτής λαμβάνει δύο απαντήσεις (Απάντηση Α, Απάντηση Β) για το ίδιο ερώτημα και πρέπει να αποφασίσει ποια είναι καλύτερη βάσει των συγκεκριμένων κριτηρίων ή να κηρύξει ισοπαλία.
• Άμεση αξιολόγηση βάσει κριτηρίων: Ο αξιολογητής LLM εξετάζει μία παραγόμενη απάντηση και της αποδίδει βαθμολογία σε αριθμητική κλίμακα (π.χ. από 1 έως 10) βάσει συγκεκριμένης ιδιότητας (π.χ. «ακρίβεια», «σαφήνεια», «ευγένεια»).
• Αξιολόγηση με βάση πληροφορίες αναφοράς: Στο prompt του μοντέλου-κριτή προστίθεται το αρχικό πλαίσιο ή μια «χρυσή» σωστή απάντηση, και ζητείται να ελέγξει το παραγόμενο κείμενο ως προς τη συμφωνία, π.χ. για τον εντοπισμό ψευδαισθήσεων (hallucinations).

Αποτελεσματικότητα και συγκρισιμότητα με την ανθρώπινη αξιολόγηση

Για την επαλήθευση της ποιότητας της ίδιας της προσέγγισης LLM-as-a-Judge, τα αποτελέσματά της συγκρίνονται με τις αξιολογήσεις ανθρώπων-εμπειρογνωμόνων. Η πιο εκτεταμένη ανάλυση της μεθόδου διενεργήθηκε από την ομάδα LMSYS του UC Berkeley το 2023 στην εργασία «Judging LLM-as-a-Judge». Οι συγγραφείς συνέκριναν συστηματικά τις αποφάσεις του μοντέλου GPT-4 (στον ρόλο κριτή) με τις προτιμήσεις ανθρώπων σε μεγάλο δείγμα διαλογικών εργασιών από το benchmark MT-Bench.

Το κύριο συμπέρασμα της έρευνας: τα ισχυρά LLM (π.χ. GPT-4) στον ρόλο κριτή επέδειξαν ~80% συμφωνία με τις ανθρώπινες αξιολογήσεις, που είναι συγκρίσιμο με το επίπεδο συμφωνίας μεταξύ των ίδιων των ανθρώπων. Με άλλα λόγια, στις περιπτώσεις όπου δύο άνθρωποι-εμπειρογνώμονες συμφωνούσαν μεταξύ τους, το μοντέλο-κριτής GPT-4 λάμβανε την ίδια απόφαση στο 80% των περιπτώσεων. Αυτό το αποτέλεσμα ουσιαστικά ανέδειξε την LLM-αξιολόγηση στο επίπεδο «ανθρώπινου» προτύπου ως προς τη συνέπεια και απέδειξε την πρακτική της καταλληλότητα για αξιολογήσεις μεγάλης κλίμακας.

Πλεονεκτήματα της προσέγγισης

Η μέθοδος LLM-as-a-Judge διαθέτει σειρά σημαντικών πλεονεκτημάτων σε σύγκριση με τις παραδοσιακές προσεγγίσεις.

• Συγκρισιμότητα με τον άνθρωπο: Με τη σωστή ρύθμιση, η LLM-αξιολόγηση δίνει αποτελέσματα κοντά στην ανθρώπινη εμπειρογνωμοσύνη, καθιστώντας την αξιόπιστη εναλλακτική λύση.
• Επεκτασιμότητα και ταχύτητα: Ένας ρυθμισμένος κριτής LLM μπορεί να αξιολογεί χιλιάδες απαντήσεις ανά πάσα ώρα, παράγοντας αποτελέσματα σχεδόν άμεσα, κάτι που είναι ουσιαστικά ταχύτερο και φθηνότερο από την ανθρώπινη ετικετοποίηση.
• Ευελιξία και δυνατότητα παραμετροποίησης: Το LLM μπορεί να εκπαιδευτεί να αξιολογεί σχεδόν οποιαδήποτε πτυχή κειμένου — από την πραγματολογική ακρίβεια έως τη συναισθηματική χροιά — απλώς αλλάζοντας την κειμενική περιγραφή του κριτηρίου στο prompt.
• Απουσία εξάρτησης από πρότυπο αναφοράς: Σε αντίθεση με μετρικές όπως ROUGE ή BLEU, ο αξιολογητής LLM δεν απαιτεί εκ των προτέρων καθορισμένη «σωστή απάντηση» για σύγκριση. Μπορεί να λειτουργεί χωρίς αναφορά, κάτι πολύτιμο για ανοιχτές διαλογικές εργασίες.
• Ερμηνευσιμότητα: Μπορεί κανείς να ζητήσει από το μοντέλο-κριτή να εξηγήσει την απόφασή του σε μορφή κειμένου, παρέχοντας μεγαλύτερη διαφάνεια σε σύγκριση με το «μαύρο κουτί» των αυτόματων μετρικών.

Περιορισμοί και προβλήματα της μεθόδου

Παρά τις επιτυχίες, η προσέγγιση LLM-as-a-Judge έχει και αδυναμίες.

• Μη πλήρης αξιοπιστία: Οι αξιολογήσεις LLM είναι υψηλής ποιότητας, αλλά όχι τέλειες. Εάν η οδηγία δεν είναι αρκετά σαφής ή το μοντέλο αντιμετωπίζει μια μη προβλεπόμενη περίπτωση, το αποτέλεσμά του μπορεί να είναι λανθασμένο ή ασυνεπές.
• Κίνδυνος απόκλισης και προκατάληψης (bias):
  • Θέσιακό αποτέλεσμα: Το μοντέλο μπορεί ασυνείδητα να προτιμά την απάντηση που εμφανίζεται πρώτη ή τελευταία στη λίστα.
  • Απόκλιση προς την πολυλογία: Το μοντέλο τείνει να θεωρεί καλύτερη μια πιο μακροσκελή και λεπτομερή απάντηση, ακόμα κι αν απλώς επαναλαμβάνει πληροφορίες.
  • Αυτο-ευνοϊσμός (self-enhancement bias): Το μοντέλο-κριτής μπορεί να αποδίδει συχνότερα υψηλότερες βαθμολογίες στις απαντήσεις που παράχθηκαν από το ίδιο ή από μοντέλο της ίδιας οικογένειας (π.χ. το GPT-4 θα αξιολογεί υψηλότερα τις απαντήσεις του GPT-3.5).

• Δυσκολίες στην αξιολόγηση γεγονότων και λογικής: Ο κριτής LLM μερικές φορές αξιολογεί λανθασμένα μαθηματικές ή λογικές εργασίες, ακόμα και αν το ίδιο είναι ικανό να τις λύσει. Αυτό συμβαίνει όταν το μοντέλο «μολύνεται» από το σφάλμα των προτεινόμενων λύσεων και δεν αντιλαμβάνεται την εργασία αντικειμενικά.
• Απόρρητο και ασφάλεια δεδομένων: Η χρήση εξωτερικών API (π.χ. GPT-4) για αξιολόγηση σημαίνει ότι εμπιστευτικά κείμενα αποστέλλονται σε εξωτερικό πάροχο, γεγονός που ενέχει κινδύνους διαρροής.

Για τον μετριασμό αυτών των προβλημάτων, οι προγραμματιστές εφαρμόζουν διάφορες τεχνικές: τυχαιοποίηση της σειράς των απαντήσεων, βαθμονόμηση σε σύνολα με συμμετοχή ανθρώπων, καθώς και χρήση υβριδικών στρατηγικών, όπου ο κριτής LLM χρησιμοποιείται σε συνδυασμό με άλλες μεθόδους.

Εναλλακτικές και υβριδικές προσεγγίσεις

Το LLM-as-a-Judge χρησιμοποιείται συχνά σε συνδυασμό με άλλες μεθόδους αξιολόγησης.

• Ανθρώπινη αξιολόγηση: Παραμένει το «χρυσό πρότυπο» και χρησιμοποιείται για βαθμονόμηση και περιοδικό έλεγχο των κριτών LLM.
• Αυτόματες μετρικές: Οι κλασικές μετρικές (ROUGE, BLEU, BERTScore) εξακολουθούν να είναι χρήσιμες για εργασίες με σαφή απάντηση αναφοράς.
• Εξειδικευμένα μοντέλα-αξιολογητές: Εκπαίδευση μικρών, γρήγορων και φθηνών μοντέλων σε δεδομένα προτιμήσεων για την εκτέλεση ρουτίνων αξιολογήσεων, ενώ ο ισχυρός κριτής LLM αναλαμβάνει τον ρόλο του «ανώτατου διαιτητή» για σύνθετες περιπτώσεις (προσέγγιση trust or escalate).

Αναφορές

• Άρθρο «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena» από τους LMSYS
• Λεπτομερής οδηγός χρήσης του LLM-as-a-Judge από την Evidently AI

Βιβλιογραφία

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.