SWE-bench (benchmark) (EL)

SWE-bench — είναι ένα εκτεταμένο benchmark (σύνολο δοκιμαστικών εργασιών) για την αξιολόγηση των δυνατοτήτων των μεγάλων γλωσσικών μοντέλων (LLM) στον τομέα της αυτοματοποιημένης ανάπτυξης και αποσφαλμάτωσης λογισμικού. Αναπτύχθηκε από ομάδα ερευνητών του Πανεπιστημίου Princeton και άλλων οργανισμών και παρουσιάστηκε στο συνέδριο ICLR 2024. Το SWE-bench διαφέρει από τα παραδοσιακά benchmark κώδικα με τη χρήση πραγματικών εργασιών από την πρακτική ανάπτυξης: το σύνολο δοκιμών περιλαμβάνει 2294 εργασίες που βασίζονται σε κλειστά ζητήματα (issues) και τις αντίστοιχες διορθώσεις (pull request) από 12 δημοφιλή ανοιχτά Python-αποθετήρια στο GitHub. Κάθε εργασία περιέχει μια περιγραφή προβλήματος (issue) και παρέχει στο μοντέλο πρόσβαση στον πηγαίο κώδικα του αντίστοιχου έργου· ο στόχος του μοντέλου είναι να δημιουργήσει ελάχιστες αλλαγές στη βάση κώδικα (patch), οι οποίες θα διορθώσουν το υποδεικνυόμενο πρόβλημα.

Μεθοδολογία και ιδιαιτερότητες αξιολόγησης

Το SWE-bench προσομοιώνει την πραγματική διαδικασία ανάπτυξης λογισμικού. Για κάθε εργασία, στο μοντέλο παρουσιάζεται το κείμενο του αρχικού GitHub issue (περιγραφή του προβλήματος) και ένα snapshot του κώδικα του αποθετηρίου στην έκδοση πριν από την εφαρμογή της διόρθωσης. Το μοντέλο (ή ένας agent βασισμένος στο μοντέλο) απαιτείται να αναλύσει τον πηγαίο κώδικα, να κατανοήσει τη φύση του σφάλματος ή της απαιτούμενης αλλαγής και να εισάγει τροποποιήσεις στα αντίστοιχα αρχεία κώδικα, επιλύοντας το πρόβλημα. Η επικύρωση της λύσης είναι αυτοματοποιημένη: σε κάθε εργασία είναι συνδεδεμένες πραγματικές δοκιμές μονάδας (unit tests) από το pull request που έκλεισε το συγκεκριμένο πρόβλημα. Μεταξύ αυτών υπάρχουν τόσο δοκιμές «αποτυχία-σε-επιτυχία» (fail-to-pass, που δεν περνούν στον αρχικό κώδικα, αλλά πρέπει να περάσουν μετά την εφαρμογή της σωστής διόρθωσης), όσο και δοκιμές παλινδρόμησης (pass-to-pass, που περνούν αρχικά και πρέπει να συνεχίσουν να περνούν μετά τις αλλαγές). Το patch που προτείνει το μοντέλο εφαρμόζεται στον κώδικα, μετά από το οποίο εκτελούνται οι αντίστοιχες δοκιμές: εάν όλες οι δοκιμές fail-to-pass αρχίσουν να περνούν και ταυτόχρονα οι δοκιμές pass-to-pass δεν παραβιάζονται, η εργασία θεωρείται επιλυμένη σωστά. Αυτή η προσέγγιση αξιολόγησης επιτρέπει τον έλεγχο όχι μόνο της ικανότητας του μοντέλου να παράγει συντακτικά σωστό κώδικα, αλλά και της ικανότητάς του να επιλύει πραγματικά το τεθέν πρόβλημα χωρίς να διαταράσσει την υπάρχουσα λειτουργικότητα. Παράλληλα, το μοντέλο πρέπει να διαχειρίζεται μεγάλο πλαίσιο (ολόκληρο αποθετήριο κώδικα), να κατανοεί τις αλληλεξαρτήσεις μεταξύ των συστατικών και να συντονίζει αλλαγές σε πολλά αρχεία ταυτόχρονα — όλα αυτά είναι σημαντικά πιο σύνθετα από τυπικές εργασίες συγγραφής μιας συνάρτησης από περιγραφή.

Στις αξιολογήσεις SWE-bench συνήθως δεν συμμετέχουν απλώς τα ίδια τα LLM, αλλά αγεντικά συστήματα που περιβάλλουν το μοντέλο με βοηθητικά εργαλεία (π.χ. για πλοήγηση σε αρχεία, εκτέλεση κώδικα, χρήση αποσφαλματωτή κ.λπ.). Ένα τέτοιο σύστημα μιμείται τον πραγματικό κύκλο ανάπτυξης: το μοντέλο μπορεί διαδοχικά να εξετάζει αρχεία, να εκτελεί δοκιμές ή σενάρια και να βελτιώνει σταδιακά τη λύση μέχρι να επιτύχει επιτυχές αποτέλεσμα. Είναι χαρακτηριστικό ότι η αποτελεσματικότητα επίλυσης εργασιών SWE-bench εξαρτάται σε μεγάλο βαθμό από την ποιότητα αυτής της «υποδομής» (scaffolding του agent): τα ίδια βασικά μοντέλα μπορούν να εμφανίζουν διαφορετικά αποτελέσματα ανάλογα με τον τρόπο που οργανώνεται η αλληλεπίδραση με το αποθετήριο και τα εργαλεία. Έτσι, το SWE-bench χρησιμεύει ως μέτρο των δυνατοτήτων του συνόλου μοντέλου και στρατηγικής επίλυσης εργασιών, προσεγγίζοντας την αξιολόγηση στις πραγματικές συνθήκες εργασίας ενός αυτόνομου προγραμματιστή-ΑΙ.

Παραλλαγές του συνόλου εργασιών

Οι συγγραφείς του SWE-bench και η κοινότητα παρουσίασαν αργότερα αρκετά παράγωγα σύνολα για διάφορους σκοπούς αξιολόγησης:

• SWE-bench Lite — μια ελαφρύτερη έκδοση του benchmark, που περιλαμβάνει ~300 εργασίες, επιλεγμένες ώστε να μειωθεί η πολυπλοκότητα και το υπολογιστικό κόστος δοκιμής μοντέλων. Αυτό το υποσύνολο δημιουργήθηκε για γρήγορο πειραματισμό με μοντέλα και αποκλείει τις πιο χρονοβόρες επικυρώσεις, διατηρώντας παράλληλα την αντιπροσωπευτικότητα των βασικών προβλημάτων. Ουσιαστικά, το Lite περιέχει απλούστερες και συντομότερες εργασίες διόρθωσης σφαλμάτων, και τα αποτελέσματα των μοντέλων στο Lite είναι συνήθως υψηλότερα από ό,τι στο πλήρες σύνολο, λόγω αποκλεισμού των πιο σύνθετων περιπτώσεων.
• SWE-bench Verified — ένα φιλτραρισμένο με χειροκίνητο έλεγχο υποσύνολο, παρουσιασμένο τον Αύγουστο 2024 σε συνεργασία με την OpenAI. Οι ερευνητές επιστράτευσαν 93 επαγγελματίες προγραμματιστές για την ανάλυση κάθε εργασίας του αρχικού benchmark και απέκλεισαν περιπτώσεις όπου η αρχική περιγραφή του προβλήματος είναι υπερβολικά ασαφής ή η συμπεριφορά που απαιτούν οι δοκιμές δεν προκύπτει ρητά από την εκφώνηση της εργασίας. Επίσης αφαιρέθηκαν εργασίες που στην πράξη είναι αδύνατο να επιλυθούν λόγω προβλημάτων περιβάλλοντος ή εσφαλμένων δοκιμών. Τελικά διαμορφώθηκε ένα σύνολο 500 εργασιών, εγγυημένα επιλύσιμων και ορθά διατυπωμένων. Το SWE-bench Verified αποσκοπεί στην παροχή πιο αξιόπιστης αξιολόγησης των δυνατοτήτων των μοντέλων, εξαλείφοντας περιπτώσεις όπου ακόμη και η σωστή λύση απορρίπτεται λόγω ανεπάρκειας δοκιμών ή διατύπωσης. Αυτό το σύνολο αντικατέστησε τα αρχικά σύνολα δοκιμών του SWE-bench (πλήρες και Lite) ως κύριο σημείο αναφοράς για τη σύγκριση μοντέλων. Επιπλέον, μαζί με το Verified δημοσιεύτηκαν εκτιμήσεις δυσκολίας εργασιών (π.χ. διακρίθηκαν «εύκολες» εργασίες, επιλύσιμες σε <15 λεπτά από άνθρωπο, και «δύσκολες», που απαιτούν >1 ώρα), καθώς και νέο εργαλειακό πλαίσιο βασισμένο σε Docker για πιο σταθερή και αναπαραγώγιμη εκτέλεση δοκιμών.
• SWE-bench Multimodal — μια επέκταση του benchmark, παρουσιασμένη τον Ιανουάριο 2025, που περιλαμβάνει εργασίες όπου η περιγραφή του προβλήματος δεν περιέχει μόνο κείμενο αλλά και οπτικά στοιχεία (π.χ. εικόνες διεπαφής, στιγμιότυπα οθόνης σφαλμάτων κ.λπ.). Αυτό το σύνολο (517 εργασίες) ελέγχει την ικανότητα μοντέλων και agents να κατανοούν και να χρησιμοποιούν οπτικές πληροφορίες κατά την επίλυση εργασιών προγραμματισμού. Η αξιολόγηση στο multimodal σύνολο οργανώνεται με παρόμοιο τρόπο, αλλά απαιτεί από το μοντέλο multimodal δυνατότητες (π.χ. αναγνώριση κειμένου σε εικόνες). Το τμήμα δοκιμών του SWE-bench Multimodal παραμένει κλειστό (κρυφό) για την αποτροπή προσαρμογής λύσεων σε γνωστές απαντήσεις· οι προγραμματιστές μπορούν να υποβάλλουν λύσεις σε απομακρυσμένο leaderboard για την αξιολόγηση των μοντέλων τους σε αυτές τις εργασίες.

Εκτός από αυτές τις βασικές παραλλαγές, γύρω από το SWE-bench έχει διαμορφωθεί ένα οικοσύστημα εργαλείων: SWE-agent — ένας ανοιχτός κώδικας «agent»-επιλύτης που επιδεικνύει κορυφαία αποτελέσματα στις εργασίες του benchmark· SWE-smith — ένα framework για την εκπαίδευση ιδιόκτητων μοντέλων-προγραμματιστών· SWE-REX — ένα εργαλείο για προηγμένη εξαγωγή και επεξεργασία πληροφοριών από αποθετήρια κ.ά. Αυτά τα έργα στοχεύουν στην απλοποίηση της αναπαραγωγής αποτελεσμάτων και στην προώθηση της έρευνας στον τομέα αυτόνομων συστημάτων προγραμματισμού.

Αποτελέσματα και πρόοδος μοντέλων

Κατά την πρώτη εμφάνιση του SWE-bench αναδείχτηκε σημαντικό χάσμα μεταξύ των σύγχρονων LLM και των δεξιοτήτων έμπειρων προγραμματιστών. Οι συγγραφείς ανέφεραν ότι ακόμα και τα πιο ισχυρά μοντέλα των αρχών του 2023 ανταποκρίνονταν μόνο σε μεμονωμένα ποσοστά εργασιών: για παράδειγμα, το μοντέλο Claude 2 της εταιρείας Anthropic επέλυε επιτυχώς λιγότερο από 2% των εργασιών του πλήρους συνόλου. Ένα μοντέλο ειδικά εκπαιδευμένο από τους συγγραφείς του benchmark (βασισμένο στο LLaMA, που ονομάστηκε SWE-Llama) και ιδιόκτητα μοντέλα όπως το GPT-4 μπορούσαν να επιλύουν κυρίως μόνο τα απλούστερα σφάλματα. Αυτές οι χαμηλές αρχικές μετρήσεις υπογράμμισαν την πολυπλοκότητα του SWE-bench και αποτέλεσαν κίνητρο για την ανάπτυξη νέων προσεγγίσεων.

Κατά τη διάρκεια του 2024, καθώς εμφανίζονταν πιο προηγμένα μοντέλα και αγεντικά σχήματα, τα αποτελέσματα βελτιώθηκαν σημαντικά. Ερευνητές από το Princeton παρουσίασαν το σύστημα SWE-agent, που συνδυάζει το GPT-4 με αναζήτηση κώδικα, σχεδιασμό και άλλα εργαλεία· επέτυχε περίπου 12,5% επιλυμένων εργασιών στο πλήρες σύνολο, θέτοντας νέο σημείο αναφοράς για ακαδημαϊκά μοντέλα. Στα μέσα του 2024 στο επίσημο leaderboard του SWE-bench, οι καλύτερες λύσεις (συμπεριλαμβανομένων ιδιόκτητων) έφτασαν περίπου στο 20% επιτυχών επιλύσεων στο πλήρες benchmark και έως 43% στο απλοποιημένο σύνολο Lite. Αυτή η πρόοδος συνδέεται με τη βελτίωση των μοντέλων (π.χ. η εμφάνιση GPT-4, Claude 2 και 3) και ιδιαίτερα με την ανάπτυξη του scaffolding — εξωτερικών στρατηγικών που επιτρέπουν στο μοντέλο να αναλύει αποτελεσματικά την εργασία σε βήματα, να διαβάζει τεκμηρίωση, να εκτελεί συνεδρίες αποσφαλμάτωσης κ.λπ.

Μετά την εισαγωγή στα τέλη του 2024 του συνόλου Verified (καθαρισμένου από εσφαλμένες εργασίες) η μετρήσιμη απόδοση αυξήθηκε ακόμη περισσότερο. Το μοντέλο GPT-4 (παραλλαγή GPT-4o) έδειξε αμέσως περίπου 33% επιτυχών επιλύσεων στο Verified έναντι ~16% προηγουμένως στο αρχικό σύνολο. Τα καλύτερα ανοιχτά frameworks-agents (π.χ. Agentless) διπλασίασαν το αποτέλεσμά τους από ~16% σε 32% στο Verified. Αυτό επιβεβαίωσε την υπόθεση ότι το αρχικό benchmark υποεκτιμούσε κάπως τις επιδόσεις λόγω της παρουσίας μη επιλύσιμων περιπτώσεων. Ταυτόχρονα, η βελτίωση των αποτελεσμάτων στο Verified σε σύγκριση με το Lite δεν είναι τόσο δραματική (τα καλύτερα μοντέλα έφταναν ήδη ~43% στο Lite), κάτι που είναι λογικό: το Lite επέλεγε αρχικά πιο εύκολα παραδείγματα, ενώ το Verified αφαίρεσε τα μη εκτελέσιμα αλλά άφησε τις σύνθετες εργασίες. Είναι σημαντικό να σημειωθεί ότι η αύξηση των μετρήσεων κατά τη μετάβαση στο Verified συνέβη σε όλες τις κατηγορίες δυσκολίας εργασιών, και όχι μόνο λόγω εξάλειψης των πιο δύσκολων — δηλαδή η φιλτράρισμα απαλλαγή ήρε το σύνολο και από κρυφά μη εκτελέσιμες περιπτώσεις μεταξύ σχετικά απλών εργασιών.

Στις αρχές του 2025 τα κορυφαία συστήματα ΑΙ επιδεικνύουν ήδη αποδοτικότητα κοντά στο ανθρώπινο επίπεδο στο επαληθευμένο σύνολο εργασιών, αν και η οροφή του 100% παραμένει ακόμη μακρινή. Τον Ιανουάριο του 2025, η εταιρεία Anthropic ανακοίνωσε ότι το νέο μοντέλο της Claude 3.5 Sonnet σε συνδυασμό με βελτιωμένο agent επέλυσε 49% εργασιών του SWE-bench Verified, αναδεικνύοντας προσωρινά πρώτο. Μεγάλες τεχνολογικές εταιρείες και ανεξάρτητες ομάδες συμμετέχουν επίσης ενεργά σε ανεπίσημες αναμετρήσεις σε αυτό το benchmark. Έτσι, η ομάδα CodeStory ανέπτυξε μια πολυ-μοντελική προσέγγιση με αναζήτηση παραλλαγών («Midwit Agent»), που επέτυχε ρεκόρ 62,2% επιλυμένων εργασιών στο Verified (στοιχεία αρχών 2025). Σημειώθηκε ότι για αυτό χρειάστηκε σημαντική αύξηση των υπολογιστικών πόρων κατά τη φάση εξαγωγής (λεγόμενο inference time scaling), εκτελώντας πολλές προσπάθειες επίλυσης και επιλέγοντας το καλύτερο αποτέλεσμα. Με τη σειρά της, σε υλικά της OpenAI γινόταν λόγος για ένα πειραματικό σύστημα GPT-03, το οποίο με επαρκή κλιμάκωση υπολογισμών κατέφερε υποτίθεται να υπερβεί το κατώφλι του 70% στο Verified (ανεπίσημα στοιχεία). Ωστόσο, απουσιάζει η ανεξάρτητη επαλήθευση αυτών των αποτελεσμάτων, και τόσο υψηλός δείκτης παραμένει μάλλον οδηγός για μελλοντικές έρευνες παρά επιτευχθείς στόχος.

Σύμφωνα με έρευνα της Microsoft Research (2025), ακόμα και τα πιο σύγχρονα μοντέλα, εφοδιασμένα με εργαλεία αποσφαλμάτωσης, δεν ξεπερνούν ακόμη το όριο του 50% επιτυχών διορθώσεων σφαλμάτων από το SWE-bench Lite. Σε αυτή τη δοκιμή, το καλύτερο αποτέλεσμα είχε το Claude 3.7 Sonnet με ~48,4% επιλυμένων εργασιών, ενώ το σύστημα με GPT-4 (OpenAI o1) επέλυσε περίπου 30%, και το πιο ελαφρύ μοντέλο o3-mini μόνο 22%. Αυτά τα αποτελέσματα υπογραμμίζουν ότι, παρά τη γρήγορη πρόοδο, τα σύγχρονα ΑΙ υστερούν ακόμη έναντι έμπειρων προγραμματιστών: για έναν άνθρωπο η επίλυση τέτοιων εργασιών (με κατανόηση του κώδικα) δεν παρουσιάζει δυσκολία, ενώ το μοντέλο συχνά αδυνατεί να εφαρμόσει αποτελεσματικά εργαλεία αποσφαλμάτωσης ή υποφέρει από έλλειψη δεδομένων εκπαίδευσης που να αντικατοπτρίζουν τη διαδικασία πολλαπλών βημάτων διόρθωσης σφαλμάτων.

Περιορισμοί και προοπτικές

Το SWE-bench έχει γίνει τυποποιημένη πλατφόρμα για την αξιολόγηση έξυπνων agents κώδικα, ωστόσο οι έρευνες έχουν αναδείξει και ορισμένους περιορισμούς του. Το κύριο πρόβλημα είναι η ελλιπής κάλυψη δοκιμών: το σύνολο ελεγκτικών δοκιμών για κάθε εργασία λαμβάνεται από ένα συγκεκριμένο pull request και συνήθως περιλαμβάνει μόνο εκείνες τις unit tests που τροποποιήθηκαν κατά τη διόρθωση του σφάλματος. Όπως έδειξε ανάλυση ομάδας επιστημόνων από το Πανεπιστήμιο Zhejiang και το Πανεπιστήμιο Stuttgart (Wang et al. 2025), η αγνόηση των υπολοίπων δοκιμών του έργου μπορεί να αποκρύψει την ανακρίβεια ορισμένων λύσεων. Η επαναεπαλήθευση λύσεων στο πλήρες σύνολο δοκιμών του αποθετηρίου αποκάλυψε ότι κατά μέσο όρο 7,8% patches που επισημαίνονται ως επιτυχή στο SWE-bench, στην πραγματικότητα δεν περνούν άλλες δοκιμές στο έργο. Αυτό οδηγεί σε υπερεκτίμηση της μετρικής «επιλυμένες εργασίες» κατά περίπου 4-6 ποσοστιαίες μονάδες. Ακόμη πιο λεπτή περίπτωση είναι όταν το παραγόμενο patch περνά όλες τις αρχικές δοκιμές, αλλά είναι μη ισοδύναμο με τη λύση του προγραμματιστή και αλλάζει τη συμπεριφορά του προγράμματος με τρόπο που δεν αναμενόταν. Με τη βοήθεια παραγωγής επιπλέον δοκιμαστικών περιπτώσεων (μεθοδολογία PatchDiff) οι ερευνητές διαπίστωσαν ότι σχεδόν 30% των προτεινόμενων από ΑΙ διορθώσεων συμπεριφέρονται διαφορετικά από τα patches αναφοράς, και περίπου 11% είναι αναμφισβήτητα εσφαλμένα, αν και δεν εντοπίζονται από τις υπάρχουσες δοκιμές. Έτσι, οι πραγματικές ικανότητες των μοντέλων ενδέχεται να υπερεκτιμώνται εάν βασιστούμε μόνο στην επιτυχή εκτέλεση περιορισμένου συνόλου δοκιμών. Οι δημιουργοί του SWE-bench αναγνωρίζουν αυτή την ευπάθεια και τονίζουν ότι το benchmark πρέπει να εξελίσσεται με την πάροδο του χρόνου: να βελτιώνεται η κάλυψη δοκιμών, να προστίθενται ελέγχοι για την απουσία ανεπιθύμητων παρενεργειών, να διευρύνεται το σύνολο τύπων εργασιών. Η ανάπτυξη τέτοιων μέσων αξιολόγησης αποτελεί σημαντικό μέρος της προετοιμασίας για την εμφάνιση όλο και πιο αυτόνομων και ισχυρών προγραμματιστών-ΑΙ, και η εμπειρία με το SWE-bench δείχνει την ανάγκη προσεκτικής προσέγγισης στην ποιότητα των benchmarks.

Το SWE-bench, αποτελώντας απλώς ένα στατικό σύνολο εργασιών, δεν καλύπτει απολύτως όλες τις πτυχές του προγραμματισμού, αλλά έχει ήδη γίνει de facto πρότυπο για συγκριτική ανάλυση μοντέλων κώδικα. Χρησιμοποιείται σε επιστημονικές εργασίες για την επίδειξη νέων μεθόδων και αλγορίθμων, καθώς και από βιομηχανικές ερευνητικές ομάδες για την αξιολόγηση του δυναμικού συστημάτων που προορίζονται να αυτοματοποιήσουν τον προγραμματισμό. Η συνεχής αύξηση των αποτελεσμάτων στο SWE-bench κατά τα έτη 2023-2025 αναδεικνύει εναργώς τη ραγδαία βελτίωση των δυνατοτήτων LLM στην επίλυση πρακτικών εργασιών ανάπτυξης. Ταυτόχρονα χρησιμεύει ως βαρόμετρο πολυπλοκότητας: ακόμα και πλησιάζοντας στο 50-60% επιλυμένων εργασιών, τα μοντέλα εξακολουθούν να απέχουν πολύ από την πλήρη αντικατάσταση του ανθρώπου, ιδιαίτερα σε συνθήκες περιορισμένης πληροφορίας και ανάγκης για λεπτή κατανόηση των απαιτήσεων. Ωστόσο, η πρόοδος δεν σταματά — χάρη σε πρωτοβουλίες όπως το SWE-bench, η κοινότητα βλέπει καθαρά τους στόχους και τους περιορισμούς της, και συνεχίζει να κινείται προς τη δημιουργία ενός ολοκληρωμένου προγραμματιστή-ΑΙ, ικανού να κατανοεί και να διορθώνει αυτόνομα τον κώδικα σε επίπεδο ανθρώπινου εμπειρογνώμονα.

Αναφορές

• SWE-bench στο GitHub
• Επίσημο leaderboard του SWE-bench

Βιβλιογραφία

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.