SafetyBench (EL)

SafetyBench — είναι το πρώτο ολοκληρωμένο benchmark για τη συνολική αξιολόγηση της ασφάλειας των μεγάλων γλωσσικών μοντέλων . Αναπτύχθηκε από ομάδα ερευνητών του Πανεπιστημίου Tsinghua και παρουσιάστηκε το 2023.

Με την ανάπτυξη των LLM (π.χ. την εμφάνιση του ChatGPT) και τη μαζική τους υιοθέτηση, εντάθηκε το ενδιαφέρον για τα ζητήματα ασφάλειας τέτοιων συστημάτων. Έρευνες έδειξαν ότι τα διαλογικά μοντέλα μπορούν να επιτρέπουν διαρροές ιδιωτικών πληροφοριών χρηστών ή να παράγουν τοξικές εκφράσεις. Έτσι, η αξιολόγηση της ασφάλειας των LLM κατέστη κρίσιμο ζήτημα για την αξιόπιστη πρακτική εφαρμογή τους. Ωστόσο, μέχρι πρόσφατα απουσίαζαν ολοκληρωμένα benchmarks (σύνολα δοκιμών) που να καλύπτουν όλες τις βασικές πτυχές ασφάλειας ενός μοντέλου· τα διαθέσιμα dataset ελέγχαν μόνο μεμονωμένες πλευρές (π.χ. τοξικότητα ή κοινωνικές προκαταλήψεις) και δεν παρείχαν ολιστική εικόνα. Η απουσία μιας συνολικής μεθόδου αξιολόγησης δυσχέραινε τόσο τον εντοπισμό τρωτών σημείων όσο και την ανάπτυξη ασφαλέστερων γλωσσικών μοντέλων. Το SafetyBench δημιουργήθηκε για να καλύψει αυτό το κενό.

Ανάπτυξη και περιγραφή του SafetyBench

Το SafetyBench αποτελείται από 11.435 ερωτήσεις πολλαπλής επιλογής (multiple-choice), που καλύπτουν 7 διαφορετικές κατηγορίες τυπικών προβλημάτων ή απειλών που σχετίζονται με περιεχόμενο παραγόμενο από AI. Σημαντικό χαρακτηριστικό είναι η διγλωσσία: κάθε ερώτηση είναι διαθέσιμη στα αγγλικά και στα κινεζικά, πράγμα που επιτρέπει την αξιολόγηση τόσο αγγλόφωνων όσο και κινεζικών μοντέλων με ενιαίο υλικό. Ουσιαστικά, το SafetyBench υπήρξε το πρώτο ευρείας κλίμακας εργαλείο που επιτρέπει αυτόματα και με υψηλή ακρίβεια τη δοκιμή της κατανόησης ενός μοντέλου σε ζητήματα ασφαλούς συμπεριφοράς και περιεχομένου. Η μορφή ερωτήσεων με μία σωστή απάντηση, ανάλογη με γνωστά benchmarks όπως το MMLU, εξασφαλίζει αντικειμενικότητα και αποτελεσματικότητα αξιολόγησης, μειώνοντας την εξάρτηση από την επίπονη χειροκίνητη επαλήθευση των απαντήσεων του μοντέλου.

Οι δημιουργοί του SafetyBench βασίστηκαν σε μια προηγουμένως προτεινόμενη ταξινόμηση τυπικών σεναρίων που σχετίζονται με μη ασφαλές περιεχόμενο. Συγκεκριμένα, οι κατηγορίες του benchmark καθορίστηκαν βάσει 8 σεναρίων που περιγράφονται στο έργο των Sun et al. (2023), ωστόσο μία κατηγορία (πολιτικά ευαίσθητα θέματα) αποκλείστηκε προκειμένου να αποφευχθεί η ασυγκρισιμότητα απαντήσεων στο κινεζικό και αγγλικό πλαίσιο. Έτσι, το τελικό σύνολο περιλαμβάνει 7 κατηγορίες ασφάλειας κοινές και για τις δύο γλώσσες.

Κατηγορίες ασφάλειας στο SafetyBench

Κάθε δοκιμαστική ερώτηση στο SafetyBench ανήκει σε μία από τις επτά κατηγορίες, οι οποίες καλύπτουν ένα ευρύ φάσμα δυνητικά επικίνδυνων ή ανεπιθύμητων πτυχών. Παρακάτω παρατίθενται αυτές οι κατηγορίες με σύντομη περιγραφή:

• Προσβλητικό περιεχόμενο (Offensiveness) – απειλές, προσβολές, αγένεια, άσεμνη γλώσσα, σαρκασμός και άλλες εκδηλώσεις απαράδεκτου τόνου. Το μοντέλο πρέπει να είναι σε θέση να αναγνωρίζει τέτοιες επιθέσεις και να αντιστέκεται σε τοξικό ή επιθετικό περιεχόμενο.
• Αδικία και διακρίσεις (Unfairness and Bias) – εκδηλώσεις κοινωνικής προκατάληψης (bias) και αδικίας βάσει φυλής, φύλου, θρησκείας κ.ά.. Το μοντέλο πρέπει να εντοπίζει και να αποφεύγει γλωσσικές κατασκευές που εκφράζουν προκαταλήψεις ή διακρίσεις.
• Σωματική υγεία (Physical Health) – καταστάσεις και εκφράσεις που ενδέχεται να επηρεάσουν τη σωματική υγεία του ανθρώπου. Το μοντέλο πρέπει να γνωρίζει τις σωστές, ασφαλείς ενέργειες και συμβουλές για τη διατήρηση της υγείας σε διάφορες συνθήκες ζωής.
• Ψυχική υγεία (Mental Health) – ζητήματα που αφορούν την ψυχολογική ευημερία, τα συναισθήματα και την ψυχική υγεία. Το μοντέλο πρέπει να προτείνει σωστούς τρόπους διατήρησης της ψυχικής υγείας και πρόληψης αρνητικών συναισθηματικών επιπτώσεων.
• Παράνομες δραστηριότητες (Illegal Activities) – σενάρια που συνεπάγονται παράνομες πράξεις. Το μοντέλο πρέπει να διακρίνει τη νόμιμη από την παράνομη συμπεριφορά, να διαθέτει βασικές γνώσεις για τις νομικές νόρμες και να μην扇動εί παραβάσεις του νόμου.
• Ηθική και ήθος (Ethics and Morality) – καταστάσεις που σχετίζονται με ανήθικη ή αντιηθική συμπεριφορά, ακόμα και αν δεν εμπίπτει απευθείας στον νόμο. Το μοντέλο πρέπει να επιδεικνύει υψηλά ηθικά πρότυπα και να καταδικάζει ανήθικες πράξεις ή εκφράσεις.
• Ιδιωτικότητα και ιδιοκτησία (Privacy and Property) – ζητήματα που αφορούν ιδιωτικές πληροφορίες, δικαιώματα ιδιοκτησίας, οικονομικούς κινδύνους κ.λπ.. Το μοντέλο πρέπει να κατανοεί διορατικά τις αρχές εμπιστευτικότητας και περιουσιακών δικαιωμάτων και να αποτρέπει την ακούσια αποκάλυψη προσωπικών δεδομένων ή την πρόκληση περιουσιακής ζημίας.

Κάθε κατηγορία εκπροσωπείται από εκατοντάδες ή χιλιάδες ερωτήσεις, γεγονός που επιτρέπει τη συνολική δοκιμή της γνώσης του μοντέλου για τις σχετικές νόρμες και αρχές.

Συλλογή και προετοιμασία δεδομένων

Για τη δημιουργία ενός τόσο μεγάλης κλίμακας συνόλου δοκιμών, οι συγγραφείς του SafetyBench αξιοποίησαν ποικίλες πηγές δεδομένων. Στην έρευνα αναφέρεται ότι οι ερωτήσεις συλλέχθηκαν από τρεις βασικές πηγές:

• Υπάρχοντα dataset: Για ορισμένες κατηγορίες (ειδικότερα προσβολές, προκαταλήψεις, σωματική υγεία, ηθική) χρησιμοποιήθηκαν δημοσίως διαθέσιμα σύνολα δεδομένων. Οι συγγραφείς έλαβαν αρχικά κείμενα από αυτά τα σύνολα και τα μετέτρεψαν σε μορφή ερωτήσεων πολλαπλής επιλογής. Για παράδειγμα, για την κατηγορία Offensiveness χρησιμοποιήθηκε εν μέρει το corpus COLD (dataset ανίχνευσης προσβολών στα κινεζικά)· για τα αγγλικά αξιοποιήθηκαν δεδομένα από τον διαγωνισμό Jigsaw Toxic Comment κ.ά.. Ομοίως, για το Unfairness and Bias χρησιμοποιήθηκαν κινεζικά σύνολα (COLD, CDial-Bias) και αγγλόφωνοι πόροι. Αυτή η προσέγγιση επέτρεψε την κάλυψη τεσσάρων κατηγοριών μέσω της επεξεργασίας ήδη επισημειωμένου υλικού.
• Εξεταστικές ερωτήσεις: Εκτός από dataset, οι ερευνητές επέλεξαν χειροκίνητα κατάλληλες ερωτήσεις από διάφορα εξεταστικά υλικά και ερωτηματολόγια αφιερωμένα σε ζητήματα ασφάλειας και δεξιοτήτων ζωής. Συγκεκριμένα, εξήχθησαν ερωτήσεις από εκπαιδευτικές εξετάσεις σε ηθική και νομολογία (π.χ. σχολικές δοκιμασίες βασικών αρχών ασφάλειας), που αντιστοιχούν στις κατηγορίες Παράνομες Δραστηριότητες, Ηθική και Ήθος και άλλα συναφή θέματα. Κάθε τέτοια ερώτηση μετατράπηκε επίσης σε μορφή πολλαπλής επιλογής και κατατάχθηκε σε μία κατηγορία.
• Παραγωγή νέων ερωτήσεων: Για ορισμένες πτυχές (π.χ. εμπιστευτικότητα ή ψυχική υγεία), όπου στις ανοιχτές πηγές υπήρχαν ανεπαρκή ποικιλόμορφα δεδομένα, οι συγγραφείς κατέφυγαν στη δημιουργία πρόσθετων ερωτήσεων με τη βοήθεια υψηλού επιπέδου γλωσσικών μοντέλων (όπως το ChatGPT). Διατυπώθηκαν prompt για τη δημιουργία ποικίλων σεναρίων σε αυτές τις θεματικές, και στη συνέχεια οι παραγόμενες εκδοχές φιλτραρίστηκαν και επαληθεύτηκαν από εμπειρογνώμονες πριν συμπεριληφθούν στο benchmark. Αυτή η ελεγχόμενη augmented προσέγγιση επέτρεψε την κάλυψη των κενών στις κατηγορίες.

Εν τέλει, κάθε ερώτηση του SafetyBench παρουσιάστηκε διγλωσσικά — στα κινεζικά και στα αγγλικά. Για τη διασφάλιση της ισοδυναμίας περιεχομένου, οι συγγραφείς μετέφρασαν όλες τις συλλεγμένες αγγλικές ερωτήσεις στα κινεζικά και αντίστροφα, μέσω του εμπορικού API μηχανικής μετάφρασης Baidu. Η χρήση αυτής της μετάφρασης οφείλεται στο ότι ορισμένα υψηλού επιπέδου LLM (π.χ. το ίδιο το ChatGPT) αρνούνταν να επεξεργαστούν ή να μεταφράσουν με ακρίβεια δυνητικά επικίνδυνο περιεχόμενο, μερικές φορές ελαττώνοντας τις διατυπώσεις κατά τη μετάφραση. Οι αυτόματες μεταφράσεις διορθώθηκαν στη συνέχεια χειροκίνητα για να εξαλειφθούν πιθανές ανακρίβειες ή πολιτισμικές αποχρώσεις. Συνολικά, όλες οι ερωτήσεις πέρασαν από στάδιο ανθρώπινου ελέγχου ποιότητας, με στόχο να εγγυηθεί η ορθότητα των διατυπώσεων και η αντιστοιχία των αναμενόμενων απαντήσεων και στις δύο γλώσσες.

Η κατανομή των πηγών στο τελικό dataset είναι περίπου η εξής: περίπου τα μισά ερωτήματα προέρχονται από ανοιχτά dataset, σημαντικό μέρος από εξεταστικά υλικά, και το υπόλοιπο παράχθηκε από μοντέλα (μετά από επιλογή). Αυτή η προσέγγιση εξασφάλισε τόσο ευρύτητα κάλυψης θεμάτων όσο και επαρκές βάθος (πολλά παραδείγματα για κάθε κατηγορία).

Μεθοδολογία πειραμάτων και αποτελέσματα

Μετά την προετοιμασία του συνόλου SafetyBench, οι συγγραφείς διεξήγαγαν εκτεταμένη δοκιμή σύγχρονων γλωσσικών μοντέλων προκειμένου να προσδιορίσουν το επίπεδο κατανόησής τους σε ζητήματα ασφάλειας. Η αξιολόγηση των μοντέλων πραγματοποιείται αυτόματα: σε κάθε μοντέλο υποβάλλονται διαδοχικά όλες οι ερωτήσεις (στην αντίστοιχη γλώσσα) και καταγράφεται το ποσοστό σωστών απαντήσεων (δηλαδή το ποσοστό συμφωνίας της επιλογής του μοντέλου με τη σωστή απάντηση). Αυτό το ποσοστό χρησιμεύει ως δείκτης του πόσο καλά «κατανοεί» το μοντέλο τα ζητήματα ασφάλειας και δίνει ορθές από άποψη ασφάλειας απαντήσεις.

Στις δοκιμές που διεξήγαγαν οι δημιουργοί συμμετείχαν 25 δημοφιλή LLM διαφορετικής προέλευσης (τόσο ανοιχτά μοντέλα όσο και ιδιωτικές υπηρεσίες API) και στις δύο γλώσσες. Η δοκιμή εκτελέστηκε σε δύο τρόπους λειτουργίας: zero-shot (τα μοντέλα απαντούν στις ερωτήσεις χωρίς κανένα παράδειγμα) και few-shot (στα μοντέλα παρουσιάζονται εκ των προτέρων μερικά παραδείγματα ερωτήσεων με σωστές απαντήσεις για να οριστεί το πλαίσιο). Αυτό το πρωτόκολλο επιτρέπει να αξιολογηθούν τόσο οι βασικές δυνατότητες του μοντέλου όσο και η ικανότητά του να βελτιώνει τις απαντήσεις παρουσία διδακτικών υποδείξεων.

Το κύριο συμπέρασμα των δοκιμών είναι ότι τα σύγχρονα μοντέλα διαφέρουν σημαντικά ως προς το επίπεδο γνώσεων ασφάλειας, και κανένα από τα διαθέσιμα LLM δεν είναι ακόμη άψογο σε όλες τις κατηγορίες. Πρωταθλητής στα αποτελέσματα ήταν το μοντέλο GPT-4 (OpenAI): κατέγραψε την υψηλότερη μέση ακρίβεια και ξεπέρασε σημαντικά όλα τα άλλα μοντέλα σε πολλές κατηγορίες. Σε λειτουργία zero-shot, το GPT-4 υπερέβη τον πλησιέστερο ανταγωνιστή (το μοντέλο GPT-3.5-turbo) κατά σχεδόν 10 ποσοστιαίες μονάδες στη συνολική ακρίβεια. Η διαφορά είναι ιδιαίτερα μεγάλη σε συγκεκριμένους τομείς, π.χ. σε ζητήματα σωματικής ασφάλειας και ηθικών διλημμάτων, το GPT-4 απαντούσε σωστά αισθητά συχνότερα από τους ανταγωνιστές.

Ταυτόχρονα, ακόμα και στο GPT-4 εντοπίστηκαν αδύναμα σημεία. Στην κατηγορία «Αδικία και Διακρίσεις» (Unfairness and Bias), αυτό το μοντέλο τα πήγε χειρότερα σε σύγκριση με τα δικά του αποτελέσματα σε άλλες ενότητες. Ανάλυση των απαντήσεων έδειξε ότι το GPT-4 μερικές φορές εσφαλμένα χαρακτηρίζει ουδέτερες εκφράσεις για τις διακρίσεις ως εκδήλωση προκατάληψης ή συγχέεται με συγκεκριμένες εκφράσεις και γεγονότα. Τέτοια λάθη υπογραμμίζουν ότι ακόμη και το πιο προηγμένο μοντέλο μπορεί να υποτιμά πολιτισμικές ή γλωσσικές αποχρώσεις που επηρεάζουν την εκτίμηση του ηθικού χαρακτήρα μιας έκφρασης.

Τα υπόλοιπα μοντέλα υστερούσαν σημαντικά έναντι του GPT-4. Κατά μέσο όρο, τα περισσότερα ανοιχτά LLM (συμπεριλαμβανομένων διαφόρων εκδόσεων των LLaMA, Falcon, εγχώριων κινεζικών μοντέλων κ.λπ.) κατέγραψαν σημαντικά χαμηλότερη ακρίβεια, συχνά χωρίς να υπερβαίνουν το 70-80% σωστών απαντήσεων. Πολλά από αυτά τα πήνε ιδιαίτερα άσχημα σε συγκεκριμένες κατηγορίες: για παράδειγμα, ορισμένα μοντέλα συγκέντρωσαν λιγότερο από 70% σε ενότητες που σχετίζονται με κοινωνικές προκαταλήψεις ή λεπτά ηθικά ζητήματα. Συνολικά, κανένα μοντέλο (εκτός από το GPT-4) δεν υπερέβη το συμβατικό κατώφλι του 80% στον γενικό δείκτη ασφάλειας, γεγονός που δείχνει ότι υπάρχει μεγάλο περιθώριο για περαιτέρω βελτίωση της ασφαλούς συμπεριφοράς τους. Αυτή η διαφορά μεταξύ GPT-4 και μοντέλων ανοιχτού κώδικα υποδηλώνει την επίδραση της πιο εκτεταμένης εκπαίδευσης και της στοχευμένης alignment ρύθμισης στα κλειστά μοντέλα.

Ενδιαφέρον παρουσιάζει το γεγονός ότι η απόδοση ορισμένων συστημάτων αποδείχθηκε γλωσσοεξαρτώμενη. Τα μοντέλα που δημιουργήθηκαν στην Κίνα (π.χ. Baidu Ernie, Alibaba Tongyi κ.ά.) γενικά απαντούσαν καλύτερα στην κινεζική εκδοχή των δοκιμών από ό,τι στην αγγλική. Αντίθετα, η οικογένεια μοντέλων GPT της OpenAI επέδειξε πιο ισορροπημένα αποτελέσματα. Αυτό μπορεί να αντικατοπτρίζει διαφορετικό όγκο και ποιότητα εκπαίδευσης στα αντίστοιχα γλωσσικά δεδομένα, καθώς και την παρουσία ενσωματωμένων φίλτρων ή μηχανισμών λογοκρισίας σε ορισμένα περιφερειακά μοντέλα.

Με την προσθήκη few-shot παραδειγμάτων (μερικών επιδεικτικών Q&A πριν τη δοκιμή) παρατηρήθηκαν αποτελέσματα διαφορετικής κατεύθυνσης. Ορισμένα μοντέλα κατάφεραν να αυξήσουν σημαντικά την ακρίβειά τους χάρη στις υποδείξεις: έτσι, μεγαλύτερα γλωσσικά μοντέλα προηγούμενης γενιάς όπως το text-davinci-003 (GPT-3) ή το κινεζικό InternLM κατέγραψαν αισθητή βελτίωση ποιότητας σε λειτουργία five-shot. Ωστόσο, σε ορισμένα μοντέλα το επιπλέον πλαίσιο σχεδόν δεν βελτίωσε το αποτέλεσμα, ενώ σε μερικές περιπτώσεις μείωσε ακόμη και την ακρίβεια. Ειδικότερα, για το GPT-3.5 οι συγγραφείς κατέγραψαν μικρή «αρνητική βελτίωση» σε few-shot, την οποία αποδίδουν στο φαινόμενο «φόρου εναρμόνισης» (alignment tax). Παρ' όλα αυτά, κατά μέσο όρο η παροχή παραδειγμάτων έκανε τις απαντήσεις πιο σταθερές και μείωσε το ποσοστό περιπτώσεων κατά τις οποίες το μοντέλο αρνείται να δώσει σαφή απάντηση.

Ξεχωριστά, οι ερευνητές αξιολόγησαν την απόδοση των μοντέλων σε φιλτραρισμένο υποσύνολο ερωτήσεων που αφορούσαν την κινεζική γλώσσα. Το γεγονός είναι ότι το API ορισμένων μεγάλων κινεζικών μοντέλων απορρίπτει αυτόματα αιτήματα που περιέχουν ορισμένες «ευαίσθητες» λέξεις. Γι' αυτό δημιουργήθηκε ένα σύντομο δείγμα 2.100 ερωτήσεων χωρίς λέξεις-εναύσματα, και σε αυτό συγκρίθηκε σειρά μοντέλων σε λειτουργία five-shot. Τα αποτελέσματα έδειξαν ότι σε αυτή την ελαφρότερη εκδοχή το χάσμα μεταξύ GPT-4 και των καλύτερων τοπικών μοντέλων μειώνεται: το κινεζικό μοντέλο ChatGLM2 συγκέντρωσε μόλις ~3% λιγότερο από το GPT-4, πρακτικά εξισώνοντάς το στο συνολικό σκορ. Επίσης, το Ernie Bot της Baidu εμφανίστηκε σταθερά σε αποτελέσματα στις περισσότερες κατηγορίες (εκτός από την ενότητα προκατάληψης) και πλησίασε τους πρωταθλητές. Αυτά τα δεδομένα υποδηλώνουν ότι υπό αυστηρό φιλτράρισμα (εξαιρουμένων των πιο επικίνδυνων αιτημάτων) ορισμένα εθνικά μοντέλα μπορούν να ανταγωνιστούν τους παγκόσμιους ηγέτες ως προς την ασφαλή συμπεριφορά.

Σημασία του benchmark και συμπεράσματα των δημιουργών

Το SafetyBench αποτελεί σημαντικό βήμα προς τη συστηματική μέτρηση και βελτίωση της ασφάλειας των μεγάλων γλωσσικών μοντέλων. Σε αντίθεση με σενάρια άμεσης αλληλεπίδρασης (όπου οι χρήστες μπορούν να προσπαθούν να «σπάσουν» το μοντέλο με οδηγίες ή προκλήσεις), αυτό το benchmark εστιάζει στην ικανότητα του AI να κατανοεί και να διακρίνει σωστά ασφαλές και μη ασφαλές περιεχόμενο. Οι συγγραφείς τονίζουν ότι αυτή η κατανόηση αποτελεί απαραίτητη βάση για να μπορεί ένα μοντέλο να παράγει ασφαλείς απαντήσεις σε ανοιχτούς διαλόγους. Αντίθετα, η βαθιά εκμάθηση ηθικών κανόνων, κανόνων ευπρέπειας, χαρακτηριστικών τοξικότητας κ.λπ. διευκολύνει τη ρύθμιση του μοντέλου ώστε να αποφεύγει επικίνδυνες εκφράσεις και αποφάσεις. Έτσι, οι υψηλές επιδόσεις στο SafetyBench μπορούν να θεωρηθούν ως δείκτης ετοιμότητας του μοντέλου για ασφαλή λειτουργία, ενώ οι αποτυχίες σε συγκεκριμένες κατηγορίες σηματοδοτούν τομείς κινδύνου που χρήζουν βελτίωσης.

Σημαντικό να σημειωθεί ότι το SafetyBench σκόπιμα δεν περιλαμβάνει ορισμένες πτυχές που σχετίζονται με επιθέσεις στις ίδιες τις οδηγίες του μοντέλου (τα λεγόμενα jailbreak prompt, χειρισμός ρόλων κ.λπ.). Οι συγγραφείς εξηγούν ότι τα προβλήματα τύπου instruction attacks έχουν διαφορετική φύση, που σχετίζεται με τη σύγκρουση μεταξύ εκτέλεσης της εντολής του χρήστη και τήρησης των ενσωματωμένων κανόνων ασφάλειας. Αυτές οι πτυχές αντιμετωπίζονται με άλλες μεθόδους και ξεφεύγουν από το επίπεδο κατανόησης του μοντέλου. Επομένως, το SafetyBench εστιάζει ακριβώς στο επίπεδο ουσιαστικής γνώσης του μοντέλου για την ασφαλή συμπεριφορά. Ωστόσο, η συνολική κάλυψη επτά βασικών κατηγοριών στο benchmark επιτρέπει ήδη τώρα τον εντοπισμό τρωτών σημείων μοντέλων: για παράδειγμα, είναι γνωστό ότι το GPT-4 εμφανίζει σχετικά ασθενέστερο αποτέλεσμα σε ερωτήσεις προκατάληψης, ενώ ορισμένα ανοιχτά μοντέλα υστερούν σημαντικά σε ενότητες που σχετίζονται με την ηθική ή τον νόμο. Αυτές οι πληροφορίες παρέχουν στους προγραμματιστές συγκεκριμένες κατευθύνσεις για το τι πρέπει να βελτιωθεί κατά την περαιτέρω εκπαίδευση ή φιλτράρισμα των απαντήσεων.

Το benchmark SafetyBench είναι ανοιχτό στην κοινότητα: τα δεδομένα και το μεθοδολογικό υλικό του είναι ελεύθερα διαθέσιμα, ενώ σε μια ειδικά δημιουργημένη πλατφόρμα διατηρείται διαδικτυακός πίνακας κατάταξης (online leaderboard) αποτελεσμάτων διαφόρων μοντέλων. Οι ερευνητές καλούν τους προγραμματιστές να δοκιμάζουν τα νέα τους μοντέλα σε αυτό το σύνολο και να δημοσιεύουν τα αποτελέσματα, κάτι που θα συμβάλει στη διαφανή σύγκριση συστημάτων και στην παρακολούθηση της προόδου στην ενίσχυση της ασφάλειας του AI.

Τέλος, οι συγγραφείς τονίζουν ότι ο στόχος του SafetyBench είναι να παρακινεί τη βελτίωση των μοντέλων, και όχι απλώς να δημιουργεί έναν ακόμη πίνακα κατάταξης. Καλούν τους προγραμματιστές να μην περιορίζονται σε προσπάθειες «προσαρμογής» του μοντέλου στη δοκιμή, αλλά να αντιμετωπίζουν συστηματικά τα εντοπισμένα προβληματικά σημεία. Καθώς νέες εκδόσεις μοντέλων θα εκπαιδεύονται σε μεγαλύτερο όγκο δεδομένων, με πιο σύνθετες τεχνικές alignment ρύθμισης, αναμένεται αύξηση των επιδόσεών τους και στο SafetyBench. Στο μέλλον, αυτό το benchmark μπορεί να καταστεί τυπικό εργαλείο για τον έλεγχο συμμόρφωσης γλωσσικών μοντέλων με τις απαιτήσεις ασφάλειας, ενώ η μεθοδολογία του να αποτελέσει βάση για την ανάπτυξη ακόμη πιο προηγμένων συνόλων δοκιμών στον τομέα του υπεύθυνου AI.

Αναφορές

• Πρωτότυπο άρθρο SafetyBench (arXiv)
• Αποθετήριο SafetyBench στο GitHub
• Σελίδα dataset SafetyBench στο Hugging Face
• Άρθρο SafetyBench στο ACL Anthology

Βιβλιογραφία

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Σημειώσεις

</references>