BBQ (Bias Benchmark for Question Answering) (EL)

BBQ (Bias Benchmark for Question Answering) — είναι ένα σύνολο δεδομένων για την αξιολόγηση κοινωνικών προκαταλήψεων (bias) σε συστήματα ερωτήσεων-απαντήσεων (QA). Αναπτύχθηκε από ομάδα ερευνητών του Πανεπιστημίου της Νέας Υόρκης υπό την καθοδήγηση της Alicia Parrish και δημοσιεύθηκε το 2022 στο συνέδριο ACL Findings. Ο στόχος του BBQ είναι να αποκαλύψει πώς τα μεγάλα γλωσσικά μοντέλα (LLM) και άλλα μοντέλα QA εκδηλώνουν στερεότυπα και προκαταλήψεις στις απαντήσεις τους σε ερωτήσεις, ιδιαίτερα σε εφαρμοσμένες εργασίες απάντησης ερωτήσεων σε φυσική γλώσσα. Το BBQ έχει καταστεί ένα από τα πιο ολοκληρωμένα benchmarks για την αξιολόγηση του κοινωνικού bias στο NLP, καλύπτοντας ένα ευρύ φάσμα στερεοτύπων στο πλαίσιο εννέα κοινωνικών κατηγοριών.

Το συγκεκριμένο σύνολο δεδομένων συμπληρώνει προηγούμενες εργασίες, όπως το dataset UnQover (2020), το οποίο μετρούσε την προκατάληψη σε περιορισμένο αριθμό χαρακτηριστικών (φύλο-επάγγελμα, εθνικότητα, εθνοτική καταγωγή, θρησκεία) και βασιζόταν στις πιθανότητες των μοντέλων και όχι στις ίδιες τις απαντήσεις. Σε αντίθεση με το UnQover, το BBQ αναλύει άμεσα το περιεχόμενο των απαντήσεων των μοντέλων και την επιλογή τους μεταξύ προτεινόμενων επιλογών, επιτρέποντας την αξιολόγηση της προκατάληψης ακριβώς στο επίπεδο των παραγόμενων αποτελεσμάτων.

Οι συγγραφείς του BBQ το τοποθετούν ως εργαλείο για τη διάγνωση επιβλαβών κοινωνικών στερεοτύπων σε μοντέλα και τη μείωση του κινδύνου αρνητικής επίδρασης τέτοιων στερεοτύπων σε ευάλωτες ομάδες πληθυσμού. Το σύνολο εστιάζει σε στερεότυπα σχετικά με την αγγλόφωνη αμερικανική κουλτούρα και δεν καλύπτει όλα τα πιθανά πολιτισμικά πλαίσια. Ωστόσο, το BBQ έθεσε τα θεμέλια για μεταγενέστερες εργασίες σχετικά με τη μέτρηση και τον περιορισμό του κοινωνικού bias στο NLP και έχει καταστεί σημείο αναφοράς για τη σύγκριση μοντέλων ως προς την ηθική τους ορθότητα.

Σύνθεση και δομή του συνόλου δεδομένων

Το BBQ περιέχει περίπου 58.500 ερωτήσεις και απαντήσεις, ομαδοποιημένες σε ειδικά σύνολα που στοχεύουν στην αποκάλυψη συγκεκριμένων στερεοτύπων. Όλα τα παραδείγματα δημιουργήθηκαν χειροκίνητα από τους συγγραφείς βάσει τεκμηριωμένων περιπτώσεων προκαταλήψεων και στερεοτύπων που βλάπτουν εκπροσώπους διαφόρων κοινωνικών ομάδων. Κατά τη δημιουργία των σεναρίων χρησιμοποιήθηκαν δεδομένα επιστημονικών ερευνών, άρθρα των μέσων ενημέρωσης, εκθέσεις και άλλες αξιόπιστες πηγές που επιβεβαιώνουν την ύπαρξη ενός συγκεκριμένου στερεοτύπου και τις επιβλαβείς συνέπειές του. Για κάθε κατάσταση, οι συγγραφείς παρέχουν παραπομπή στην πηγή όπου το συγκεκριμένο στερεότυπο περιγράφεται ως αρνητικό ή επιβλαβές (για παράδειγμα, επιστημονικό άρθρο ή ειδησεογραφικό κείμενο).

Κοινωνικές κατηγορίες

Το BBQ καλύπτει εννέα βασικές κοινωνικά σημαντικές κατηγορίες (που στην πλειονότητά τους αντιστοιχούν σε προστατευόμενες ομάδες κατά τον ορισμό της Επιτροπής Ίσων Ευκαιριών Απασχόλησης των ΗΠΑ):

• Ηλικία – προκαταλήψεις έναντι ηλικιακών ομάδων (π.χ. στερεότυπο για μείωση των γνωστικών ικανοτήτων στους ηλικιωμένους).
• Αναπηρία – στερεότυπα σχετικά με τις πνευματικές ικανότητες ή άλλα χαρακτηριστικά ατόμων με αναπηρία (π.χ. η αντίληψη ότι τα άτομα με κινητική αναπηρία είναι λιγότερο νοητικά ικανά).
• Ταυτότητα φύλου – στερεότυπα φύλου (π.χ. η ιδέα ότι «τα κορίτσια τα πάνε άσχημα στα μαθηματικά»).
• Εθνικότητα – εθνικές προκαταλήψεις (π.χ. στερεότυπο τεχνολογικής αναλφαβητισμού ατόμων αφρικανικής καταγωγής).
• Εμφάνιση – διακρίσεις βάσει εξωτερικής εμφάνισης, σωματότυπου (π.χ. η άποψη ότι τα άτομα με παχυσαρκία είναι λιγότερο έξυπνα ή εργατικά).
• Φυλή/εθνοτική καταγωγή – φυλετικά στερεότυπα (π.χ. προκατειλημμένη σύνδεση συγκεκριμένης φυλής με εγκληματικότητα ή ναρκωτικά).
• Θρησκεία – θρησκευτικά στερεότυπα (π.χ. η αντίληψη ότι οι Εβραίοι είναι φιλάργυροι, οι Μουσουλμάνοι επιρρεπείς στη βία κ.λπ.).
• Κοινωνικοοικονομική κατάσταση – προκαταλήψεις έναντι φτωχών ή πλούσιων στρωμάτων της κοινωνίας (π.χ. η πεποίθηση ότι άτομα από φτωχές οικογένειες θα είναι κακοί γονείς).
• Σεξουαλικός προσανατολισμός – ομοφοβικά στερεότυπα (π.χ. ψευδής σύνδεση ομοφυλοφιλίας με τον ιό HIV).

Πέρα από αυτές τις εννέα κατηγορίες, το BBQ περιλαμβάνει δύο διατομεακές κατηγορίες (intersectional biases), που συνδυάζουν δύο χαρακτηριστικά: (1) φύλο σε συνδυασμό με φυλή/εθνοτική καταγωγή και (2) κοινωνικοοικονομική κατάσταση σε συνδυασμό με φυλή. Τέτοιες περιπτώσεις λαμβάνουν υπόψη στερεότυπα στην τομή διαφόρων ομάδων (π.χ. προκαταλήψεις ειδικά κατά μαύρων γυναικών ή κατά ορισμένων εθνοτήτων από χαμηλή κοινωνική τάξη).

Πρότυπα και δημιουργία παραδειγμάτων

Για κάθε κατηγορία, η ομάδα συνέταξε πρότυπα σεναρίων — σύντομες σκηνογραφίες όπου εμφανίζονται δύο χαρακτήρες που διαφέρουν ως προς το στοχευόμενο χαρακτηριστικό (π.χ. νέος και ηλικιωμένος, άνδρας και γυναίκα, πλούσιος και φτωχός κ.λπ.). Στο πρότυπο ενσωματώνεται μια κατάσταση που θα μπορούσε να επιβεβαιώσει ή να διαψεύσει ένα γνωστό στερεότυπο. Σε κάθε σενάριο αντιστοιχούν ερωτήσεις και επιλογές απαντήσεων.

Συνολικά αναπτύχθηκαν 25 μοναδικά πρότυπα για καθεμία από τις εννέα βασικές κατηγορίες, καθώς και 25 επιπλέον πρότυπα για τις κατηγορίες φυλής και φύλου με χρήση πραγματικών ονομάτων (για τον έλεγχο του bias σε επίπεδο κύριων ονομάτων). Επίσης, δημιουργήθηκαν 25 πρότυπα για κάθε μία από τις δύο διατομεακές κατευθύνσεις. Έτσι, ο συνολικός αριθμός βασικών σεναρίων υπερβαίνει τα 300.

Κάθε πρότυπο περιέχει ειδικές θέσεις μεταβλητών — ονομασίες ομάδων ή περιγραφές — που παρεμβάλλονται στο κείμενο (π.χ. στο πρότυπο ηλικίας αντί για «_χρονος άνθρωπος» παρεμβάλλονται διαφορετικοί αριθμοί, ή στην εμφάνιση — επίθετα «παχύσαρκος»/«λεπτός» κ.λπ.). Χάρη στην παρεμβολή διαφόρων τιμών και στην εναλλαγή της σειράς αναφοράς των δύο χαρακτήρων, κάθε πρότυπο επεκτείνεται σε πλήθος συγκεκριμένων παραδειγμάτων (ελάχιστο 8 και έως ~200 παραλλαγές). Κατά κανόνα, από ένα πρότυπο παράγονται τουλάχιστον 100 τελικές ερωτήσεις, και σε ορισμένες περιπτώσεις — έως διακόσιες. Συνολικά προέκυψε ένα corpus από 58.492 παραδείγματα (μοναδικοί συνδυασμοί σεναρίου, ερώτησης και απάντησης).

Πλαίσια και τύποι ερωτήσεων

Βασικό χαρακτηριστικό του BBQ είναι ότι κάθε κατάσταση παρουσιάζεται με δύο παραλλαγές πλαισίου και δύο διατυπώσεις ερώτησης, σχηματίζοντας σύνολο τεσσάρων ερωτήσεων (αποκαλούμενο σύμπλεγμα των 4). Αυτό γίνεται για να διαχωριστεί η επίδραση της έλλειψης πληροφορίας από τα ίδια τα στερεότυπα του μοντέλου. Σε κάθε τετράδα:

• Αμφίσημο πλαίσιο (under-informative or ambiguous context): κείμενο που περιγράφει μια κατάσταση με δύο άτομα από διαφορετικές ομάδες, αλλά δεν περιέχει επαρκή πληροφορία για να απαντηθεί η ερώτηση μονοσήμαντα. Η σωστή απάντηση σε τέτοιες περιπτώσεις είναι πάντα η επιλογή «άγνωστο» (δηλαδή απουσία επαρκών δεδομένων). Αυτά τα παραδείγματα χρησιμεύουν για να ελεγχθεί εάν το μοντέλο θα εξάγει συμπέρασμα βασιζόμενο σε στερεότυπο.
• Αποσαφηνισμένο πλαίσιο (disambiguated context): εκτεταμένο σενάριο όπου προστίθεται μια διευκρινιστική λεπτομέρεια που επιτρέπει τον προσδιορισμό ποιο από τα δύο αναφερόμενα άτομα ανταποκρίνεται στην ερώτηση. Σε αυτή την περίπτωση, ένας από τους δύο χαρακτήρες είναι εξ ορισμού η σωστή απάντηση (ενώ η επιλογή «άγνωστο» είναι πλέον λανθασμένη). Το αποσαφηνισμένο πλαίσιο χρησιμεύει για να ελεγχθεί εάν το μοντέλο μπορεί να υπερβεί τον πιθανό bias του και να επιλέξει τη σωστή απάντηση, ακόμα και αν το στερεότυπο υποδηλώνει το αντίθετο.
• Αρνητική ερώτηση (π.χ. «Ποιος από τους δύο γνωρίζει ελάχιστα το αντικείμενο;», «Ποιος διέπραξε το έγκλημα;»). Μια τέτοια ερώτηση σε συνδυασμό με αμφίσημο πλαίσιο ελέγχει εάν το μοντέλο τείνει να συνδέει αρνητική πράξη με συγκεκριμένη ομάδα ελλείψει πραγματικών δεδομένων.
• Μη αρνητική (αντιθετική) ερώτηση (π.χ. «Ποιος από τους δύο γνωρίζει καλά το αντικείμενο;» ή «Ποιος αποφεύγει την κακή πράξη;»). Η μη αρνητική ερώτηση διατυπώνεται έτσι ώστε να μην ακούγεται ως άμεση επιδοκιμασία του στερεοτύπου, επιτρέποντας ωστόσο τον έλεγχο της ισορροπίας των απαντήσεων του μοντέλου. Η σύγκριση απαντήσεων σε αρνητικές και ουδέτερες εκδοχές αποκαλύπτει συστηματικές αποκλίσεις.

Κάθε ένα από αυτά τα τέσσερα παραδείγματα στο σύμπλεγμα έχει τρεις επιλογές απάντησης: δύο συγκεκριμένες (που ονομάζουν καθεμία από τις δύο εμπλεκόμενες ομάδες) και μία επιλογή που υποδηλώνει απουσία επαρκούς πληροφορίας (επισημασμένη ως «Unknown» και ισοδύναμες φράσεις). Για παράδειγμα, σε μια σκηνή όπου εμπλέκονται ένας Χριστιανός και ένας Μουσουλμάνος, οι επιλογές απάντησης θα είναι: «Χριστιανός», «Μουσουλμάνος» ή «άγνωστο». Μάλιστα, η λέξη «άγνωστο» δεν είναι πάντα η ίδια — χρησιμοποιούνται 10 συνώνυμες εκφράσεις.

Επιπλέον, σε κάθε πρότυπο αλλάζει αυτόματα η σειρά αναφοράς των δύο ομάδων. Αυτό γίνεται για την εξουδετέρωση του αποτελέσματος σειράς — γνωστού παράγοντα κατά τον οποίο τα μοντέλα μπορεί να επιλέγουν συχνότερα την πρώτη αναφερόμενη οντότητα ανεξαρτήτως περιεχομένου.

Σχολιασμός και έλεγχος ποιότητας

Κάθε παράδειγμα του BBQ αξιολογήθηκε από crowdsourcing σχολιαστές: τουλάχιστον 5 ανεξάρτητα άτομα απαντούσαν στις ερωτήσεις, και στο τελικό dataset συμπεριλαμβάνονταν μόνο εκείνα τα παραδείγματα για τα οποία τουλάχιστον 4 από τους 5 σχολιαστές συμφώνησαν με τη σωστή απάντηση (μέσω ψηφοφορίας). Εάν κάποια ερώτηση δεν περνούσε αυτό το κατώφλι, το σύνολο του προτύπου επανεξεταζόταν και αναθεωρούνταν. Χάρη σε αυτή τη διαδικασία, η ανθρώπινη ακρίβεια στο BBQ είναι πολύ υψηλή: μεμονωμένοι σχολιαστές απαντούσαν σωστά στο ~95,7% των ερωτήσεων, ενώ λαμβάνοντας υπόψη την πλειοψηφία των ψήφων, η ακρίβεια του χρυσού προτύπου φτάνει το 99,7%. Ο δείκτης συμφωνίας Krippendorff's alpha ήταν 0,883, γεγονός που υποδηλώνει υψηλή συνοχή μεταξύ των ανθρώπων ως προς τις σωστές απαντήσεις. Αυτά τα μέτρα επιβεβαιώνουν ότι οι εργασίες του BBQ είναι κατανοητές από ανθρώπους και έχουν αντικειμενικά σωστές απαντήσεις· κατά συνέπεια, τα σφάλματα μοντέλων σε αυτά τα παραδείγματα μπορούν εύλογα να ερμηνευθούν ως εκδηλώσεις bias και όχι ως ασάφεια των ίδιων των ερωτήσεων.

Αξιολόγηση προκαταλήψεων μοντέλων

Το BBQ σχεδιάστηκε για πολυδιάστατη αξιολόγηση της συμπεριφοράς μοντέλων σε συνθήκες που προκαλούν κοινωνικό bias. Κατά τη δοκιμή, το μοντέλο QA λαμβάνει ως είσοδο πλαίσιο και ερώτηση, και στη συνέχεια πρέπει να επιλέξει μία από τις τρεις επιλογές απάντησης. Η ανάλυση των αποτελεσμάτων διεξάγεται σε δύο επίπεδα:

Περίπτωση αμφίσημου πλαισίου

Μετράται πόσο συχνά το μοντέλο απαντά λανθασμένα σε ερωτήσεις ελλείψει αναγκαίας πληροφορίας, δηλαδή βασίζεται σε στερεότυπο. Ιδανικά, το μοντέλο πρέπει να απαντά «άγνωστο» σε κάθε ερώτηση με ανεπαρκές πλαίσιο, ωστόσο εάν επιλέξει μία από τις ομάδες, αυτό θεωρείται προβολή ενσωματωμένου στερεοτύπου. Η συχνότητα τέτοιων σφαλμάτων και η κατανομή τους ανά κατηγορία δίνουν εικόνα της τάσης του μοντέλου να αναπαράγει επιβλαβή στερεότυπα.

Περίπτωση πληροφοριακού πλαισίου

Αξιολογείται πόσο ακριβώς απαντά το μοντέλο όταν το πλαίσιο περιέχει ρητή σωστή απάντηση. Εδώ υπολογίζεται συνήθως η τυπική μετρική accuracy (ποσοστό σωστών απαντήσεων) — δείχνει εάν το μοντέλο ανταπεξέρχεται στο έργο ερωτήσεων-απαντήσεων γενικά. Ωστόσο, ιδιαίτερη προσοχή δίνεται στις περιπτώσεις όπου η σωστή απάντηση έρχεται σε αντίθεση με το στερεότυπο. Οι σχεδιαστές του BBQ αναλύουν εάν η ακρίβεια του μοντέλου μειώνεται όταν η σωστή απάντηση αντιφάσκει με ένα εδραιωμένο στερεότυπο (και αντίστροφα, εάν η ακρίβεια είναι υψηλότερη όταν η αλήθεια συμπίπτει με στερεοτυπική προσδοκία). Ένα τέτοιο αποτέλεσμα θα υποδήλωνε ότι ακόμα και παρουσία πραγματικών δεδομένων, το μοντέλο μπορεί να κάνει λάθη λόγω bias.

Bias Score

Για ποσοτική αξιολόγηση του βαθμού προκατάληψης εισάγεται ειδική μετρική — δείκτης προκατάληψης (bias score). Γενικά, το bias score αντικατοπτρίζει το ποσοστό των απαντήσεων του μοντέλου (μεταξύ των λανθασμένων ή όλων, ανάλογα με τη συνθήκη) που συμπίπτουν με το στερεότυπο.

• Η τιμή +100% θα σήμαινε ότι το μοντέλο σε όλες τις περιπτώσεις επέλεξε την επιλογή απάντησης που αποδίδει στερεοτυπικά αρνητική ιδιότητα στη στοχευόμενη ομάδα.
• 0% — καμία εκδήλωση bias (το μοντέλο είτε απαντά πάντα σωστά/«άγνωστο», είτε κάνει λάθη ισόποσα και προς τις δύο κατευθύνσεις).
• Αρνητικό score (έως -100%) — αντίθετη τάση, όταν το μοντέλο απαντά πάντα αντίθετα από την προσδοκία του στερεοτύπου.

Οι δείκτες υπολογίζονται χωριστά για αμφίσημα και αποσαφηνισμένα πλαίσια, καθώς ο χαρακτήρας των σφαλμάτων σε αυτά διαφέρει.

• Για αμφίσημες ερωτήσεις το bias score ορίζεται από το ποσοστό των περιπτώσεων όπου το μοντέλο αντί για «άγνωστο» επέλεξε κάποια συγκεκριμένη απάντηση, και μάλιστα αυτή η απάντηση συμπίπτει με το αρνητικό στερεότυπο. Όσο συχνότερες είναι τέτοιες απαντήσεις, τόσο υψηλότερο είναι το θετικό score. Ταυτόχρονα λαμβάνεται υπόψη η ακρίβεια: εάν το μοντέλο σφάλλει εξίσου και απαντά σωστά («άγνωστο»), τότε ακόμα και με ένα μέρος στερεοτυπικών σφαλμάτων, το score θα είναι χαμηλότερο από αυτό ενός μοντέλου που πάντα επιλέγει στερεοτυπική απάντηση. Έτσι, τιμωρούνται τόσο η συχνότητα όσο και η βεβαιότητα των bias-απαντήσεων (για αμφίσημα πλαίσια, η μετρική κλιμακώνεται λαμβάνοντας υπόψη το ποσοστό σωστών απαντήσεων «άγνωστο»).
• Για αποσαφηνισμένες ερωτήσεις το bias score υπολογίζεται κάπως διαφορετικά, αφού εδώ η σωστή απάντηση είναι μία από τις ομάδες. Σε αυτές τις περιπτώσεις εξετάζονται τα λανθασμένα απαντήσεις του μοντέλου: το ποσοστό σφαλμάτων στα οποία το μοντέλο δεν επέλεξε τη σωστή επιλογή αλλά την εναλλακτική επιλογή που συμπίπτει με το στερεότυπο. Με άλλα λόγια, εάν το μοντέλο έσφαλε δίνοντας προτεραιότητα στην προκατάληψη (π.χ. δεν εμπιστεύτηκε τα γεγονότα και απάντησε βάσει στερεοτύπου), αυτό αυξάνει το score.

Η ανάλυση του bias score μαζί με τη συνολική ακρίβεια επιτρέπει λεπτομερή χαρακτηρισμό της συμπεριφοράς του μοντέλου στο BBQ. Οι συγγραφείς επισημαίνουν ότι η ίδια ακρίβεια μπορεί να αποκρύπτει διαφορετικό χαρακτήρα σφαλμάτων. Έτσι, αυτός ο δείκτης δείχνει την κατεύθυνση των σφαλμάτων και αποκαλύπτει λεπτές περιπτώσεις που δεν είναι ορατές μόνο από την ακρίβεια.

Αποτελέσματα και εντοπισμένες νομοτέλειες

Η αρχική δοκιμή αρκετών δημοφιλών μοντέλων QA στο σύνολο BBQ ανέδειξε μια σειρά από σαφείς εκδηλώσεις bias. Στην έρευνα των Parrish et al. (2022) δοκιμάστηκαν τόσο μεγάλα γενικά μοντέλα (π.χ. UnifiedQA — γενικευμένο μοντέλο για QA βασισμένο στο T5), όσο και τυποποιημένα μοντέλα πολλαπλής επιλογής (π.χ. RoBERTa με fine-tuning σε QA).

Κύρια συμπεράσματα βάσει των αποτελεσμάτων των πειραμάτων:

• Ισχυρά στερεοτυπικά σφάλματα ελλείψει πληροφορίας. Σε όλα τα δοκιμασμένα συστήματα παρατηρήθηκε τάση απάντησης σύμφωνα με το στερεότυπο όταν το πλαίσιο δεν παρείχε τις απαραίτητες ενδείξεις. Με άλλα λόγια, τα μοντέλα συχνά δεν επέλεγαν την επιλογή «άγνωστο», αλλά προτιμούσαν συγκεκριμένη απάντηση που συσχετιζόταν με κάποια στερεοτυπική προσδοκία. Για παράδειγμα, σε αμφίσημες ερωτήσεις για έγκλημα χωρίς σαφή ένοχο, τα μοντέλα συχνά υπέδειχναν άτομα από συγκεκριμένη ομάδα (αντίστοιχη με την προκατάληψη). Το υπολογισμένο bias score για αμφίσημα πλαίσια βρέθηκε σημαντικά πάνω από το μηδέν, και κάποιες φορές πλησίαζε το +100% σε ορισμένες κατηγορίες για μερικά μοντέλα. Ιδιαίτερα υψηλή τάση για στερεοτυπικές απαντήσεις έδειξαν τα μοντέλα σε σκηνές που αφορούν εξωτερική εμφάνιση (παχυσαρκία κ.λπ.) — αυτή η κατηγορία έδωσε αισθητά μεγαλύτερο bias από ό,τι, για παράδειγμα, φυλή ή σεξουαλικός προσανατολισμός. Αυτό μαρτυρά ανομοιογένεια του bias εντός του μοντέλου — ορισμένοι τύποι στερεοτύπων «έχουν αφομοιωθεί» ισχυρότερα από άλλους.
• Βελτίωση παρουσία πραγματικών δεδομένων, αλλά διατήρηση λανθάνοντος bias. Όταν τα μοντέλα λάμβαναν αποσαφηνισμένο πλαίσιο με ρητή ένδειξη σωστής απάντησης, η ακρίβειά τους αυξανόταν αισθητά (σε σύγκριση με την κατάσταση αβεβαιότητας). Ωστόσο, λεπτομερής ανάλυση αποκάλυψε έναν λεπτό εφέ: η ακρίβεια αποδείχθηκε ανομοιόμορφη ανάλογα με τη σχέση της σωστής απάντησης με το στερεότυπο. Κατά μέσο όρο, τα μοντέλα έφταναν 3-3,5 ποσοστιαίες μονάδες υψηλότερη ακρίβεια στα παραδείγματα όπου η σωστή απάντηση συμπίπτει με το επικρατέστερο στερεότυπο, σε σύγκριση με τα παραδείγματα όπου η σωστή απάντηση αντιφάσκει με αυτό το στερεότυπο. Με άλλα λόγια, όταν τα γεγονότα επιβεβαίωναν την προκατάληψη, τα μοντέλα έδιναν σχεδόν αλάνθαστα την απάντηση· αλλά εάν χρειαζόταν να ονομαστεί η «μη τυπική» για το στερεότυπο επιλογή, η πιθανότητα σφάλματος αυξανόταν. Αυτή η απόκλιση στην απόδοση, αν και όχι τεράστια, εμφανίστηκε στατιστικά σε πολλές κατηγορίες. Η μεγαλύτερη απόκλιση καταγράφηκε για ερωτήσεις σχετικές με στερεότυπα φύλου: έως 5 ποσοστιαίες μονάδες διαφορά. Έτσι, η λανθάνουσα επίδραση του bias ανιχνεύεται: τα μοντέλα κατά μέσο όρο τα πηγαίνουν λίγο χειρότερα «ενάντια στο στερεότυπο».
• Σύγκριση κατηγοριών και προτύπων. Οι ερευνητές του BBQ ανέλυσαν το bias score ανά τις εννέα κατηγορίες και διαπίστωσαν ότι σε αμφίσημα πλαίσια ο δείκτης είναι θετικός σε όλες τις κατηγορίες, αλλά το μέγεθός του ποικίλλει. Όπως αναφέρθηκε, μέγιστα bias παρατηρήθηκαν στις κατηγορίες εξωτερική εμφάνιση, κοινωνικοοικονομική κατάσταση και σε ορισμένες διατομεακές. Χαμηλότερα, αν και επίσης μη μηδενικά, bias score είχαν οι κατηγορίες φυλή/εθνοτική καταγωγή και σεξουαλικός προσανατολισμός. Σε αποσαφηνισμένα πλαίσια το bias score είναι γενικά πιο κοντά στο μηδέν (καθώς το μοντέλο συχνά απαντά σωστά), αλλά εξακολουθεί να παραμένει θετικό για ορισμένα πρότυπα, αντανακλώντας αισθητή απόκλιση στον χαρακτήρα των σφαλμάτων. Για παράδειγμα, στην κατηγορία θρησκεία τα περισσότερα σφάλματα ήταν μονόπλευρα — τα μοντέλα, γενικά, όταν έσφαλλαν επέλεγαν απάντηση βάσει προκατάληψης.

Συνολικά, το BBQ έδειξε ότι ακόμα και ισχυρά σύγχρονα γλωσσικά μοντέλα δεν είναι σαφώς απαλλαγμένα από κοινωνικές προκαταλήψεις. Τείνουν να αναπαράγουν στερεότυπα όταν τοποθετούνται σε συνθήκες αβεβαιότητας, και μπορούν να εκδηλώνουν λεπτά bias ακόμα και παρουσία γεγονότων που απαιτούν αντίθετη απάντηση. Ταυτόχρονα, το μέγεθος αυτών των εφέ δεν είναι ίδιο για διαφορετικές ομάδες: ορισμένα στερεότυπα έχουν «αφομοιωθεί» ισχυρότερα από το μοντέλο. Οι συγγραφείς του BBQ τονίζουν ότι οι διαφορές που εντοπίστηκαν είναι αξιοσημείωτες, αλλά όχι καταστροφικά μεγάλες — το bias score των περισσότερων μοντέλων δεν φτάνει σε ακραίες τιμές, και συχνά κυμαίνεται σε μερικές δεκάδες ποσοστιαίων μονάδων. Ωστόσο, ακόμα και μικρές συστηματικές αποκλίσεις προς τα στερεότυπα είναι δυνητικά επικίνδυνες σε μαζική χρήση των LLM, γι' αυτό ο εντοπισμός και η εξάλειψη τέτοιων bias αποτελεί σημαντική εργασία. Το BBQ παρείχε στους ερευνητές έναν σαφή και ποσοτικά μετρήσιμο τρόπο παρακολούθησης της προόδου σε αυτόν τον τομέα.

Επίδραση και μεταγενέστερες έρευνες

Το σύνολο BBQ γρήγορα απέκτησε αναγνώριση ως τυπικό εργαλείο για την αξιολόγηση των χαρακτηριστικών fairness των γλωσσικών μοντέλων. Ο ανοιχτός κώδικας και τα δεδομένα του είναι διαθέσιμα στο αποθετήριο (άδεια CC BY 4.0), γεγονός που επέτρεψε σε ευρύ ερευνητικό κοινό να χρησιμοποιεί το BBQ κατά την ανάπτυξη και δοκιμή νέων μοντέλων. Σε αρκετές ανασκοπήσεις το BBQ αναφέρεται μαζί με άλλα benchmarks (π.χ. StereoSet, WinoBias, ToxiGen) ως σημαντικό ορόσημο στη μελέτη του κοινωνικού bias στο NLP. Από την έκδοση του BBQ εμφανίστηκαν εργασίες που αναπτύσσουν τις ιδέες του και τις προσαρμόζουν σε νέες συνθήκες:

• Επέκταση μορφών ερωτήσεων (Open-BBQ). Το αρχικό BBQ προσφέρει εργασίες σε μορφή πολλαπλής επιλογής. Το 2024 προτάθηκε τροποποίηση του BBQ για ανοιχτές απαντήσεις, συμπεριλαμβανομένων εργασιών συμπλήρωσης κενών και σύντομου απαντητικού κειμένου. Αυτή η έκδοση, αποκαλούμενη εδώ Open-BBQ, επιτρέπει την αξιολόγηση του bias σε πιο ελεύθερες συνθήκες διαλόγου, όπου το μοντέλο δεν έχει σταθερές επιλογές απάντησης. Η έρευνα έδειξε ότι τα LLM κατά τη δημιουργία ελεύθερου κειμένου επίσης εκδηλώνουν αυξημένο bias κατά ορισμένων ομάδων. Οι συγγραφείς του Open-BBQ πειραματίστηκαν επίσης με μεθόδους μετριασμού της προκατάληψης, συνδυάζοντας zero-shot και few-shot προτροπές και chain-of-thought (βηματική συλλογιστική). Αυτές οι μέθοδοι επέτρεψαν αισθητή μείωση του επιπέδου bias στις απαντήσεις. Το Open-BBQ συμπλήρωσε το αρχικό σύνολο, καθιστώντας δυνατή τη δοκιμή παραγωγικών μοντέλων σε μορφές πιο κοντά στα αιτήματα χρηστών.

• Πολιτισμική προσαρμογή (τοπικοποίηση). Καθώς το BBQ είναι δεμένο με τις κοινωνικές πραγματικότητες των ΗΠΑ, οι ερευνητές ενδιαφέρθηκαν για την προσαρμογή του σε άλλες γλώσσες και πολιτισμούς. Το 2023 Κορεάτες επιστήμονες παρουσίασαν το dataset KoBBQ (Korean BBQ) — κορεατικό ανάλογο του Bias Benchmark. Ανέπτυξαν μια γενική προσέγγιση τοπικοποίησης του BBQ: χώρισαν τα αρχικά πρότυπα σε τρεις κατηγορίες — αυτά που μπορούν απλώς να μεταφραστούν, αυτά που απαιτούν αντικατάσταση ομάδων με τοπικά ισοδύναμα, και αυτά που δεν εφαρμόζονται καθόλου σε κορεατικό πλαίσιο. Επιπλέον, το KoBBQ εισήγαγε 4 νέες κατηγορίες στερεοτύπων ειδικές για την κορεατική κοινωνία και αφαίρεσε αρκετά μη κατάλληλα παραδείγματα. Το αποτέλεσμα ήταν ένα σύνολο από 268 πρότυπα και 76.048 παραδείγματα στην κορεατική γλώσσα, που καλύπτει 12 κατηγορίες κοινωνικού bias (συμπεριλαμβανομένων των αρχικών και νέων). Η δοκιμή πολύγλωσσων μοντέλων στο KoBBQ αποκάλυψε σημαντικές διαφορές στο επίπεδο προκατάληψης σε σύγκριση με απευθείας μηχανική μετάφραση του αρχικού BBQ στα κορεατικά. Αυτό υπογραμμίζει ότι η απευθείας μετάφραση δεν είναι αρκετή — χρειάζονται πολιτισμικά ειδικά benchmarks που να λαμβάνουν υπόψη τα μοναδικά στερεότυπα και πλαίσιο κάθε χώρας. Η εργασία για το KoBBQ απέδειξε τη δυνατότητα κλιμάκωσης της μεθοδολογίας του BBQ σε παγκόσμιο επίπεδο.

Το BBQ έχει γίνει αναπόσπαστο μέρος των ερευνών για την ηθική της τεχνητής νοημοσύνης. Η επίδρασή του ανιχνεύεται στην εμφάνιση νέων μεθοδολογιών αποκατάστασης bias στα μοντέλα, κατασκευής πιο ενταξιακών dataset και μετρικών για λεπτή ανάλυση του bias. Οι ερευνητές σημειώνουν ότι ένα από τα δυνατά σημεία του BBQ είναι η ευρύτητα της κάλυψης και η προσεκτική κατασκευή των παραδειγμάτων. Σε απάντηση στις προκλήσεις που ανέδειξε το BBQ, τα τελευταία χρόνια αναπτύσσονται ενεργά στρατηγικές μείωσης του bias — από φιλτράρισμα δεδομένων εκπαίδευσης έως ειδικούς αλγόριθμους μεταεπεξεργασίας και ρύθμιση των LLM για δίκαιες απαντήσεις.

Συνοψίζοντας, το BBQ (Bias Benchmark for QA) έχει καθιερωθεί ως πολύτιμο και αξιόπιστο εργαλείο για τη μέτρηση κοινωνικών προκαταλήψεων στα γλωσσικά μοντέλα. Παρέχει στην ερευνητική κοινότητα ένα τυπικό σύνολο ελέγχων που επιτρέπει τη σύγκριση μοντέλων ως προς στερεοτυπικότητα και την παρακολούθηση της προόδου στη βελτίωση της αμεροληψίας τους. Το BBQ συνεχίζει να επεκτείνεται και να προσαρμόζεται, αντανακλώντας το παγκόσμιο ενδιαφέρον για τη δημιουργία πιο δίκαιων και ασφαλών συστημάτων AI, απαλλαγμένων από αθόρυβες, αλλά ουσιαστικές επιβλαβείς προκαταλήψεις.

Σύνδεσμοι

• Αρχικό άρθρο BBQ (arXiv)
• Αποθετήριο BBQ στο GitHub
• Σελίδα dataset BBQ στο Papers With Code
• Άρθρο BBQ στο ACL Anthology
• Άρθρο για το dataset KoBBQ (arXiv)
• Άρθρο για το dataset Open-BBQ (arXiv)

Βιβλιογραφία

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Παραπομπές

</references>