BBQ (Bias Benchmark for Question Answering) (HE)

From Systems analysis Wiki
Jump to navigation Jump to search

BBQ (Bias Benchmark for Question Answering) — זהו מערך נתונים להערכת דעות קדומות חברתיות (bias) במערכות שאלות-תשובות (QA)[1]. הוא פותח על ידי קבוצת חוקרים מאוניברסיטת ניו יורק בהנהגת אליסיה פאריש (Alicia Parrish) ופורסם בשנת 2022 בכנס ACL Findings[1][2]. מטרת BBQ היא לזהות כיצד מודלי שפה גדולים (LLM) ומודלי QA אחרים מפגינים סטריאוטיפים ודעות קדומות בתשובותיהם לשאלות, במיוחד במשימות מעשיות של מענה לשאלות בשפה טבעית[1]. BBQ הפך לאחד מה-benchmarks המקיפים ביותר להערכת bias חברתי ב-NLP, המכסה מגוון רחב של סטריאוטיפים במסגרת תשע קטגוריות חברתיות[3].

מערך נתונים זה משלים עבודות קודמות, כגון dataset ה-UnQover (2020), שמדד דעות קדומות לפי מספר מוגבל של מאפיינים (מגדר-מקצוע, לאומיות, מוצא אתני, דת) והסתמך על הסתברויות המודלים ולא על התשובות עצמן[3]. בשונה מ-UnQover, BBQ מנתח ישירות את תוכן תשובות המודלים ואת בחירתם מבין האפשרויות המוצעות, מה שמאפשר להעריך דעות קדומות ברמת התוצאות המופקות[1].

מחברי BBQ ממצבים אותו ככלי לאבחון סטריאוטיפים חברתיים מזיקים במודלים ולהפחתת הסיכון להשפעה שלילית של סטריאוטיפים אלה על אוכלוסיות פגיעות[1]. המערך מתמקד בסטריאוטיפים הרלוונטיים לתרבות האנגלוסקסית האמריקאית ואינו מכסה את כל ההקשרים התרבותיים האפשריים[1]. עם זאת, BBQ הניח את היסודות לעבודות עתידיות למדידה והפחתת bias חברתי ב-NLP והפך לנקודת ייחוס בהשוואת מודלים מבחינת תקינותם האתית.

הרכב ומבנה מערך הנתונים

BBQ מכיל כ-58.5 אלף שאלות ותשובות, המקובצות למערכות ייעודיות שנועדו לזהות סטריאוטיפים ספציפיים[4]. כל הדוגמאות נוצרו ידנית על ידי המחברים על בסיס מקרים מתועדים של דעות קדומות וסטריאוטיפים הפוגעים בנציגי קבוצות חברתיות שונות[4]. ביצירת התרחישים נעשה שימוש בנתוני מחקר מדעי, מאמרי עיתונות, דוחות ומקורות אמינים אחרים המאשרים את קיומו של סטריאוטיפ מסוים ואת השפעותיו המזיקות[1]. עבור כל מצב, המחברים מציינים הפניה למקור שבו הסטריאוטיפ הנדון מתואר כשלילי או מזיק (כגון מאמר מדעי או ידיעה עיתונאית)[1].

קטגוריות חברתיות

BBQ מכסה תשע קטגוריות חברתיות עיקריות בעלות משמעות (שרובן מתאימות לקבוצות מוגנות כהגדרת נציבות ההזדמנויות השוות לתעסוקה בארצות הברית)[1]:

  • גיל – דעות קדומות כלפי קבוצות גיל (לדוגמה, הסטריאוטיפ בדבר ירידה ביכולות הקוגניטיביות של קשישים)[1].
  • מוגבלות – סטריאוטיפים בנוגע ליכולות שכליות או תכונות אחרות של אנשים עם מוגבלות (לדוגמה, התפיסה שאנשים עם מוגבלות פיזית פחות מוכשרים אינטלקטואלית)[1].
  • זהות מגדרית – סטריאוטיפים מגדריים (לדוגמה, הרעיון ש"בנות מתקשות במתמטיקה")[1].
  • לאומיות – דעות קדומות לאומיות-אתניות (לדוגמה, הסטריאוטיפ בדבר חוסר יכולת טכנולוגית של יוצאי אפריקה)[1].
  • מראה חיצוני – אפליה על בסיס מראה חיצוני וגזרה (לדוגמה, הדעה שאנשים הסובלים מהשמנה פחות חכמים או חרוצים)[1].
  • גזע/מוצא אתני – סטריאוטיפים גזעיים (לדוגמה, קישור מוטה של גזע מסוים לפשיעה או לסמים)[1].
  • דת – סטריאוטיפים דתיים (לדוגמה, תפיסת היהודים כקמצנים, המוסלמים כנוטים לאלימות וכדומה)[1].
  • מעמד סוציו-אקונומי – דעות קדומות כלפי שכבות עניות או עשירות בחברה (לדוגמה, האמונה שיוצאי משפחות עניות יהיו הורים גרועים)[1].
  • נטייה מינית – סטריאוטיפים הומופוביים (לדוגמה, הקשר הכוזב בין הומוסקסואליות לנגיף ה-HIV)[1].

מלבד תשע קטגוריות אלה, BBQ כולל שתי קטגוריות צולבות (intersectional biases) המשלבות שני מאפיינים יחד: (1) מגדר בשילוב גזע/אתניות ו-(2) מעמד סוציו-אקונומי בשילוב גזע[1]. מקרים כאלה מביאים בחשבון סטריאוטיפים בצומת קבוצות שונות (לדוגמה, דעות קדומות כלפי נשים שחורות במיוחד, או כלפי קבוצות אתניות מסוימות ממעמד סוציאלי נמוך).

תבניות ויצירת דוגמאות

עבור כל קטגוריה כתבה הצוות תבניות תרחישים — סקיצות קצרות שבהן מופיעים שני דמויות הנבדלות לפי המאפיין הנבחן (לדוגמה, צעיר וקשיש, גבר ואישה, עשיר ועני וכו')[4]. התבנית מגלמת מצב שעשוי לאשר או להפריך סטריאוטיפ ידוע. לכל תרחיש מוצמדות שאלות ואפשרויות תשובה.

בסך הכל פותחו 25 תבניות ייחודיות לכל אחת מתשע הקטגוריות העיקריות, בתוספת 25 תבניות נוספות לקטגוריות גזע ומגדר תוך שימוש בשמות אמיתיים (כדי לבדוק bias ברמת שמות פרטיים)[1]. כמו כן נוצרו 25 תבניות עבור שני הכיוונים הצולבים[1]. כך מספר התרחישים הבסיסיים הכולל עולה על 300.

כל תבנית מכילה חריצים למשתנים — שמות קבוצות או תיאורים — המוחלפים בטקסט (לדוגמה, בתבנית הגיל, במקום "בן _" מוחלפים מספרים שונים, ובמראה החיצוני — תארים כמו "שמן"/"רזה" וכדומה)[1]. הודות להחלפת ערכים שונים ולסירוג סדר הזכרת שתי הדמויות, כל תבנית מתרחבת למגוון דוגמאות ספציפיות (לפחות 8 ועד כ-200 וריאציות)[1]. בדרך כלל, מתבנית אחת נוצרים לפחות 100 שאלות סופיות, ובמקרים מסוימים — עד כמאתיים[1]. בסך הכל התקבל קורפוס של 58,492 דוגמאות (צירופים ייחודיים של תרחיש, שאלה ותשובה)[4].

הקשרים וסוגי שאלות

מאפיין מרכזי של BBQ הוא שכל מצב מוצג בשני גרסאות הקשר ובשתי ניסוחי שאלות, ויוצר מערך של ארבע שאלות (המכונה אשכול של 4)[1]. זאת נעשה כדי להפריד בין השפעת מחסור במידע לבין הסטריאוטיפים של המודל עצמו. בכל רביעייה[1]:

  • הקשר דו-משמעי (under-informative or ambiguous context): טקסט המתאר מצב שבו משתתפים שני אנשים מקבוצות שונות, אך אינו מכיל מספיק מידע כדי לענות על השאלה שהוצגה באופן חד-משמעי[1]. התשובה הנכונה במקרים כאלה היא תמיד "אינידוע" (כלומר, אין מספיק נתונים)[1]. דוגמאות אלה נועדו לבדוק אם המודל ייסיק מסקנות על סמך סטריאוטיפ.
  • הקשר חד-משמעי (disambiguated context): תרחיש מורחב שבו נוספה פרט מבהיר המאפשר לקבוע מי משני האנשים המוזכרים תואם את השאלה[1]. במקרה זה, אחת משתי הדמויות היא בהכרח התשובה הנכונה (ואפשרות "אינידוע" כבר שגויה). ההקשר החד-משמעי משמש לבדיקה האם המודל יצליח להתגבר על ה-bias האפשרי שלו ולבחור את התשובה הנכונה, גם אם הסטריאוטיפ מרמז על ההפך[1].
  • שאלה שלילית (e.g., "מי מהם אינו מכיר את הנושא?", "מי ביצע את הפשע?")[1]. שאלה כזו בשילוב עם הקשר דו-משמעי בודקת האם המודל נוטה לקשר פעולה שלילית לקבוצה מסוימת בהיעדר עובדות[1].
  • שאלה לא-שלילית (מנוגדת) (e.g., "מי מהם מכיר את הנושא היטב?" או "מי נמנע מביצוע מעשה רע?")[1]. השאלה הלא-שלילית מנוסחת כך שלא תישמע כאישור ישיר של סטריאוטיפ, אך במקביל מאפשרת לבדוק את האיזון בתשובות המודל[1]. השוואת התשובות לגרסאות השליליות והניטרליות חושפת הטיות שיטתיות.

לכל אחת מארבע הדוגמאות באשכול יש שלוש אפשרויות תשובה: שתיים ספציפיות (המציינות כל אחת מהקבוצות המופיעות) ואחת המציינת היעדר מידע מספיק (מסומנת כ-"Unknown" וביטויים שקולים)[1]. לדוגמה, בסצנה שבה משתתפים נוצרי ומוסלמי, אפשרויות התשובה יהיו: "נוצרי", "מוסלמי" או "אינידוע"[1]. כאשר המילה "אינידוע" אינה תמיד אותה מילה — נעשה שימוש ב-10 ביטויים נרדפים[1].

בנוסף, בכל תבנית משתנה אוטומטית סדר הזכרת שתי הקבוצות[1]. הדבר נעשה כדי לנטרל את אפקט הסדר — גורם ידוע שלפיו מודלים עשויים לבחור לעתים קרובות יותר בישות הראשונה שהוזכרה ללא קשר לתוכן[1].

הערות ובקרת איכות

כל דוגמה ב-BBQ הוערכה על ידי מאפיינים בשיטת crowdsourcing: לפחות 5 אנשים עצמאיים ענו על השאלות, ורק אותן דוגמאות שעליהן לפחות 4 מתוך 5 מאפיינים הסכימו עם התשובה הנכונה (בהצבעה) נכללו ב-dataset הסופי[1]. אם שאלה כלשהי לא עמדה בסף זה, כל התבנית נבחנה מחדש ונערכה[1]. הודות לתהליך זה, הדיוק האנושי ב-BBQ גבוה מאוד: מאפיינים בודדים ענו נכון על כ-95.7% מהשאלות, ובהתחשב ברוב הקולות, הדיוק של ה-gold standard מגיע ל-99.7%[1]. מקדם ההסכמה Krippendorff's alpha עמד על 0.883, המצביע על הסכמה גבוהה בין בני האדם לגבי התשובות הנכונות[1]. אמצעים אלה מאשרים שמשימות BBQ מובנות לבני אדם ויש להן תשובות נכונות אובייקטיבית; לכן, שגיאות המודלים בדוגמאות אלה ניתנות לפרשנות מוצדקת כביטוי של bias, ולא כדו-משמעות של השאלות עצמן.

הערכת דעות קדומות של מודלים

BBQ תוכנן להערכה רב-ממדית של התנהגות מודלים בתנאים המעוררים bias חברתי. בבדיקה, מודל QA מקבל כקלט הקשר ושאלה, ולאחר מכן עליו לבחור אחת משלוש אפשרויות תשובה. ניתוח התוצאות מתבצע בשני רמות[1]:

מקרה הקשר דו-משמעי

נמדד באיזו תדירות המודל עונה שלא כהלכה על שאלות בהיעדר המידע הדרוש, כלומר מסתמך על סטריאוטיפ[1]. באופן אידיאלי, המודל אמור לענות "אינידוע" על כל שאלה בהקשר בלתי מספיק, אולם אם בחר באחת הקבוצות, הדבר מפורש כהקרנה של הסטריאוטיפ הגלום בו[1]. תדירות שגיאות כאלה ופיזורן לפי קטגוריות מעניקים תמונה על נטיית המודל לשעתק סטריאוטיפים מזיקים.

מקרה הקשר אינפורמטיבי

מוערך עד כמה המודל עונה בדיוק כאשר ההקשר מכיל תשובה נכונה מפורשת[1]. כאן מחשבים בדרך כלל את המדד הסטנדרטי accuracy (אחוז תשובות נכונות) — מראה אם המודל מסוגל לבצע משימת שאלה-תשובה בכלל. אולם תשומת לב מיוחדת מוקדשת למקרים שבהם התשובה הנכונה עומדת בסתירה לסטריאוטיפ[1]. מפתחי BBQ בוחנים אם הדיוק של המודל יירד כאשר התשובה הנכונה סותרת סטריאוטיפ מושרש (ולהפך, האם הדיוק יהיה גבוה יותר כאשר האמת תואמת את הציפייה הסטריאוטיפית)[1]. אפקט כזה יצביע על כך שגם בנוכחות עובדות, המודל עשוי לטעות בגלל bias.

Bias Score

לצורך הערכה כמותית של מידת הדעות הקדומות, מוצג מדד מיוחד — ציון הדעות הקדומות (bias score)[1]. באופן כללי, ה-bias score משקף את אחוז תשובות המודל (מבין השגויות או מבין כולן, תלוי בתנאי) התואמות לסטריאוטיפ[1].

  • ערך של +100% יאמר שהמודל בחר בכל המקרים בתשובה המייחסת סטריאוטיפית תכונה שלילית לקבוצת היעד.
  • 0% — אין ביטויי bias (המודל ענה תמיד נכון/"אינידוע", או שגה באופן שווה בשני הכיוונים).
  • ציון שלילי (עד -100%) — מגמה הפוכה, כאשר המודל תמיד עונה בניגוד לציפיית הסטריאוטיפ[1].

הציונים מחושבים בנפרד עבור הקשרים דו-משמעיים וחד-משמעיים, מכיוון שאופי השגיאות בהם שונה[1].

  • עבור שאלות דו-משמעיות, ה-bias score נקבע לפי שיעור המקרים שבהם המודל בחר תשובה ספציפית כלשהי במקום "אינידוע", ותשובה זו תאמה לסטריאוטיפ השלילי[1]. ככל שתשובות כאלה תכופות יותר, כך הציון החיובי גבוה יותר. לצד זאת, מובאת בחשבון הדיוק: אם המודל שוגה ועונה נכון ("אינידוע") בחלקים שווים, אזי גם עם חלק מהשגיאות הסטריאוטיפיות הציון יהיה נמוך ממודל שתמיד בוחר את התשובה הסטריאוטיפית[1]. כך, מענישים הן את התדירות והן את הביטחון של תשובות ה-bias (עבור הקשרים דו-משמעיים, המדד מכוייל בהתחשב באחוז התשובות הנכונות "אינידוע")[1].
  • עבור שאלות חד-משמעיות ה-bias score מחושב בצורה שונה במקצת, שכן כאן התשובה הנכונה היא אחת מהקבוצות[1]. במקרים אלה בוחנים את השגיאות של המודל: שיעור השגיאות שבהן המודל לא בחר בתשובה הנכונה, אלא בחלופה התואמת לסטריאוטיפ[1]. במילים אחרות, אם המודל שגה תוך העדפה של הדעה הקדומה (כלומר, לא האמין לעובדות וענה לפי הסטריאוטיפ), הדבר מגדיל את הציון[1].

ניתוח ה-bias score לצד הדיוק הכולל מאפשר לאפיין בפירוט את התנהגות המודל ב-BBQ. המחברים מציינים שדיוק זהה עשוי להסתיר אופי שגיאות שונה[1]. כך, מדד זה מראה את כיוון השגיאות וחושף מקרים עדינים שאינם גלויים בדיוק לבדו.

תוצאות ודפוסים שזוהו

הבדיקה הראשונית של מספר מודלי QA פופולריים על מערך BBQ הדגימה מספר ביטויים ברורים של bias[1]. במחקר Parrish ואחרים (2022) נבדקו הן מודלים גדולים כלליים (לדוגמה, UnifiedQA — מודל כולל ל-QA מבוסס T5) והן מודלים סטנדרטיים לבחירה מרובה (כגון RoBERTa עם fine-tuning ל-QA)[1].

מסקנות עיקריות לפי תוצאות הניסויים:

  • שגיאות סטריאוטיפיות חזקות בהיעדר מידע. בכל המערכות שנבדקו נצפתה נטייה לענות ברוח הסטריאוטיפ כאשר ההקשר לא סיפק רמזים נחוצים[1]. במילים אחרות, המודלים לעתים קרובות לא בחרו את "אינידוע" אלא העדיפו תשובה ספציפית המתאימה לציפייה הסטריאוטיפית כלשהי[1]. לדוגמה, בשאלות דו-משמעיות על פשע ללא אשם ברור, המודלים לא פעם הצביעו על אנשים מקבוצה מסוימת (המתאימה לדעה הקדומה)[1]. ה-bias score שחושב עבור הקשרים ambiguous היה גבוה משמעותית מאפס, ולעתים התקרב ל-+100% בקטגוריות מסוימות בחלק מהמודלים[1]. נטייה גבוהה במיוחד לתשובות סטריאוטיפיות הראו מודלים בתרחישים הקשורים למראה חיצוני (השמנה וכדומה) — קטגוריה זו נתנה bias ניכר יותר מקטגוריות כגון גזע או נטייה מינית[1]. הדבר מעיד על אי-אחידות ה-bias בתוך המודל — סוגים מסוימים של סטריאוטיפים "נלמדו" על ידו חזק יותר מאחרים.
  • שיפור בנוכחות עובדות, אך שמירה על bias סמוי. כאשר המודלים קיבלו הקשר חד-משמעי עם ציון מפורש של התשובה הנכונה, דיוקם עלה באופן ניכר (בהשוואה למצב של חוסר ידיעה)[1]. אולם הניתוח המפורט חשף אפקט עדין: הדיוק התברר כלא-אחיד בהתאם ליחס בין התשובה הנכונה לסטריאוטיפ[1]. בממוצע, המודלים השיגו דיוק גבוה ב-3-3.5 נקודות אחוז בדוגמאות שבהן התשובה הנכונה תאמה לסטריאוטיפ הנפוץ, בהשוואה לדוגמאות שבהן התשובה הנכונה סתרה את אותו סטריאוטיפ[1]. במילים אחרות, כאשר העובדות אישרו את הדעה הקדומה, המודלים ענו כמעט ללא טעויות; אבל אם נדרש לציין את הגרסה ה"לא טיפוסית" עבור הסטריאוטיפ, הסבירות לשגיאה עלתה. פער ביצועים זה, אף שאינו עצום, בא לידי ביטוי סטטיסטי בקטגוריות רבות[1]. הפער הגדול ביותר תועד בשאלות הקשורות לסטריאוטיפים מגדריים: עד 5 נקודות אחוז הבדל[1]. כך, השפעת ה-bias הסמויה ניכרת: המודלים עובדים בממוצע מעט פחות טוב "נגד הסטריאוטיפ".
  • השוואת קטגוריות ותבניות. חוקרי BBQ ניתחו את ה-bias score לפי פירוט של כל תשע הקטגוריות וגילו שבהקשרים דו-משמעיים הציון חיובי בכל הקטגוריות, אך גודלו משתנה[1]. כאמור, ה-bias הגבוה ביותר נצפה בקטגוריות מראה חיצוני, מעמד סוציו-אקונומי ובחלק מהצולבות[1]. bias score "נמוך" יותר, אם כי גם לא אפסי, היה בקטגוריות גזע/אתניות ונטייה מינית[1]. בהקשרים חד-משמעיים, ה-bias score בכלל קרוב יותר לאפס (מכיוון שהמודל עונה נכון לעתים קרובות), אבל עדיין עבור חלק מהתבניות נשאר חיובי, המשקף פיזור לא-מאוזן באופי השגיאות שנעשו[1]. לדוגמה, בקטגוריית דת, רוב השגיאות היו לכיוון אחד — מודלים, ברוב השגיאות, בחרו בתשובה על בסיס דעה קדומה[1].

בסך הכל BBQ הדגים שגם מודלי שפה מודרניים חזקים אינם חופשיים בבירור מדעות קדומות חברתיות[1]. הם נוטים לשעתק סטריאוטיפים כאשר הם נתונים בתנאי חוסר ודאות, ועשויים להפגין bias עדין גם בנוכחות עובדות הדורשות תשובה הפוכה[1]. יחד עם זאת, גודל אפקטים אלה אינו זהה עבור קבוצות שונות: חלק מהסטריאוטיפים "נלמדו" על ידי המודל חזק יותר[1]. מחברי BBQ מדגישים שהפערים שנמצאו, אף שניכרים, אינם קטסטרופליים — ה-bias score של רוב המודלים אינו מגיע לערכים קיצוניים, ולרוב נמצא בתחום של כמה עשרות אחוזים[1]. עם זאת, גם סטיות שיטתיות קטנות לכיוון הסטריאוטיפים עלולות להיות מסוכנות בעת שימוש נרחב ב-LLM, ולכן זיהוי וסילוק ה-bias כאלה הם משימה חשובה[3]. BBQ סיפק לחוקרים דרך ברורה ומדידה כמותית למעקב אחר ההתקדמות בתחום זה[3].

השפעה ומחקרים המשך

מערך BBQ קיבל במהרה הכרה ככלי סטנדרטי להערכת מאפייני fairness של מודלי שפה[4]. קוד המקור הפתוח והנתונים שלו זמינים במאגר (רישיון CC BY 4.0)[4], מה שאפשר לקהל חוקרים רחב להשתמש ב-BBQ בפיתוח ובדיקת מודלים חדשים. בסקירות מסוימות BBQ מוזכר לצד benchmarks אחרים (כגון StereoSet, WinoBias, ToxiGen) כאבן דרך חשובה בחקר ה-bias החברתי ב-NLP[3]. מאז פרסום BBQ הופיעו עבודות המפתחות את רעיונותיו ומתאימות אותן לתנאים חדשים:

  • הרחבת פורמטי שאלות (Open-BBQ). ה-BBQ המקורי מציע משימות בפורמט בחירה מרובה[3]. בשנת 2024 הוצעה גרסה מותאמת של BBQ לתשובות פתוחות, הכוללת משימות מילוי חסר וטקסט תשובה קצר[3]. גרסה זו, המכונה בשם Open-BBQ, מאפשרת להעריך bias בתנאי דיאלוג חופשיים יותר, שבהם אין למודל אפשרויות תשובה קבועות[3]. המחקר הראה שגם LLM המייצרים טקסט חופשי מפגינים bias מוגבר כנגד קבוצות מסוימות[3]. מחברי Open-BBQ ניסו גם שיטות להפחתת דעות קדומות, בשילוב הנחיות zero-shot ו-few-shot וכן chain-of-thought (הנמקה שלב אחר שלב)[3]. שיטות אלה אפשרו להפחית באופן ניכר את רמת ה-bias בתשובות[3]. Open-BBQ השלים את המערך המקורי, ואפשר בדיקת מודלים גנרטיביים בפורמטים הקרובים יותר לשאילתות משתמשים.
  • התאמה תרבותית (לוקליזציה). מכיוון ש-BBQ קשור למציאות החברתית של ארצות הברית, חוקרים התעניינו בהתאמתו לשפות ותרבויות אחרות[5]. בשנת 2023 הוצג על ידי חוקרים קוריאנים dataset ה-KoBBQ (Korean BBQ) — המקבילה הקוריאנית של Bias Benchmark[5]. הם פיתחו גישה כללית ללוקליזציה של BBQ: חילקו את התבניות המקוריות לשלוש קטגוריות — אלה שניתן פשוט לתרגם, אלה הדורשות החלפת קבוצות במקבילות מקומיות, ואלה שאינן ישימות כלל בהקשר קוריאני[5]. בנוסף, KoBBQ הציג 4 קטגוריות חדשות של סטריאוטיפים הייחודיות לחברה הקוריאנית, וביטל מספר דוגמאות לא מתאימות[5]. כתוצאה מכך נוצר מערך של 268 תבניות ו-76,048 דוגמאות בשפה הקוריאנית, המכסה 12 קטגוריות של bias חברתי (כולל המקוריות והחדשות)[5]. בדיקת מודלים רב-לשוניים על KoBBQ גילתה הבדלים משמעותיים ברמת הדעות הקדומות בהשוואה לתרגום מכני ישיר של ה-BBQ המקורי לקוריאנית[5]. הדבר מדגיש שתרגום ישיר אינו מספיק — נדרשים benchmarks ייחודיים תרבותית, המביאים בחשבון את הסטריאוטיפים וההקשר הייחודיים של כל מדינה[5]. העבודה על KoBBQ הדגימה את האפשרות להרחיב את מתודולוגיית BBQ ברמה גלובלית.

BBQ הפך לחלק בלתי נפרד ממחקרי אתיות הבינה המלאכותית[3]. השפעתו ניכרת בהופעת שיטות חדשות לביטול bias במודלים, לבניית datasets מכילים יותר ולמדדים לניתוח עדין של bias. חוקרים מציינים שאחת מנקודות החוזק של BBQ היא רוחב הכיסוי והקפידה בבנייה של הדוגמאות[3]. בתגובה לאתגרים שהוצגו על ידי BBQ, בתקופה האחרונה מפותחות באופן אינטנסיבי אסטרטגיות להפחתת bias — מסינון נתוני אימון ועד אלגוריתמי עיבוד-לאחר מיוחדים וכיוון LLM לתשובות הוגנות[3].

לסיכום, BBQ (Bias Benchmark for QA) ביסס את עצמו ככלי יקר ערך ואמין למדידת דעות קדומות חברתיות במודלי שפה. הוא מספק לקהיית המחקר מערך סטנדרטי של בדיקות, המאפשר להשוות מודלים מבחינת נטייתם לסטריאוטיפים ולעקוב אחר ההתקדמות בשיפור חוסר ההטיה שלהם[3]. BBQ ממשיך להתרחב ולהסתגל, המשקף את העניין הגלובלי ביצירת מערכות AI הוגנות ובטוחות יותר[3], החופשיות מ-bias מזיקים הסמויים אך משמעותיים.

קישורים

  • המאמר המקורי BBQ (arXiv)
  • מאגר BBQ ב-GitHub
  • דף dataset ה-BBQ ב-Papers With Code
  • מאמר BBQ ב-ACL Anthology
  • מאמר על dataset ה-KoBBQ (arXiv)
  • מאמר על dataset ה-Open-BBQ (arXiv)

ספרות

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

הערות

[1] [2] [3] [4] [5] </references>

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 1.60 1.61 1.62 1.63 1.64 1.65 1.66 1.67 1.68 1.69 1.70 1.71 1.72 1.73 1.74 1.75 1.76 1.77 1.78 1.79 1.80 1.81 Parrish A. et al. «BBQ: A Hand-Built Bias Benchmark for Question Answering». arXiv. [1]
  2. ↑ 2.0 2.1 Parrish A. et al. «BBQ: A hand-built bias benchmark for question answering». ACL Anthology. [2]
  3. ↑ 3.00 3.01 3.02 3.03 3.04 3.05 3.06 3.07 3.08 3.09 3.10 3.11 3.12 3.13 3.14 3.15 3.16 Liu Z. et al. (2024). «Evaluating and Mitigating Social Bias for Large Language Models in Open-ended Settings». arXiv preprint. [3]
  4. ↑ 4.0 4.1 4.2 4.3 4.4 4.5 4.6 «BBQ Dataset». Papers With Code. [4]
  5. ↑ 5.0 5.1 5.2 5.3 5.4 5.5 5.6 5.7 Jin J. et al. (2024). «KoBBQ: Korean Bias Benchmark for Question Answering». arXiv preprint. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=BBQ_(Bias_Benchmark_for_Question_Answering)_(HE)&oldid=521"