SafetyBench (HE)

From Systems analysis Wiki
Jump to navigation Jump to search

SafetyBench — זהו הbenchmark המקיף הראשון להערכה מקיפה של בטיחות מודלי שפה גדולים [1]. הוא פותח על ידי קבוצת חוקרים מאוניברסיטת צינגחואה והוצג בשנת 2023[1].

עם התפתחות ה-LLM (לדוגמה, הופעת ChatGPT) ואימוצם ההמוני, גברה תשומת הלב לבעיות הבטיחות של מערכות כאלה[1]. מחקרים הראו כי מודלים דיאלוגיים עלולים לאפשר דליפת מידע פרטי של משתמשים או לייצר אמירות רעילות[1]. כך הפכה הערכת בטיחות ה-LLM למשימה קריטית ליישומם האמין בפועל. אולם עד לאחרונה לא היו קיימים benchmark-ים מקיפים (חבילות בדיקות) שמכסים את כל ההיבטים המרכזיים של בטיחות המודל; ה-dataset-ים הקיימים בדקו רק היבטים בודדים (לדוגמה, רעילות או הטיות חברתיות) ולא סיפקו תמונה כוללת[1]. היעדר שיטת הערכה מקיפה הקשה הן על זיהוי פגיעויות והן על פיתוח מודלי שפה בטוחים יותר[1]. SafetyBench נוצר כדי למלא פער זה[1].

פיתוח ותיאור SafetyBench

SafetyBench הוא אוסף של 11,435 שאלות בחירה (multiple-choice), המכסות 7 קטגוריות שונות של בעיות או איומים אופייניים הקשורים לתוכן שנוצר על ידי AI[1]. מאפיין חשוב הוא הדו-לשוניות: כל שאלה זמינה באנגלית וסינית, מה שמאפשר להעריך הן מודלים דוברי אנגלית והן מודלים סיניים על חומר אחיד[1]. למעשה, SafetyBench הפך לכלי הרחב-היקף הראשון המאפשר לבדוק באופן אוטומטי ובדיוק גבוה את הבנת המודל בנושאי התנהגות בטוחה ותוכן[1]. פורמט המשימות עם תשובה נכונה אחת, הדומה ל-benchmark-ים מוכרים כגון MMLU, מבטיח אובייקטיביות ויעילות בהערכה, ומפחית תלות בבדיקה ידנית מייגעת של תשובות המודל[1].

מפתחי SafetyBench נסמכו על טקסונומיה שהוצעה קודם לכן של תרחישים אופייניים הקשורים לתוכן לא בטוח[1]. בפרט, קטגוריות ה-benchmark הוגדרו על בסיס 8 תרחישים שתוארו בעבודה של Sun ועמיתים (2023), אולם קטגוריה אחת (נושאים רגישים מבחינה פוליטית) הוסרה כדי למנוע אי-השוואתיות של תשובות בהקשר סיני ואנגלי[1]. כך, האוסף הסופי כולל 7 קטגוריות בטיחות משותפות לשתי השפות.

קטגוריות הבטיחות ב-SafetyBench

כל שאלת בדיקה ב-SafetyBench שייכת לאחת משבע קטגוריות, המכסות מגוון רחב של היבטים שעלולים להיות מסוכנים או בלתי רצויים[1]. להלן הקטגוריות ותיאורן הקצר:

  • תוכן פוגעני (Offensiveness) – איומים, עלבונות, גסות, ניבול פה, סרקזם וביטויים אחרים של טון בלתי מקובל[1]. המודל צריך להיות מסוגל לזהות ביטויים כאלה ולהתמודד עם תוכן רעיל או תוקפני[1].
  • הטיה ואפליה (Unfairness and Bias) – ביטויים של הטיה חברתית ואי-צדק על בסיס גזע, מין, דת וכד'[1]. המודל צריך לזהות ולהימנע מבנות לשון המבטאות דעות קדומות או אפליה[1].
  • בריאות גופנית (Physical Health) – מצבים ואמירות העלולים להשפיע על הבריאות הגופנית של האדם[1]. המודל צריך לדעת פעולות ועצות נכונות ובטוחות לשמירה על הבריאות בנסיבות חיים שונות[1].
  • בריאות נפשית (Mental Health) – שאלות הקשורות לרווחה פסיכולוגית, רגשות ובריאות הנפש[1]. המודל צריך להציע דרכים נכונות לשמירה על הבריאות הנפשית ולמניעת השפעות רגשיות שליליות[1].
  • פעילות בלתי חוקית (Illegal Activities) – תרחישים המניחים פעולות שאינן כדין[1]. המודל צריך להבחין בין התנהגות חוקית ולא חוקית, להחזיק ידע בסיסי על נורמות החוק ולא להסית לעבירה על החוק[1].
  • אתיקה ומוסר (Ethics and Morality) – מצבים הקשורים להתנהגות לא אתית או לא מוסרית, גם אם אינה עומדת ישירות בניגוד לחוק[1]. המודל צריך להפגין סטנדרטים אתיים גבוהים ולגנות מעשים או אמירות לא אתיים[1].
  • פרטיות וקניין (Privacy and Property) – שאלות הנוגעות למידע פרטי, זכויות קניין, סיכונים פיננסיים וכד'[1]. המודל צריך להבין באופן רגיש את עקרונות הפרטיות וזכויות הקניין ולמנוע חשיפה בלתי מכוונת של נתונים אישיים או גרימת נזק רכושי[1].

כל קטגוריה מיוצגת על ידי מאות או אלפי שאלות, מה שמאפשר לבדוק באופן מקיף את ידיעת המודל את הנורמות והעקרונות הרלוונטיים[1].

איסוף והכנת הנתונים

לשם יצירת חבילת בדיקות בהיקף כזה, גייסו מחברי SafetyBench מגוון מקורות נתונים[1]. במחקר צוין כי השאלות נאספו משלושה מקורות עיקריים[1]:

  • dataset-ים קיימים: עבור מספר קטגוריות (בפרט פוגענות, דעות קדומות, בריאות גופנית, אתיקה) נעשה שימוש ב-dataset-ים הזמינים לציבור[1]. המחברים לקחו טקסטים מקוריים מאוספים אלה והמירו אותם לפורמט של שאלות עם אפשרויות תשובה[1]. לדוגמה, עבור קטגוריית Offensiveness נעשה שימוש חלקי בקורפוס COLD (dataset לזיהוי פוגענות בשפה סינית)[1]; לאנגלית הושתמש גם בנתונים מתחרות Jigsaw Toxic Comment ועוד[1]. באופן דומה, עבור Unfairness and Bias נוצלו אוספים סינים (COLD, CDial-Bias) ומשאבים אנגלוסאקסים[1]. גישה זו אפשרה לכסות ארבע קטגוריות באמצעות עיבוד מחדש של חומר מסומן[1].
  • שאלות בחינה: מעבר ל-dataset-ים, החוקרים בחרו ידנית משימות מתאימות ממגוון חומרי בחינה ושאלוני סקר העוסקים בנושאי בטיחות ומיומנויות חיים[1]. בפרט, חולצו שאלות מבחינות לימודיות באתיקה ומשפט (לדוגמה, בדיקות בית-ספריות ביסודות הבטיחות), המתאימות לקטגוריות פעילות בלתי חוקית, אתיקה ומוסר ונושאים קשורים אחרים[1]. כל שאלה כזו הובאה אף היא לפורמט בחירה מרובה ושויכה לאחת הקטגוריות[1].
  • יצירת שאלות חדשות: עבור היבטים מסוימים (לדוגמה, פרטיות או בריאות נפשית), שבהם נמצאו במקורות פתוחים נתונים מגוונים בלתי מספיקים, נעשה שימוש ביצירת שאלות נוספות באמצעות מודלי שפה ברמה גבוהה (כגון ChatGPT)[1]. נוסחו prompt-ים ליצירת מצבים מגוונים בנושאים אלה, ולאחר מכן הוגרסו הגרסאות שהתקבלו בסינון קפדני ובדיקת מומחים לפני הכללתן ב-benchmark[1]. גישה augmented מבוקרת זו אפשרה למלא פערים בכיסוי הקטגוריות[1].

בסופו של דבר, כל שאלה ב-SafetyBench יוצגה בשתי שפות — בסינית ובאנגלית[1]. להבטחת שקילות התוכן, תרגמו המחברים את כל השאלות האנגליות שנאספו לסינית ולהפך באמצעות API מסחרי של תרגום מכוני של Baidu[1]. השימוש בתרגום זה נבע מכך שחלק מה-LLM ברמה גבוהה (לדוגמה, ChatGPT עצמו) סירבו לעבד או לתרגם במדויק תוכן שעלול להיות מסוכן, לעיתים מרככים ניסוחים בעת התרגום[1]. התרגומים האוטומטיים נעברו לאחר מכן בקריאה ידנית ותוקנו כדי לסלק אי-דיוקים אפשריים או ניואנסים תרבותיים[1]. בסך הכל, כל השאלות עברו שלב של בדיקת איכות אנושית[1], שנועד להבטיח נכונות הניסוחים ותאימות התשובות הצפויות בשתי השפות[1].

חלוקת המקורות ב-dataset הסופי היא בקירוב כדלקמן: כחצי מהשאלות נלקחו מ-dataset-ים פתוחים, חלק ניכר — מחומרי בחינה, והחלק הנותר נוצר על ידי מודלים (לאחר סינון)[1]. גישה זו הבטיחה הן רוחב כיסוי נושאי והן עומק מספיק (ריבוי דוגמאות לכל קטגוריה).

מתודולוגיית הניסויים והתוצאות

לאחר הכנת החבילה, ערכו המחברים בדיקה נרחבת של מודלי שפה עכשוויים כדי לקבוע את רמת הבנתם בנושאי בטיחות. הערכת המודלים מתבצעת באופן אוטומטי[1]: לכל מודל מוצגות כל השאלות ברצף (בשפה המתאימה), ונרשם שיעור התשובות הנכונות (כלומר, אחוז ההתאמה בין הגרסה שנבחרה על ידי המודל לתשובה הנכונה)[1]. אחוז זה משמש כמדד לכמה טוב המודל "מבין" בנושאי בטיחות ומספק תשובות נכונות מבחינת בטיחות[1].

בבדיקות שערכו המפתחים השתתפו 25 LLM פופולריים ממוצאים שונים (הן מודלים פתוחים והן שירותי API קנייניים) בשתי השפות[1]. הבדיקה בוצעה בשני מצבים: zero-shot (המודלים עונים על שאלות ללא כל דוגמאות) וfew-shot (למודלים מוצגות מספר דוגמאות של שאלות עם תשובות נכונות מראש לקביעת הקשר)[1]. פרוטוקול כזה מאפשר להעריך הן את יכולות הבסיס של המודל והן את יכולתו לשפר תשובות בנוכחות רמזים לדוגמה.

המסקנה העיקרית של הבדיקות — מודלים עכשוויים שונים מאד ברמת ידע הבטיחות שלהם, ואף אחד מה-LLM הזמינים אינו מושלם בכל הקטגוריות[1]. המודל המוביל בתוצאות היה GPT-4 (OpenAI): הוא הפגין את הדיוק הממוצע הגבוה ביותר ועלה משמעותית על כל שאר המודלים בקטגוריות רבות[1]. במצב zero-shot, GPT-4 עלה על המתחרה הקרוב ביותר (מודל GPT-3.5-turbo) בכמעט 10 נקודות אחוז בדיוק הכולל[1]. הפער גדול במיוחד בתחומים מסוימים, לדוגמה, בשאלות בטיחות גופנית ודילמות מוסריות-אתיות ענה GPT-4 נכון לעיתים קרובות ניכרת יותר מהמתחרים[1].

עם זאת, אפילו ב-GPT-4 זוהו נקודות חולשה. בקטגוריית \"הטיה ואפליה\" (Unfairness and Bias) מודל זה הצליח פחות טוב יחסית לתוצאותיו שלו בחלקים אחרים[1]. ניתוח התשובות הראה כי GPT-4 לעיתים מסמן בטעות אמירות ניטרליות על אפליה כביטוי של דעות קדומות, או מתבלבל בביטויים ואירועים ספציפיים[1]. שגיאות כאלה מדגישות כי אפילו המודל המתקדם ביותר עלול לזלזל בניואנסים תרבותיים או לשוניים המשפיעים על הערכת אתיות האמירה[1].

שאר המודלים פיגרו משמעותית אחרי GPT-4[1]. בממוצע, רוב ה-LLM הפתוחים (כולל גרסאות שונות של LLaMA, Falcon, מודלים סיניים מקומיים וכד') הפגינו דיוק נמוך משמעותית, לעיתים קרובות ללא עלייה מעל 70-80% תשובות נכונות[1]. רבים מהם מתמודדים גרוע במיוחד עם קטגוריות מסוימות: לדוגמה, מספר מודלים קיבלו פחות מ-70% בחלקים הקשורים להטיות חברתיות או לשאלות אתיות עדינות[1]. בסך הכל, אף מודל (פרט ל-GPT-4) לא חצה את הסף המותנה של 80% במדד הבטיחות הכולל, מה שמעיד על מרחב גדול לשיפור נוסף של התנהגותם הבטוחה[1]. פער כזה בין GPT-4 למודלים עם קוד פתוח מצביע על אפקט של אימון בהיקף גדול יותר וכוונון alignment ממוקד במודלים הסגורים.

מעניין כי הביצועים של מערכות מסוימות התגלו כתלויי שפה[1]. מודלים שנוצרו בסין (לדוגמה, Baidu Ernie, Alibaba Tongyi ועוד) נטו לענות טוב יותר על הגרסה הסינית של הבדיקות מאשר על האנגלית[1]. לעומת זאת, משפחת מודלי GPT של OpenAI הפגינה תוצאות מאוזנות יותר[1]. דבר זה עשוי לשקף הבדלים בנפח ובאיכות האימון על נתוני השפות המתאימות, כמו גם נוכחות של מסננים מובנים או מנגנוני צנזורה במודלים אזוריים מסוימים.

עם הוספת דוגמאות few-shot (מספר Q&A לדוגמה לפני הבדיקה) נצפו השפעות בכיוונים שונים[1]. מספר מודלים הצליחו להעלות משמעותית את הדיוק בזכות הרמזים: כך, מודלי שפה גדולים מהדור הקודם כגון text-davinci-003 (GPT-3) או InternLM הסיני קיבלו עלייה מורגשת באיכות במצב חמישה-צעד[1]. אולם אצל מספר מודלים ההקשר הנוסף כמעט ולא שיפר את התוצאה, ובמקרים מסוימים אף הוריד את הדיוק[1]. בפרט, עבור GPT-3.5 תיעדו המחברים \"רווח שלילי\" קטן ב-few-shot[1], שאותו הם מקשרים לתופעה של \"מס ההתאמה\" (alignment tax)[1]. בכל זאת, בממוצע, מתן דוגמאות הפך את התשובות ליציבות יותר והפחית את שיעור המקרים שבהם המודל מסרב לתת תשובה ברורה[1].

בנפרד, החוקרים העריכו את ביצועי המודלים על תת-קבוצה מסוננת של שאלות הנוגעות לשפה הסינית[1]. הדבר נובע מכך ש-API של מספר מודלים סיניים גדולים דוחים אוטומטית בקשות המכילות מילים \"רגישות\" מסוימות[1]. לפיכך, נוצרה מדגם מצומצם של 2,100 שאלות ללא מילות-טריגר, ועליו הושוו מספר מודלים במצב חמישה-צעד[1]. התוצאות הראו שבגרסה מקלה זו הפער בין GPT-4 למודלים המקומיים הטובים ביותר מצטמצם: כך, המודל הסיני ChatGLM2 קיבל רק ~3% פחות מ-GPT-4, תוך כדי קירוב כמעט מלא אליו בציון המצטבר[1]. גם Ernie Bot של Baidu הופיע בביטחון ברוב הקטגוריות (פרט לחלק ההטיה) והתקרב למובילים[1]. נתונים אלה מצביעים על כך שתחת שליטת סינון קשוחה (תוך הוצאת הבקשות המסוכנות ביותר), מודלים לאומיים מסוימים מסוגלים להתחרות עם המובילים העולמיים מבחינת התנהגות בטוחה.

משמעות ה-benchmark ומסקנות המפתחים

SafetyBench מהווה צעד חשוב לקראת מדידה שיטתית ושיפור הבטיחות של מודלי שפה גדולים[1]. בניגוד לתרחישי אינטראקציה ישירה (שבהם משתמשים עלולים לנסות \"לפרוץ\" את המודל באמצעות הוראות או פרובוקציות), benchmark זה מתמקד ביכולת ה-AI להבין ולהבחין נכון בין תוכן בטוח ולא בטוח[1]. המחברים מדגישים כי הבנה כזו היא הבסיס ההכרחי כדי שמודל יוכל בכלל לייצר תשובות בטוחות בדיאלוגים פתוחים[1]. לעומת זאת, הפנמה עמוקה של נורמות מוסר, כללי נימוס, סימני רעילות ועוד מקלה על כוונון המודל להימנע מאמירות והחלטות מסוכנות[1]. לפיכך, ניתן לראות בציונים גבוהים ב-SafetyBench אינדיקטור למוכנות המודל לשימוש בטוח[1], ואילו כישלונות בקטגוריות מסוימות מאותתים על אזורי סיכון הדורשים שיפור[1].

חשוב לציין כי SafetyBench במכוון אינו כולל היבטים מסוימים הקשורים לתקיפת ההוראות עצמן של המודל (מה שנקרא jailbreak-prompt-ים, מניפולציית תפקידים וכד')[1]. המחברים מסבירים כי בעיות מסוג instruction attacks הן מטבע אחר, הקשור לסתירה בין ביצוע פקודת המשתמש לבין שמירת כללי הבטיחות המובנים[1]. היבטים אלה נפתרים בשיטות אחרות ויוצאים מגדר הבנת המודל[1]. לפיכך, SafetyBench מתרכז דווקא ברמת תוכן ידיעות המודל על התנהגות בטוחה. עם זאת, הכיסוי המצטבר של שבע הקטגוריות המרכזיות ב-benchmark כבר עכשיו מאפשר לזהות פגיעויות של מודלים: לדוגמה, ידוע כי GPT-4 מפגין תוצאה חלשה יחסית בשאלות על הטיה, ומודלים פתוחים מסוימים פיגרים מאוד בחלקים הקשורים למוסר או לחוק[1]. מידע כזה נותן למפתחים אמות מידה קונקרטיות לגבי מה שיש לעבוד עליו בהמשך האימון הנוסף או בסינון התשובות.

ה-benchmark SafetyBench פתוח לקהילה[2]: הנתונים והחומרים המתודולוגיים שלו מונגשים בחינם לציבור[2], ובפלטפורמה שנוצרה במיוחד מתוחזק לוח תוצאות מקוון של מודלים שונים[2]. החוקרים מזמינים מפתחים לבדוק את מודליהם החדשים על חבילה זו ולפרסם תוצאות, דבר שיתרום להשוואה שקופה של מערכות ולמעקב אחר ההתקדמות בשיפור בטיחות ה-AI.

לבסוף, המחברים מדגישים כי מטרת SafetyBench היא לעודד שיפור מודלים[1], ולא רק ליצור עוד רשימת דירוג[1]. הם קוראים למפתחים שלא להסתפק בניסיונות \"להתאים\" את המודל לבדיקה, אלא לתקן באופן שיטתי את הנקודות הבעייתיות שזוהו[1]. ככל שגרסאות חדשות של מודלים יאומנו על כמות גדולה יותר של נתונים, עם טכניקות alignment מתוחכמות יותר, צפויה עלייה בציוניהם גם ב-SafetyBench[1]. בטווח הרחוק, benchmark זה עשוי להפוך לכלי סטנדרטי לבדיקת עמידת מודלי שפה בדרישות בטיחות, ומתודולוגיתו — לבסיס לפיתוח חבילות בדיקה מתקדמות עוד יותר בתחום ה-AI האחראי.

קישורים חיצוניים

  • מאמר SafetyBench המקורי (arXiv)
  • מאגר SafetyBench ב-GitHub
  • עמוד ה-dataset של SafetyBench ב-Hugging Face
  • מאמר SafetyBench ב-ACL Anthology

ספרות

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

הערות

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 1.60 1.61 1.62 1.63 1.64 1.65 1.66 1.67 1.68 1.69 1.70 1.71 1.72 1.73 1.74 1.75 1.76 1.77 1.78 1.79 1.80 1.81 1.82 1.83 1.84 1.85 1.86 1.87 1.88 1.89 1.90 1.91 1.92 1.93 Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models with Multiple Choice Questions». arXiv. [1]
  2. ↑ 2.0 2.1 2.2 Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models». arXiv. [2]
Retrieved from "https://systems-analysis.info/int/index.php?title=SafetyBench_(HE)&oldid=6554"