--- title: "SafetyBench (HE)" source: "https://systems-analysis.info/int/SafetyBench_(HE)" wiki: "systems-analysis.info/int" article: "SafetyBench_(HE)" language: "he" categories: - "Category:Hebrew" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 6554 wiki_created_at: 2026-09-07T00:06:33Z wiki_modified_at: 2026-09-07T00:06:33Z downloaded_at: 2026-09-07T23:14:32Z --- # SafetyBench (HE) **SafetyBench** — זהו ה**benchmark המקיף הראשון** להערכה מקיפה של **בטיחות מודלי שפה גדולים** [\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). הוא פותח על ידי קבוצת חוקרים מאוניברסיטת צינגחואה והוצג בשנת 2023[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). עם התפתחות ה-LLM (לדוגמה, הופעת ChatGPT) ואימוצם ההמוני, גברה תשומת הלב לבעיות הבטיחות של מערכות כאלה[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). מחקרים הראו כי מודלים דיאלוגיים עלולים לאפשר דליפת מידע פרטי של משתמשים או לייצר אמירות רעילות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). כך הפכה הערכת בטיחות ה-LLM למשימה קריטית ליישומם האמין בפועל. אולם עד לאחרונה לא היו קיימים benchmark-ים מקיפים (חבילות בדיקות) שמכסים את כל ההיבטים המרכזיים של בטיחות המודל; ה-dataset-ים הקיימים בדקו רק היבטים בודדים (לדוגמה, רעילות או הטיות חברתיות) ולא סיפקו תמונה כוללת[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). היעדר שיטת הערכה מקיפה הקשה הן על זיהוי פגיעויות והן על פיתוח מודלי שפה בטוחים יותר[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). SafetyBench נוצר כדי למלא פער זה[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). ## פיתוח ותיאור SafetyBench SafetyBench הוא אוסף של **11,435 שאלות בחירה** (multiple-choice), המכסות **7 קטגוריות שונות** של בעיות או איומים אופייניים הקשורים לתוכן שנוצר על ידי AI[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). מאפיין חשוב הוא **הדו-לשוניות**: כל שאלה זמינה ב**אנגלית** ו**סינית**, מה שמאפשר להעריך הן מודלים דוברי אנגלית והן מודלים סיניים על חומר אחיד[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). למעשה, SafetyBench הפך לכלי הרחב-היקף הראשון המאפשר לבדוק באופן אוטומטי ובדיוק גבוה את הבנת המודל בנושאי התנהגות בטוחה ותוכן[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). פורמט המשימות עם תשובה נכונה אחת, הדומה ל-benchmark-ים מוכרים כגון MMLU, מבטיח אובייקטיביות ויעילות בהערכה, ומפחית תלות בבדיקה ידנית מייגעת של תשובות המודל[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). מפתחי SafetyBench נסמכו על טקסונומיה שהוצעה קודם לכן של תרחישים אופייניים הקשורים לתוכן לא בטוח[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בפרט, קטגוריות ה-benchmark הוגדרו על בסיס 8 תרחישים שתוארו בעבודה של Sun ועמיתים (2023), אולם קטגוריה אחת (נושאים רגישים מבחינה פוליטית) הוסרה כדי למנוע אי-השוואתיות של תשובות בהקשר סיני ואנגלי[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). כך, האוסף הסופי כולל 7 קטגוריות בטיחות משותפות לשתי השפות. ## קטגוריות הבטיחות ב-SafetyBench כל שאלת בדיקה ב-SafetyBench שייכת לאחת משבע קטגוריות, המכסות מגוון רחב של היבטים שעלולים להיות מסוכנים או בלתי רצויים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). להלן הקטגוריות ותיאורן הקצר: - **תוכן פוגעני** (Offensiveness) – איומים, עלבונות, גסות, ניבול פה, סרקזם וביטויים אחרים של טון בלתי מקובל[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המודל צריך להיות מסוגל לזהות ביטויים כאלה ולהתמודד עם תוכן רעיל או תוקפני[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). - **הטיה ואפליה** (Unfairness and Bias) – ביטויים של הטיה חברתית ואי-צדק על בסיס גזע, מין, דת וכד'[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המודל צריך לזהות ולהימנע מבנות לשון המבטאות דעות קדומות או אפליה[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). - **בריאות גופנית** (Physical Health) – מצבים ואמירות העלולים להשפיע על הבריאות הגופנית של האדם[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המודל צריך לדעת פעולות ועצות נכונות ובטוחות לשמירה על הבריאות בנסיבות חיים שונות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). - **בריאות נפשית** (Mental Health) – שאלות הקשורות לרווחה פסיכולוגית, רגשות ובריאות הנפש[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המודל צריך להציע דרכים נכונות לשמירה על הבריאות הנפשית ולמניעת השפעות רגשיות שליליות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). - **פעילות בלתי חוקית** (Illegal Activities) – תרחישים המניחים פעולות שאינן כדין[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המודל צריך להבחין בין התנהגות חוקית ולא חוקית, להחזיק ידע בסיסי על נורמות החוק ולא להסית לעבירה על החוק[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). - **אתיקה ומוסר** (Ethics and Morality) – מצבים הקשורים להתנהגות לא אתית או לא מוסרית, גם אם אינה עומדת ישירות בניגוד לחוק[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המודל צריך להפגין סטנדרטים אתיים גבוהים ולגנות מעשים או אמירות לא אתיים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). - **פרטיות וקניין** (Privacy and Property) – שאלות הנוגעות למידע פרטי, זכויות קניין, סיכונים פיננסיים וכד'[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המודל צריך להבין באופן רגיש את עקרונות הפרטיות וזכויות הקניין ולמנוע חשיפה בלתי מכוונת של נתונים אישיים או גרימת נזק רכושי[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). כל קטגוריה מיוצגת על ידי מאות או אלפי שאלות, מה שמאפשר לבדוק באופן מקיף את ידיעת המודל את הנורמות והעקרונות הרלוונטיים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). ## איסוף והכנת הנתונים לשם יצירת חבילת בדיקות בהיקף כזה, גייסו מחברי SafetyBench **מגוון מקורות נתונים**[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). במחקר צוין כי השאלות נאספו משלושה מקורות עיקריים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1): - **dataset-ים קיימים**: עבור מספר קטגוריות (בפרט פוגענות, דעות קדומות, בריאות גופנית, אתיקה) נעשה שימוש ב-dataset-ים הזמינים לציבור[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המחברים לקחו טקסטים מקוריים מאוספים אלה והמירו אותם לפורמט של שאלות עם אפשרויות תשובה[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). לדוגמה, עבור קטגוריית Offensiveness נעשה שימוש חלקי בקורפוס COLD (dataset לזיהוי פוגענות בשפה סינית)[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1); לאנגלית הושתמש גם בנתונים מתחרות Jigsaw Toxic Comment ועוד[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). באופן דומה, עבור Unfairness and Bias נוצלו אוספים סינים (COLD, CDial-Bias) ומשאבים אנגלוסאקסים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). גישה זו אפשרה לכסות ארבע קטגוריות באמצעות עיבוד מחדש של חומר מסומן[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). - **שאלות בחינה**: מעבר ל-dataset-ים, החוקרים בחרו ידנית משימות מתאימות ממגוון חומרי בחינה ושאלוני סקר העוסקים בנושאי בטיחות ומיומנויות חיים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בפרט, חולצו שאלות מבחינות לימודיות באתיקה ומשפט (לדוגמה, בדיקות בית-ספריות ביסודות הבטיחות), המתאימות לקטגוריות פעילות בלתי חוקית, אתיקה ומוסר ונושאים קשורים אחרים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). כל שאלה כזו הובאה אף היא לפורמט בחירה מרובה ושויכה לאחת הקטגוריות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). - **יצירת שאלות חדשות**: עבור היבטים מסוימים (לדוגמה, פרטיות או בריאות נפשית), שבהם נמצאו במקורות פתוחים נתונים מגוונים בלתי מספיקים, נעשה שימוש ביצירת שאלות נוספות באמצעות מודלי שפה ברמה גבוהה (כגון ChatGPT)[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). נוסחו prompt-ים ליצירת מצבים מגוונים בנושאים אלה, ולאחר מכן הוגרסו הגרסאות שהתקבלו **בסינון קפדני ובדיקת מומחים** לפני הכללתן ב-benchmark[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). גישה augmented מבוקרת זו אפשרה למלא פערים בכיסוי הקטגוריות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בסופו של דבר, כל שאלה ב-SafetyBench **יוצגה בשתי שפות** — בסינית ובאנגלית[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). להבטחת שקילות התוכן, תרגמו המחברים את כל השאלות האנגליות שנאספו לסינית ולהפך באמצעות API מסחרי של תרגום מכוני של Baidu[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). השימוש בתרגום זה נבע מכך שחלק מה-LLM ברמה גבוהה (לדוגמה, ChatGPT עצמו) סירבו לעבד או לתרגם במדויק תוכן שעלול להיות מסוכן, לעיתים מרככים ניסוחים בעת התרגום[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). התרגומים האוטומטיים נעברו לאחר מכן בקריאה ידנית ותוקנו כדי לסלק אי-דיוקים אפשריים או ניואנסים תרבותיים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בסך הכל, כל השאלות עברו שלב של **בדיקת איכות אנושית**[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1), שנועד להבטיח נכונות הניסוחים ותאימות התשובות הצפויות בשתי השפות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). חלוקת המקורות ב-dataset הסופי היא בקירוב כדלקמן: כחצי מהשאלות נלקחו מ-dataset-ים פתוחים, חלק ניכר — מחומרי בחינה, והחלק הנותר נוצר על ידי מודלים (לאחר סינון)[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). גישה זו הבטיחה הן רוחב כיסוי נושאי והן עומק מספיק (ריבוי דוגמאות לכל קטגוריה). ## מתודולוגיית הניסויים והתוצאות לאחר הכנת החבילה, ערכו המחברים בדיקה נרחבת של מודלי שפה עכשוויים כדי לקבוע את רמת הבנתם בנושאי בטיחות. הערכת המודלים מתבצעת **באופן אוטומטי**[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1): לכל מודל מוצגות כל השאלות ברצף (בשפה המתאימה), ונרשם שיעור התשובות הנכונות (כלומר, אחוז ההתאמה בין הגרסה שנבחרה על ידי המודל לתשובה הנכונה)[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). אחוז זה משמש כמדד לכמה טוב המודל "מבין" בנושאי בטיחות ומספק תשובות נכונות מבחינת בטיחות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בבדיקות שערכו המפתחים השתתפו **25 LLM פופולריים** ממוצאים שונים (הן מודלים פתוחים והן שירותי API קנייניים) בשתי השפות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). הבדיקה בוצעה בשני מצבים: **zero-shot** (המודלים עונים על שאלות ללא כל דוגמאות) ו**few-shot** (למודלים מוצגות מספר דוגמאות של שאלות עם תשובות נכונות מראש לקביעת הקשר)[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). פרוטוקול כזה מאפשר להעריך הן את יכולות הבסיס של המודל והן את יכולתו לשפר תשובות בנוכחות רמזים לדוגמה. המסקנה העיקרית של הבדיקות — **מודלים עכשוויים שונים מאד ברמת ידע הבטיחות שלהם, ואף אחד מה-LLM הזמינים אינו מושלם** בכל הקטגוריות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המודל המוביל בתוצאות היה **GPT-4** (OpenAI): הוא הפגין את הדיוק הממוצע הגבוה ביותר ועלה משמעותית על כל שאר המודלים בקטגוריות רבות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). במצב zero-shot, GPT-4 עלה על המתחרה הקרוב ביותר (מודל GPT-3.5-turbo) בכמעט **10 נקודות אחוז** בדיוק הכולל[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). הפער גדול במיוחד בתחומים מסוימים, לדוגמה, בשאלות בטיחות גופנית ודילמות מוסריות-אתיות ענה GPT-4 נכון לעיתים קרובות ניכרת יותר מהמתחרים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). עם זאת, אפילו ב-GPT-4 זוהו **נקודות חולשה**. בקטגוריית \\הטיה ואפליה\\ (Unfairness and Bias) מודל זה הצליח פחות טוב יחסית לתוצאותיו שלו בחלקים אחרים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). ניתוח התשובות הראה כי GPT-4 לעיתים מסמן בטעות אמירות ניטרליות על אפליה כביטוי של דעות קדומות, או מתבלבל בביטויים ואירועים ספציפיים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). שגיאות כאלה מדגישות כי אפילו המודל המתקדם ביותר עלול לזלזל בניואנסים תרבותיים או לשוניים המשפיעים על הערכת אתיות האמירה[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). שאר המודלים פיגרו משמעותית אחרי GPT-4[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בממוצע, רוב ה-LLM הפתוחים (כולל גרסאות שונות של LLaMA, Falcon, מודלים סיניים מקומיים וכד') הפגינו **דיוק נמוך משמעותית**, לעיתים קרובות ללא עלייה מעל 70-80% תשובות נכונות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). רבים מהם מתמודדים גרוע במיוחד עם קטגוריות מסוימות: לדוגמה, מספר מודלים קיבלו פחות מ-70% בחלקים הקשורים להטיות חברתיות או לשאלות אתיות עדינות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בסך הכל, אף מודל (פרט ל-GPT-4) לא חצה את הסף המותנה של 80% במדד הבטיחות הכולל, מה שמעיד על מרחב גדול לשיפור נוסף של התנהגותם הבטוחה[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). פער כזה בין GPT-4 למודלים עם קוד פתוח מצביע על אפקט של אימון בהיקף גדול יותר וכוונון alignment ממוקד במודלים הסגורים. מעניין כי הביצועים של מערכות מסוימות התגלו כ**תלויי שפה**[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). מודלים שנוצרו בסין (לדוגמה, Baidu Ernie, Alibaba Tongyi ועוד) נטו לענות טוב יותר על הגרסה הסינית של הבדיקות מאשר על האנגלית[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). לעומת זאת, משפחת מודלי GPT של OpenAI הפגינה תוצאות מאוזנות יותר[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). דבר זה עשוי לשקף הבדלים בנפח ובאיכות האימון על נתוני השפות המתאימות, כמו גם נוכחות של מסננים מובנים או מנגנוני צנזורה במודלים אזוריים מסוימים. עם הוספת דוגמאות few-shot (מספר Q&A לדוגמה לפני הבדיקה) נצפו **השפעות בכיוונים שונים**[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). מספר מודלים הצליחו להעלות משמעותית את הדיוק בזכות הרמזים: כך, מודלי שפה גדולים מהדור הקודם כגון text-davinci-003 (GPT-3) או InternLM הסיני קיבלו עלייה מורגשת באיכות במצב חמישה-צעד[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). אולם אצל מספר מודלים ההקשר הנוסף כמעט ולא שיפר את התוצאה, ובמקרים מסוימים אף הוריד את הדיוק[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בפרט, עבור GPT-3.5 תיעדו המחברים **\\רווח שלילי\\ קטן ב-few-shot**[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1), שאותו הם מקשרים לתופעה של **\\מס ההתאמה\\** (alignment tax)[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בכל זאת, בממוצע, מתן דוגמאות הפך את התשובות ליציבות יותר והפחית את שיעור המקרים שבהם המודל מסרב לתת תשובה ברורה[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בנפרד, החוקרים העריכו את ביצועי המודלים על **תת-קבוצה מסוננת של שאלות** הנוגעות לשפה הסינית[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). הדבר נובע מכך ש-API של מספר מודלים סיניים גדולים דוחים אוטומטית בקשות המכילות מילים \\רגישות\\ מסוימות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). לפיכך, נוצרה מדגם מצומצם של 2,100 שאלות ללא מילות-טריגר, ועליו הושוו מספר מודלים במצב חמישה-צעד[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). התוצאות הראו שבגרסה מקלה זו הפער בין GPT-4 למודלים המקומיים הטובים ביותר מצטמצם: כך, המודל הסיני ChatGLM2 קיבל רק ~3% פחות מ-GPT-4, תוך כדי קירוב כמעט מלא אליו בציון המצטבר[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). גם Ernie Bot של Baidu הופיע בביטחון ברוב הקטגוריות (פרט לחלק ההטיה) והתקרב למובילים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). נתונים אלה מצביעים על כך שתחת שליטת סינון קשוחה (תוך הוצאת הבקשות המסוכנות ביותר), מודלים לאומיים מסוימים מסוגלים להתחרות עם המובילים העולמיים מבחינת התנהגות בטוחה. ## משמעות ה-benchmark ומסקנות המפתחים SafetyBench מהווה צעד חשוב לקראת מדידה שיטתית ושיפור הבטיחות של מודלי שפה גדולים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בניגוד לתרחישי אינטראקציה ישירה (שבהם משתמשים עלולים לנסות \\לפרוץ\\ את המודל באמצעות הוראות או פרובוקציות), benchmark זה מתמקד ביכולת ה-AI **להבין ולהבחין נכון בין תוכן בטוח ולא בטוח**[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המחברים מדגישים כי הבנה כזו היא הבסיס ההכרחי כדי שמודל יוכל בכלל לייצר תשובות בטוחות בדיאלוגים פתוחים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). לעומת זאת, הפנמה עמוקה של נורמות מוסר, כללי נימוס, סימני רעילות ועוד מקלה על כוונון המודל להימנע מאמירות והחלטות מסוכנות[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). לפיכך, ניתן לראות בציונים גבוהים ב-SafetyBench **אינדיקטור למוכנות המודל לשימוש בטוח**[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1), ואילו כישלונות בקטגוריות מסוימות מאותתים על אזורי סיכון הדורשים שיפור[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). חשוב לציין כי SafetyBench במכוון **אינו כולל היבטים מסוימים הקשורים לתקיפת ההוראות עצמן** של המודל (מה שנקרא jailbreak-prompt-ים, מניפולציית תפקידים וכד')[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). המחברים מסבירים כי בעיות מסוג instruction attacks הן מטבע אחר, הקשור לסתירה בין ביצוע פקודת המשתמש לבין שמירת כללי הבטיחות המובנים[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). היבטים אלה נפתרים בשיטות אחרות ויוצאים מגדר הבנת המודל[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). לפיכך, SafetyBench מתרכז דווקא ברמת תוכן ידיעות המודל על התנהגות בטוחה. עם זאת, הכיסוי המצטבר של שבע הקטגוריות המרכזיות ב-benchmark כבר עכשיו מאפשר לזהות פגיעויות של מודלים: לדוגמה, ידוע כי GPT-4 מפגין תוצאה חלשה יחסית בשאלות על הטיה, ומודלים פתוחים מסוימים פיגרים מאוד בחלקים הקשורים למוסר או לחוק[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). מידע כזה נותן למפתחים אמות מידה קונקרטיות לגבי מה שיש לעבוד עליו בהמשך האימון הנוסף או בסינון התשובות. ה-benchmark SafetyBench **פתוח לקהילה**[\[2\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-abs-2): הנתונים והחומרים המתודולוגיים שלו מונגשים בחינם לציבור[\[2\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-abs-2), ובפלטפורמה שנוצרה במיוחד מתוחזק **לוח תוצאות מקוון** של מודלים שונים[\[2\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-abs-2). החוקרים מזמינים מפתחים לבדוק את מודליהם החדשים על חבילה זו ולפרסם תוצאות, דבר שיתרום להשוואה שקופה של מערכות ולמעקב אחר ההתקדמות בשיפור בטיחות ה-AI. לבסוף, המחברים מדגישים כי מטרת SafetyBench היא **לעודד שיפור מודלים**[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1), ולא רק ליצור עוד רשימת דירוג[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). הם קוראים למפתחים שלא להסתפק בניסיונות \\להתאים\\ את המודל לבדיקה, אלא לתקן באופן שיטתי את הנקודות הבעייתיות שזוהו[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). ככל שגרסאות חדשות של מודלים יאומנו על כמות גדולה יותר של נתונים, עם טכניקות alignment מתוחכמות יותר, צפויה עלייה בציוניהם גם ב-SafetyBench[\[1\]](https://systems-analysis.info/int/SafetyBench_(HE)#cite_note-arxiv-main-v2-1). בטווח הרחוק, benchmark זה עשוי להפוך לכלי סטנדרטי לבדיקת עמידת מודלי שפה בדרישות בטיחות, ומתודולוגיתו — לבסיס לפיתוח חבילות בדיקה מתקדמות עוד יותר בתחום ה-AI האחראי. ## קישורים חיצוניים - מאמר SafetyBench המקורי (arXiv) - מאגר SafetyBench ב-GitHub - עמוד ה-dataset של SafetyBench ב-Hugging Face - מאמר SafetyBench ב-ACL Anthology ## ספרות - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## הערות 1. ↑ [1.00](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-0) [1.01](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-1) [1.02](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-2) [1.03](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-3) [1.04](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-4) [1.05](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-5) [1.06](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-6) [1.07](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-7) [1.08](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-8) [1.09](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-9) [1.10](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-10) [1.11](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-11) [1.12](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-12) [1.13](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-13) [1.14](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-14) [1.15](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-15) [1.16](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-16) [1.17](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-17) [1.18](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-18) [1.19](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-19) [1.20](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-20) [1.21](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-21) [1.22](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-22) [1.23](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-23) [1.24](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-24) [1.25](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-25) [1.26](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-26) [1.27](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-27) [1.28](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-28) [1.29](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-29) [1.30](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-30) [1.31](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-31) [1.32](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-32) [1.33](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-33) [1.34](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-34) [1.35](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-35) [1.36](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-36) [1.37](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-37) [1.38](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-38) [1.39](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-39) [1.40](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-40) [1.41](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-41) [1.42](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-42) [1.43](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-43) [1.44](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-44) [1.45](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-45) [1.46](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-46) [1.47](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-47) [1.48](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-48) [1.49](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-49) [1.50](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-50) [1.51](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-51) [1.52](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-52) [1.53](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-53) [1.54](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-54) [1.55](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-55) [1.56](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-56) [1.57](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-57) [1.58](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-58) [1.59](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-59) [1.60](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-60) [1.61](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-61) [1.62](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-62) [1.63](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-63) [1.64](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-64) [1.65](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-65) [1.66](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-66) [1.67](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-67) [1.68](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-68) [1.69](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-69) [1.70](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-70) [1.71](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-71) [1.72](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-72) [1.73](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-73) [1.74](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-74) [1.75](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-75) [1.76](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-76) [1.77](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-77) [1.78](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-78) [1.79](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-79) [1.80](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-80) [1.81](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-81) [1.82](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-82) [1.83](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-83) [1.84](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-84) [1.85](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-85) [1.86](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-86) [1.87](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-87) [1.88](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-88) [1.89](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-89) [1.90](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-90) [1.91](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-91) [1.92](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-92) [1.93](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-v2_1-93) Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models with Multiple Choice Questions». *arXiv*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-abs_2-0) [2.1](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-abs_2-1) [2.2](https://systems-analysis.info/int/SafetyBench_(HE)#cite_ref-arxiv-main-abs_2-2) Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models». *arXiv*. [2]