MMLU Benchmark (HE)
MMLU (ראשי תיבות של Measuring Massive Multitask Language Understanding) — הוא אוסף משימות ייחוס (benchmark), המיועד להערכת יכולותיהן של מודלים לשוניים גדולים (LLM) במגוון רחב של תחומי דעת. ה-benchmark פותח בשנת 2020 על ידי צוות חוקרים בהנחיית דן הנדריקס (Dan Hendrycks) מ-UC Berkeley ופורסם בכנס ICLR בשנת 2021[1].
מטרת MMLU היא לבדוק עד כמה מודל קולט ידע ומיומנויות מגוונות שנרכשו בשלב הפרה-אימון, באמצעות בחינה במצב zero-shot או few-shot ללא כוונון עדין נוסף. MMLU נוצר כחלופה מאתגרת יותר למבחנים שהיו קיימים קודם לכן (כגון GLUE ו-SuperGLUE), שבהם מודלים רבים כבר הגיעו בשנת 2020 לרמת ביצועים אנושית[2].
תיאור ותכולה
MMLU מורכב מ-15,908 שאלות רב-ברירה, המכסות 57 תחומים שונים. נושאי השאלות כוללים:
- מקצועות STEM (מתמטיקה, פיזיקה, ביולוגיה, מדעי המחשב).
- מדעי הרוח והחברה (היסטוריה, ספרות, משפט, ממשל).
- תחומים יישומיים ומקצועיים (רפואה, משפטים, עסקים)[1].
רמת הקושי נעה בין רמת בית הספר היסודי ועד לרמה מקצועית מתקדמת. השאלות מבוססות על חומרי בחינה אמיתיים של בתי ספר, מוסדות להשכלה גבוהה ומבחנים מקצועיים כגון GRE ו-USMLE[1]. פורמט השאלות — ארבעה אפשרויות תשובה לכל שאלה, כלומר בבחירה אקראית הדיוק הוא 25%. כדי להשיג תוצאה גבוהה, על המודל להיות בעל ידע אנציקלופדי נרחב ויכולת הסקה.
תוצאות והתפתחות
בעת פרסום MMLU בשנת 2020, רוב מודלי ה-LLM הציגו תוצאות שהיו רק מעט מעל ניחוש אקראי. המודל שהציג את התוצאה הטובה ביותר היה GPT-3 (175 מיליארד פרמטרים), שהשיג ~43.9% תשובות נכונות. לשם השוואה, מומחה אנושי הגיע בממוצע ל-~90%[1]. פער זה אישר את מורכבות הרף הגבוה של ה-benchmark החדש.
עם הזמן הפך MMLU לאחד המבחנים הפופולריים ביותר עבור LLM, וקיבל מעמד של "תקן הזהב" בדוחות חברות ה-AI המובילות[3]. בשנים 2023–2024 מודלים חדישים כגון GPT-4, Gemini Ultra של Google ו-Claude 3.5 של Anthropic התקרבו לרמה האנושית, והשיגו דיוק של ~85–90%[2][3].
התקדמות המהירה הובילה ל"רוויה" הדרגתית של ה-benchmark: המודלים המובילים החלו להשיג ציונים קרובים למקסימום, דבר שהפחית את יכולת MMLU להבחין בין יכולותיהם האינטלקטואליות. הדבר עודד את הקהילה לפתח מבחנים חדשים וקשים יותר[3].
מגבלות וביקורת
למרות התפשטותו הרחבה, ל-MMLU מספר מגבלות מהותיות.
איכות ונכונות הנתונים
ביוני 2024 ערכו חוקרים ניתוח ידני של מדגם של 5,700 שאלות מ-MMLU ומצאו מספר ניכר של שגיאות[4].
- כ-6.5% מכלל שאלות MMLU מכילות שגיאות בסימון או בניסוח.
- בקטגוריות מסוימות שיעור השאלות הפגומות גבוה מאוד. לדוגמה, בסעיף "וירולוגיה" 57% מהשאלות הכילו שגיאות (מספר תשובות נכונות, ניסוח לקוי או תשובת ייחוס שגויה).
משמעות הדבר היא שאפילו מודל מושלם אינו יכול להשיג 100% על ה-dataset המקורי, ויתכן שחלק מהשיפורים במדדים נובע מכך שהמודל שינן את השגיאות השיטתיות של האוסף[4].
מתודולוגיית ההערכה ודליפת נתונים
- היעדר תקן בדיקה. מפתחים שונים עשויים להשתמש ב-prompt-ים שונים ובמצבי few-shot שונים, דבר המקשה על השוואה ישירה של תוצאות המודלים.
- דליפת נתונים (data contamination). קיים סיכון ששאלות ותשובות מ-benchmark-ים ציבוריים יחדרו למדגמי האימון של LLM. במקרה זה המודל למעשה "יודע" את התשובות הנכונות, מה שהופך את ההערכה לבלתי הוגנת[3].
גרסאות נגזרות והרחבות
כדי לפתור את הבעיות של MMLU המקורי, נוצרו מספר גרסאות שלו.
- MMLU-Redux. גרסה מתוקנת ומשוכללת של האוסף, שהוצגה ביוני 2024. היא כוללת 3,000 שאלות שסומנו מחדש מתוך 30 קטגוריות ומיועדת להערכה אמינה יותר של מודלים ללא עיוותים הנגרמים משגיאות בנתונים[4].
- MMLU-Pro. גרסה מורחבת ומוקשחת של המבחן, שהוצגה בסוף 2024. היא מכילה יותר מ-12,000 שאלות, לכל אחת מהן 10 אפשרויות תשובה במקום ארבע. הדבר מוריד את הסבירות לניחוש אקראי ל-10%. השאלות עברו בדיקה על ידי מומחים וכוללות שאלות חדשות ממקורות מורכבים יותר[5].
- MMMLU (Multilingual MMLU). גרסה רב-לשונית, שפורסמה על ידי OpenAI בשנת 2023. כל אוסף MMLU תורגם על ידי מתרגמים מקצועיים ל-14 שפות, כולל שפות נפוצות (ספרדית, סינית, רוסית) וגם שפות ממשאבים מוגבלים (כגון יורובה). הדבר מאפשר להעריך ולהשוות את יכולות המודלים בשפות שונות[6].
קישורים
- מאגר MMLU הרשמי ב-GitHub
- דף MMLU ב-Papers with Code עם תוצאות המודלים
ספרות
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
הערות
- ↑ 1.0 1.1 1.2 1.3 Hendrycks, D. et al. «Measuring Massive Multitask Language Understanding». arXiv:2009.03300, 2021. [1]
- ↑ 2.0 2.1 «MMLU». In Wikipedia. [2]
- ↑ 3.0 3.1 3.2 3.3 «NEW SAVANNA: The AI industry lacks useful ways of measuring performance». New Savanna Blog, 2024. [3]
- ↑ 4.0 4.1 4.2 Gema, A. P. et al. «Are We Done with MMLU?». arXiv:2406.04127, 2024. [4]
- ↑ «MMLU Pro». Vals.ai, 2025. [5]
- ↑ «openai/MMMLU». Hugging Face Datasets. [6]