--- title: "MMLU Benchmark (HE)" source: "https://systems-analysis.info/int/MMLU_Benchmark_(HE)" wiki: "systems-analysis.info/int" article: "MMLU_Benchmark_(HE)" language: "he" categories: - "Category:Hebrew" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 4076 wiki_created_at: 2026-09-06T23:30:12Z wiki_modified_at: 2026-09-06T23:30:12Z downloaded_at: 2026-09-07T23:00:45Z --- # MMLU Benchmark (HE) **MMLU** (ראשי תיבות של **Measuring Massive Multitask Language Understanding**) — הוא אוסף משימות ייחוס (benchmark), המיועד להערכת יכולותיהן של מודלים לשוניים גדולים (LLM) במגוון רחב של תחומי דעת. ה-benchmark פותח בשנת 2020 על ידי צוות חוקרים בהנחיית **דן הנדריקס** (*Dan Hendrycks*) מ-UC Berkeley ופורסם בכנס ICLR בשנת 2021[\[1\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-mmlu_paper-1). מטרת MMLU היא לבדוק עד כמה מודל קולט ידע ומיומנויות מגוונות שנרכשו בשלב הפרה-אימון, באמצעות בחינה במצב *zero-shot* או *few-shot* ללא כוונון עדין נוסף. MMLU נוצר כחלופה מאתגרת יותר למבחנים שהיו קיימים קודם לכן (כגון GLUE ו-SuperGLUE), שבהם מודלים רבים כבר הגיעו בשנת 2020 לרמת ביצועים אנושית[\[2\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-mmlu_wiki-2). ## תיאור ותכולה MMLU מורכב מ-**15,908 שאלות** רב-ברירה, המכסות **57 תחומים שונים**. נושאי השאלות כוללים: - מקצועות STEM (מתמטיקה, פיזיקה, ביולוגיה, מדעי המחשב). - מדעי הרוח והחברה (היסטוריה, ספרות, משפט, ממשל). - תחומים יישומיים ומקצועיים (רפואה, משפטים, עסקים)[\[1\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-mmlu_paper-1). רמת הקושי נעה בין רמת בית הספר היסודי ועד לרמה מקצועית מתקדמת. השאלות מבוססות על חומרי בחינה אמיתיים של בתי ספר, מוסדות להשכלה גבוהה ומבחנים מקצועיים כגון GRE ו-USMLE[\[1\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-mmlu_paper-1). פורמט השאלות — ארבעה אפשרויות תשובה לכל שאלה, כלומר בבחירה אקראית הדיוק הוא 25%. כדי להשיג תוצאה גבוהה, על המודל להיות בעל ידע אנציקלופדי נרחב ויכולת הסקה. ## תוצאות והתפתחות בעת פרסום MMLU בשנת 2020, רוב מודלי ה-LLM הציגו תוצאות שהיו רק מעט מעל ניחוש אקראי. המודל שהציג את התוצאה הטובה ביותר היה GPT-3 (175 מיליארד פרמטרים), שהשיג **~43.9%** תשובות נכונות. לשם השוואה, מומחה אנושי הגיע בממוצע ל-**~90%**[\[1\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-mmlu_paper-1). פער זה אישר את מורכבות הרף הגבוה של ה-benchmark החדש. עם הזמן הפך MMLU לאחד המבחנים הפופולריים ביותר עבור LLM, וקיבל מעמד של "תקן הזהב" בדוחות חברות ה-AI המובילות[\[3\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-new_savanna_2024-3). בשנים 2023–2024 מודלים חדישים כגון GPT-4, **Gemini Ultra** של Google ו-**Claude 3.5** של Anthropic התקרבו לרמה האנושית, והשיגו דיוק של **~85–90%**[\[2\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-mmlu_wiki-2)[\[3\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-new_savanna_2024-3). התקדמות המהירה הובילה ל"רוויה" הדרגתית של ה-benchmark: המודלים המובילים החלו להשיג ציונים קרובים למקסימום, דבר שהפחית את יכולת MMLU להבחין בין יכולותיהם האינטלקטואליות. הדבר עודד את הקהילה לפתח מבחנים חדשים וקשים יותר[\[3\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-new_savanna_2024-3). ## מגבלות וביקורת למרות התפשטותו הרחבה, ל-MMLU מספר מגבלות מהותיות. ### איכות ונכונות הנתונים ביוני 2024 ערכו חוקרים ניתוח ידני של מדגם של 5,700 שאלות מ-MMLU ומצאו מספר ניכר של שגיאות[\[4\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-done_with_mmlu_2024-4). - כ-**6.5%** מכלל שאלות MMLU מכילות שגיאות בסימון או בניסוח. - בקטגוריות מסוימות שיעור השאלות הפגומות גבוה מאוד. לדוגמה, בסעיף "וירולוגיה" **57%** מהשאלות הכילו שגיאות (מספר תשובות נכונות, ניסוח לקוי או תשובת ייחוס שגויה). משמעות הדבר היא שאפילו מודל מושלם אינו יכול להשיג 100% על ה-dataset המקורי, ויתכן שחלק מהשיפורים במדדים נובע מכך שהמודל שינן את השגיאות השיטתיות של האוסף[\[4\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-done_with_mmlu_2024-4). ### מתודולוגיית ההערכה ודליפת נתונים - **היעדר תקן בדיקה**. מפתחים שונים עשויים להשתמש ב-prompt-ים שונים ובמצבי few-shot שונים, דבר המקשה על השוואה ישירה של תוצאות המודלים. - **דליפת נתונים** (*data contamination*). קיים סיכון ששאלות ותשובות מ-benchmark-ים ציבוריים יחדרו למדגמי האימון של LLM. במקרה זה המודל למעשה "יודע" את התשובות הנכונות, מה שהופך את ההערכה לבלתי הוגנת[\[3\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-new_savanna_2024-3). ## גרסאות נגזרות והרחבות כדי לפתור את הבעיות של MMLU המקורי, נוצרו מספר גרסאות שלו. - **MMLU-Redux**. גרסה מתוקנת ומשוכללת של האוסף, שהוצגה ביוני 2024. היא כוללת 3,000 שאלות שסומנו מחדש מתוך 30 קטגוריות ומיועדת להערכה אמינה יותר של מודלים ללא עיוותים הנגרמים משגיאות בנתונים[\[4\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-done_with_mmlu_2024-4). - **MMLU-Pro**. גרסה מורחבת ומוקשחת של המבחן, שהוצגה בסוף 2024. היא מכילה יותר מ-12,000 שאלות, לכל אחת מהן **10 אפשרויות תשובה** במקום ארבע. הדבר מוריד את הסבירות לניחוש אקראי ל-10%. השאלות עברו בדיקה על ידי מומחים וכוללות שאלות חדשות ממקורות מורכבים יותר[\[5\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-mmlu_pro_vals_ai-5). - **MMMLU** (*Multilingual MMLU*). גרסה רב-לשונית, שפורסמה על ידי OpenAI בשנת 2023. כל אוסף MMLU תורגם על ידי מתרגמים מקצועיים ל-14 שפות, כולל שפות נפוצות (ספרדית, סינית, רוסית) וגם שפות ממשאבים מוגבלים (כגון יורובה). הדבר מאפשר להעריך ולהשוות את יכולות המודלים בשפות שונות[\[6\]](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_note-mmmlu_hf-6). ## קישורים - מאגר MMLU הרשמי ב-GitHub - דף MMLU ב-Papers with Code עם תוצאות המודלים ## ספרות - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## הערות 1. ↑ [1.0](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-mmlu_paper_1-0) [1.1](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-mmlu_paper_1-1) [1.2](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-mmlu_paper_1-2) [1.3](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-mmlu_paper_1-3) Hendrycks, D. et al. «Measuring Massive Multitask Language Understanding». *arXiv:2009.03300*, 2021. [1] 2. ↑ [2.0](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-mmlu_wiki_2-0) [2.1](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-mmlu_wiki_2-1) «MMLU». In *Wikipedia*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-new_savanna_2024_3-0) [3.1](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-new_savanna_2024_3-1) [3.2](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-new_savanna_2024_3-2) [3.3](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-new_savanna_2024_3-3) «NEW SAVANNA: The AI industry lacks useful ways of measuring performance». *New Savanna Blog*, 2024. [3] 4. ↑ [4.0](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-done_with_mmlu_2024_4-0) [4.1](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-done_with_mmlu_2024_4-1) [4.2](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-done_with_mmlu_2024_4-2) Gema, A. P. et al. «Are We Done with MMLU?». *arXiv:2406.04127*, 2024. [4] 5. [↑](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-mmlu_pro_vals_ai_5-0) «MMLU Pro». *Vals.ai*, 2025. [5] 6. [↑](https://systems-analysis.info/int/MMLU_Benchmark_(HE)#cite_ref-mmmlu_hf_6-0) «openai/MMMLU». *Hugging Face Datasets*. [6]