FLORES-200 (HE)
FLORES-200 — זהו מערך נתוני הערכה לתרגום מכוני רב-לשוני, המכסה כ-200 שפות בעולם. הוא נוצר על ידי חוקרי חברת Meta במסגרת הפרויקט No Language Left Behind (NLLB) והוצג בשנת 2022. FLORES-200 הוא הרחבה של מערך הנתונים הקודם FLORES-101 ונועד להערכה אובייקטיבית של איכות התרגום, במיוחד בשפות בעלות משאבים מועטים[1].
מאפיין מרכזי של ה-dataset הוא שכל הטקסטים תורגמו על ידי מתרגמים מקצועיים, דבר המבטיח איכות גבוהה של תרגומי הייחוס והופך אותו לסטנדרט אמין להשוואת מערכות תרגום מכוני[2].
רקע ויצירת המערך
הגרסה הראשונה, FLORES-101, הוצגה בשנת 2022 והכילה 3001 משפטים מוויקיפדיה האנגלית, שתורגמו ל-101 שפות[3]. מערך זה מילא פער חשוב בהערכת מערכות תרגום עבור שפות עם כמות נתונים מועטה.
בשנת 2022, במסגרת הפרויקט No Language Left Behind, הרחיבה Meta את הקורפוס ל-200 שפות ויצרה את FLORES-200[4]. הפיתוח נתקל במספר קשיים:
- שפות רבות שנוספו היו בעלות סטנדרטיזציה נמוכה ומחסור במומחים דו-לשוניים.
- חלק מהשפות תורגמו לא ישירות מאנגלית, אלא דרך שפות-ביניים (ספרדית, צרפתית, רוסית).
- עבור שפות מסוימות נכללו מערכות כתיבה שונות (למשל, לטינית וקירילית), כדי להתחשב בשימוש בהן בקהילות שונות[5].
הרכב ומבנה
קורפוס FLORES-200 כולל 3001 משפטים, שנבחרו מ-842 מאמרי אינטרנט ומסמכים שונים של פרויקטי Wikimedia. בשונה מהגרסה הראשונה, המקורות כוללים לא רק את ויקיפדיה, אלא גם פרויקטים אחרים כגון Wikinews, Wikijunior ו-Wikivoyage. הדבר מבטיח מגוון נושאי רחב (חדשות, מדע, תרבות, טיולים), המאפשר בדיקה מקיפה של איכות התרגום.
כל משפט אנגלי תורגם באופן מקצועי לכ-200 שפות יעד, ויוצר קורפוס מקבילי מיושר במלואו. המערך מחולק לשלושה חלקים:
- dev (פיתוח) — לכוונון מודלים.
- devtest (בדיקה ביניים) — להערכה מוקדמת.
- test (בדיקה סופית) — חלק סמוי להשוואה הוגנת בין מודלים בתחרויות.
לסימון שפות משמש התקן ISO 639-3 עם ציון סקריפט, למשל `eng_Latn` לאנגלית בלטינית או `rus_Cyrl` לרוסית בקירילית[5].
שימוש וחשיבות
FLORES-200 הפך לסטנדרט מרכזי להערכת מערכות תרגום מכוני רב-לשוניות. הוא שימש להערכת המודל הדגל של Meta — NLLB-200. הבדיקה על FLORES-200 הראתה ש-NLLB-200 שיפרה את איכות התרגום בממוצע ב-44% לפי מדד BLEU בהשוואה למערכות הטובות הקודמות[6]. עבור שפות מסוימות באפריקה ובהודו, שיפור הדיוק עלה על 70%[4].
Meta פתחה גישה חופשית ל-dataset ולכלים לשימוש בו תחת הרישיון Creative Commons BY-SA 4.0. הודות לכך, FLORES-200 זכה במהרה להפצה נרחבת והפך לסטנדרט דה-פקטו בעבודות מחקר, בתחרויות תרגום מכוני (כגון WMT) וביוזמות לשימור שפות. בשנת 2023 החלה קהילת OLDI (Open Language Data Initiative) להרחיב את הקורפוס תחת השם FLORES+[2].
קישורים
- ה-dataset הרשמי ב-Hugging Face
- המאגר הרשמי ב-GitHub
ספרות
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
הערות
- ↑ «FLoRes-200 Dataset». Papers With Code. [1]
- ↑ 2.0 2.1 «FLORES+ Translation and Machine Translation Evaluation for the Erzya Language». Proceedings of the Ninth Conference on Machine Translation (WMT24). [2]
- ↑ Goyal, N., et al. «The Flores-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation». Transactions of the Association for Computational Linguistics. [3]
- ↑ 4.0 4.1 «New AI Model Translates 200 Languages, Making Technology Accessible to More People». Meta Newsroom. [4]
- ↑ 5.0 5.1 «Muennighoff/flores200». Hugging Face. [5]
- ↑ Costa-jussà, M.R., et al. «No Language Left Behind: Scaling Human-Centered Machine Translation». arXiv:2207.04672. [6]