FLORES-200 (HU)
FLORES-200 — egy többnyelvű gépi fordítást értékelő adatkészlet, amely a világ közel 200 nyelvét fedi le. A Meta kutatói hozták létre a No Language Left Behind (NLLB) projekt keretében, és 2022-ben mutatták be. A FLORES-200 a korábbi FLORES-101 adatkészlet kiterjesztése, és célja a fordítási minőség objektív értékelése, különösen az alacsony erőforrású nyelvek esetében[1].
Az adatkészlet egyik kulcsfontosságú jellemzője, hogy minden szöveget professzionális fordítók ültettek át, ami magas minőségű referencia-fordításokat biztosít, és megbízható összehasonlítási alapot jelent a gépi fordítórendszerek számára[2].
Az adatkészlet előzményei és létrehozása
Az első verzió, a FLORES-101, 2022-ben jelent meg, és az angol nyelvű Wikipédiából származó 3001 mondatot tartalmazott, amelyeket 101 nyelvre fordítottak le[3]. Ez az adatkészlet fontos hiányt pótolt a kis adatmennyiséggel rendelkező nyelvek fordítórendszereinek értékelésében.
2022-ben a No Language Left Behind projekt keretében a Meta 200 nyelvre bővítette a korpuszt, létrehozva a FLORES-200-t[4]. A fejlesztés során számos nehézséggel kellett szembenézni:
- Sok újonnan hozzáadott nyelv alacsony szintű szabványosítással rendelkezett, és hiány volt a kétnyelvű szakemberekből.
- Egyes nyelveket nem közvetlenül angolból, hanem közvetítő nyelveken keresztül fordítottak le (spanyol, francia, orosz).
- Néhány nyelv esetében különböző írásrendszereket is felvettek (például latin és cirill betűs változatokat), figyelembe véve azok különböző közösségekben való használatát[5].
Összetétel és szerkezet
A FLORES-200 korpusz 3001 mondatot tartalmaz, amelyek 842 különböző webes cikkből és Wikimedia-projektek dokumentumaiból kerültek kiválasztásra. Az első verzióval ellentétben a források nemcsak a Wikipédiát foglalják magukban, hanem más projekteket is, mint a Wikinews, a Wikijunior és a Wikivoyage. Ez széles tematikai változatosságot biztosít (hírek, tudomány, kultúra, utazás), lehetővé téve a fordítási minőség átfogó értékelését.
Minden angol mondatot professzionálisan lefordítottak ~200 célnyelvre, így egy teljesen párhuzamos, illesztett korpuszt alkotva. Az adatkészlet három részre tagolódik:
- dev (fejlesztési halmaz) — a modellek finomhangolásához.
- devtest (közbenső teszthalmaz) — előzetes értékeléshez.
- test (végső teszthalmaz) — rejtett rész a modellek versenyszerű, fair összehasonlításához.
A nyelvek jelölésére az ISO 639-3 szabványt alkalmazzák, az írásrendszer megjelölésével együtt, például `eng_Latn` az angol latin betűs változatához vagy `rus_Cyrl` az orosz cirill betűs változatához[5].
Alkalmazása és jelentősége
A FLORES-200 a többnyelvű gépi fordítórendszerek értékelésének meghatározó szabványává vált. A Meta zászlóshajó modelljének, az NLLB-200-nak az értékeléséhez is ezt használták. A FLORES-200-on végzett tesztelés kimutatta, hogy az NLLB-200 átlagosan 44%-kal javította a fordítási minőséget a BLEU-metrika szerint a korábbi legjobb rendszerekhez képest[6]. Egyes afrikai és indiai nyelvek esetében a pontosság növekedése meghaladta a 70%-ot[4].
A Meta ingyenesen hozzáférhetővé tette az adatkészletet és a hozzá tartozó eszközöket Creative Commons BY-SA 4.0 licenc alatt. Ennek köszönhetően a FLORES-200 gyorsan széles körben elterjedt, és de facto szabványává vált a tudományos munkákban, a gépi fordítási versenyeken (például WMT) és a nyelvmegőrzési kezdeményezésekben. 2023-ban az OLDI (Open Language Data Initiative) közösség FLORES+ néven megkezdte a korpusz bővítését[2].
Hivatkozások
- Hivatalos adatkészlet a Hugging Face-en
- Hivatalos adattár a GitHubon
Irodalom
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
Megjegyzések
- ↑ «FLoRes-200 Dataset». Papers With Code. [1]
- ↑ 2.0 2.1 «FLORES+ Translation and Machine Translation Evaluation for the Erzya Language». Proceedings of the Ninth Conference on Machine Translation (WMT24). [2]
- ↑ Goyal, N., et al. «The Flores-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation». Transactions of the Association for Computational Linguistics. [3]
- ↑ 4.0 4.1 «New AI Model Translates 200 Languages, Making Technology Accessible to More People». Meta Newsroom. [4]
- ↑ 5.0 5.1 «Muennighoff/flores200». Hugging Face. [5]
- ↑ Costa-jussà, M.R., et al. «No Language Left Behind: Scaling Human-Centered Machine Translation». arXiv:2207.04672. [6]