FLORES-200 (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

FLORES-200 — adalah dataset evaluasi untuk penerjemahan mesin multibahasa yang mencakup sekitar 200 bahasa di dunia. Dataset ini dibuat oleh para peneliti perusahaan Meta dalam kerangka proyek No Language Left Behind (NLLB) dan diperkenalkan pada tahun 2022. FLORES-200 merupakan perluasan dari dataset sebelumnya, FLORES-101, dan dirancang untuk mengevaluasi kualitas terjemahan secara objektif, khususnya pada bahasa-bahasa dengan sumber daya rendah[1].

Ciri khas utama dataset ini adalah bahwa seluruh teksnya diterjemahkan oleh penerjemah profesional, sehingga memastikan kualitas terjemahan referensi yang tinggi dan menjadikannya standar yang andal untuk membandingkan sistem penerjemahan mesin[2].

Latar Belakang dan Pembuatan Dataset

Versi pertama, FLORES-101, diperkenalkan pada tahun 2022 dan berisi 3001 kalimat dari Wikipedia berbahasa Inggris yang diterjemahkan ke dalam 101 bahasa[3]. Dataset ini mengisi kesenjangan penting dalam evaluasi sistem penerjemahan untuk bahasa-bahasa dengan data yang minim.

Pada tahun 2022, dalam kerangka proyek No Language Left Behind, perusahaan Meta memperluas korpus hingga mencakup 200 bahasa, sehingga terciptalah FLORES-200[4]. Pengembangannya menghadapi sejumlah tantangan:

  • Banyak bahasa yang ditambahkan memiliki tingkat standardisasi yang rendah dan kekurangan tenaga ahli dwibahasa.
  • Sebagian bahasa tidak diterjemahkan langsung dari bahasa Inggris, melainkan melalui bahasa perantara (Spanyol, Prancis, Rusia).
  • Untuk beberapa bahasa, berbagai sistem penulisan disertakan (misalnya, aksara Latin dan Kiril) guna mengakomodasi penggunaannya di komunitas yang berbeda[5].

Komposisi dan Struktur

Korpus FLORES-200 mencakup 3001 kalimat yang dipilih dari 842 artikel web dan dokumen proyek Wikimedia yang berbeda. Tidak seperti versi pertama, sumber-sumbernya tidak hanya mencakup Wikipedia, tetapi juga proyek-proyek lain seperti Wikinews, Wikijunior, dan Wikivoyage. Hal ini memastikan keragaman tematik yang luas (berita, sains, budaya, perjalanan), sehingga memungkinkan pengujian kualitas terjemahan secara menyeluruh.

Setiap kalimat bahasa Inggris diterjemahkan secara profesional ke dalam ~200 bahasa target, membentuk korpus paralel yang sepenuhnya sejajar. Dataset ini dibagi menjadi tiga bagian:

  • dev (pengembangan) — untuk penyetelan model.
  • devtest (pengujian menengah) — untuk evaluasi awal.
  • test (pengujian final) — bagian tersembunyi untuk perbandingan model yang adil dalam kompetisi.

Untuk menandai bahasa, digunakan standar ISO 639-3 disertai keterangan skrip, misalnya `eng_Latn` untuk bahasa Inggris dalam aksara Latin atau `rus_Cyrl` untuk bahasa Rusia dalam aksara Kiril[5].

Penerapan dan Signifikansi

FLORES-200 telah menjadi standar utama untuk mengevaluasi sistem penerjemahan mesin multibahasa. Dataset ini digunakan untuk mengevaluasi model unggulan dari Meta — NLLB-200. Pengujian pada FLORES-200 menunjukkan bahwa NLLB-200 meningkatkan kualitas terjemahan rata-rata sebesar 44% berdasarkan metrik BLEU dibandingkan sistem-sistem terbaik sebelumnya[6]. Untuk beberapa bahasa di Afrika dan India, peningkatan akurasi melebihi 70%[4].

Meta membuka akses bebas ke dataset dan alat penggunaannya di bawah lisensi Creative Commons BY-SA 4.0. Berkat hal ini, FLORES-200 dengan cepat mendapat penyebaran luas dan menjadi standar de facto dalam karya ilmiah, kompetisi penerjemahan mesin (misalnya, WMT), serta inisiatif pelestarian bahasa. Pada tahun 2023, komunitas OLDI (Open Language Data Initiative) mulai memperluas korpus ini dengan nama FLORES+[2].

Pranala

  • Dataset resmi di Hugging Face
  • Repositori resmi di GitHub

Daftar Pustaka

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Catatan

  1. ↑ «FLoRes-200 Dataset». Papers With Code. [1]
  2. ↑ 2.0 2.1 «FLORES+ Translation and Machine Translation Evaluation for the Erzya Language». Proceedings of the Ninth Conference on Machine Translation (WMT24). [2]
  3. ↑ Goyal, N., et al. «The Flores-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation». Transactions of the Association for Computational Linguistics. [3]
  4. ↑ 4.0 4.1 «New AI Model Translates 200 Languages, Making Technology Accessible to More People». Meta Newsroom. [4]
  5. ↑ 5.0 5.1 «Muennighoff/flores200». Hugging Face. [5]
  6. ↑ Costa-jussà, M.R., et al. «No Language Left Behind: Scaling Human-Centered Machine Translation». arXiv:2207.04672. [6]
Retrieved from "https://systems-analysis.info/int/index.php?title=FLORES-200_(ID)&oldid=2091"