FLORES-200 (TH)

From Systems analysis Wiki
Jump to navigation Jump to search

FLORES-200 — คือชุดข้อมูลสำหรับการประเมินการแปลภาษาด้วยเครื่องแบบหลายภาษา ครอบคลุมประมาณ 200 ภาษาทั่วโลก ชุดข้อมูลนี้ถูกสร้างขึ้นโดยนักวิจัยของบริษัท Meta ภายใต้โครงการ No Language Left Behind (NLLB) และเปิดตัวในปี 2022 FLORES-200 เป็นการขยายต่อยอดจากชุดข้อมูลก่อนหน้าคือ FLORES-101 และมีวัตถุประสงค์เพื่อประเมินคุณภาพการแปลอย่างเป็นกลาง โดยเฉพาะอย่างยิ่งสำหรับภาษาที่มีทรัพยากรน้อย[1]

คุณลักษณะสำคัญของ dataset นี้คือข้อความทั้งหมดได้รับการแปลโดยนักแปลมืออาชีพ ซึ่งรับประกันคุณภาพสูงของการแปลอ้างอิง และทำให้ชุดข้อมูลนี้เป็นมาตรฐานที่เชื่อถือได้สำหรับการเปรียบเทียบระบบการแปลด้วยเครื่อง[2]

ประวัติความเป็นมาและการสร้างชุดข้อมูล

เวอร์ชันแรก FLORES-101 ได้รับการนำเสนอในปี 2022 และประกอบด้วยประโยค 3,001 ประโยคจากวิกิพีเดียภาษาอังกฤษ ซึ่งได้รับการแปลเป็น 101 ภาษา[3] ชุดข้อมูลนี้เติมเต็มช่องว่างสำคัญในการประเมินระบบการแปลสำหรับภาษาที่มีข้อมูลน้อย

ในปี 2022 ภายใต้โครงการ No Language Left Behind บริษัท Meta ได้ขยายคลังข้อมูลเป็น 200 ภาษา โดยสร้าง FLORES-200[4] การพัฒนาดังกล่าวเผชิญกับความยากลำบากหลายประการ:

  • ภาษาที่เพิ่มเข้ามาหลายภาษามีการกำหนดมาตรฐานต่ำและขาดแคลนผู้เชี่ยวชาญสองภาษา
  • บางภาษาได้รับการแปลโดยไม่ตรงจากภาษาอังกฤษ แต่ผ่านภาษาตัวกลาง (สเปน ฝรั่งเศส รัสเซีย)
  • สำหรับบางภาษาได้รวมระบบการเขียนที่แตกต่างกัน (เช่น อักษรละตินและอักษรซีริลลิก) เพื่อคำนึงถึงการใช้งานในชุมชนที่แตกต่างกัน[5]

องค์ประกอบและโครงสร้าง

คลังข้อมูล FLORES-200 ประกอบด้วย 3,001 ประโยค ที่คัดเลือกจากบทความเว็บและเอกสารจากโครงการ Wikimedia จำนวน 842 รายการที่แตกต่างกัน ต่างจากเวอร์ชันแรก แหล่งที่มาไม่ได้มีเพียงวิกิพีเดียเท่านั้น แต่รวมถึงโครงการอื่นๆ เช่น Wikinews, Wikijunior และ Wikivoyage ซึ่งทำให้มีความหลากหลายของหัวข้อในวงกว้าง (ข่าว วิทยาศาสตร์ วัฒนธรรม การท่องเที่ยว) ช่วยให้สามารถทดสอบคุณภาพการแปลได้อย่างครอบคลุม

ประโยคภาษาอังกฤษแต่ละประโยคได้รับการแปลอย่างมืออาชีพเป็นภาษาเป้าหมายประมาณ 200 ภาษา ก่อให้เกิดคลังข้อมูลคู่ขนานที่จัดเรียงกันอย่างสมบูรณ์ ชุดข้อมูลแบ่งออกเป็นสามส่วน:

  • dev (การพัฒนา) — สำหรับการปรับจูน model
  • devtest (การทดสอบระดับกลาง) — สำหรับการประเมินเบื้องต้น
  • test (การทดสอบขั้นสุดท้าย) — ส่วนที่ซ่อนไว้สำหรับการเปรียบเทียบ model อย่างยุติธรรมในการแข่งขัน

สำหรับการระบุภาษาใช้มาตรฐาน ISO 639-3 พร้อมระบุสคริปต์ เช่น `eng_Latn` สำหรับภาษาอังกฤษในอักษรละติน หรือ `rus_Cyrl` สำหรับภาษารัสเซียในอักษรซีริลลิก[5]

การนำไปใช้และความสำคัญ

FLORES-200 กลายเป็นมาตรฐานสำคัญสำหรับการประเมินระบบการแปลภาษาด้วยเครื่องแบบหลายภาษา ชุดข้อมูลนี้ถูกนำมาใช้ประเมิน model หลักของ Meta ซึ่งก็คือ NLLB-200 การทดสอบบน FLORES-200 แสดงให้เห็นว่า NLLB-200 ปรับปรุงคุณภาพการแปลโดยเฉลี่ย 44% ตามเมตริก BLEU เมื่อเปรียบเทียบกับระบบที่ดีที่สุดก่อนหน้า[6] สำหรับบางภาษาในแอฟริกาและอินเดีย การเพิ่มขึ้นของความแม่นยำเกิน 70%[4]

Meta เปิดให้เข้าถึง dataset และเครื่องมือสำหรับการใช้งานได้อย่างเสรีภายใต้ลิขสิทธิ์ Creative Commons BY-SA 4.0 ด้วยเหตุนี้ FLORES-200 จึงได้รับการใช้งานอย่างแพร่หลายอย่างรวดเร็วและกลายเป็นมาตรฐาน de facto ในงานวิจัยทางวิทยาศาสตร์ การแข่งขันการแปลด้วยเครื่อง (เช่น WMT) และโครงการริเริ่มเพื่อการอนุรักษ์ภาษา ในปี 2023 ชุมชน OLDI (Open Language Data Initiative) เริ่มขยายคลังข้อมูลภายใต้ชื่อ FLORES+[2]

ลิงก์

  • dataset อย่างเป็นทางการบน Hugging Face
  • คลังข้อมูลอย่างเป็นทางการบน GitHub

เอกสารอ้างอิง

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

หมายเหตุ

  1. ↑ «FLoRes-200 Dataset». Papers With Code. [1]
  2. ↑ 2.0 2.1 «FLORES+ Translation and Machine Translation Evaluation for the Erzya Language». Proceedings of the Ninth Conference on Machine Translation (WMT24). [2]
  3. ↑ Goyal, N., et al. «The Flores-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation». Transactions of the Association for Computational Linguistics. [3]
  4. ↑ 4.0 4.1 «New AI Model Translates 200 Languages, Making Technology Accessible to More People». Meta Newsroom. [4]
  5. ↑ 5.0 5.1 «Muennighoff/flores200». Hugging Face. [5]
  6. ↑ Costa-jussà, M.R., et al. «No Language Left Behind: Scaling Human-Centered Machine Translation». arXiv:2207.04672. [6]
Retrieved from "https://systems-analysis.info/int/index.php?title=FLORES-200_(TH)&oldid=2099"