METEOR (metric) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

METEOR — adalah nama yang digunakan dalam bidang pemrosesan bahasa alami (NLP) untuk beberapa konsep yang saling berkaitan namun berbeda. Pertama-tama, ini adalah metrik otomatis yang terkenal untuk mengevaluasi kualitas mesin terjemahan. Selain itu, pada tahun 2024, di bawah nama yang sama diperkenalkan dua proyek penelitian independen yang berkaitan dengan model bahasa besar (LLM): metode pelatihan evolusioner dan model bahasa multimodal.

METEOR sebagai metrik evaluasi kualitas terjemahan

METEOR (singkatan dari Metric for Evaluation of Translation with Explicit ORdering) — adalah metrik otomatis untuk mengevaluasi kualitas mesin terjemahan, yang diusulkan pada tahun 2005 oleh peneliti Universitas Carnegie Mellon, Satanjeev Banerjee dan Alon Lavie[1]. Tujuannya adalah meningkatkan kesesuaian penilaian otomatis dengan penilaian manusia, terutama pada tingkat kalimat individual, dengan mengatasi beberapa kelemahan metrik BLEU yang lebih awal.

Fitur-fitur utama metrik METEOR:

  • Mempertimbangkan precision dan recall: Berbeda dengan BLEU yang hanya berorientasi pada precision, METEOR menghitung rata-rata harmonik antara precision dan recall, sehingga memungkinkan penalti terhadap terjemahan yang melewatkan kata-kata penting.
  • Pencocokan kata yang fleksibel: METEOR menggunakan fitur linguistik untuk mencocokkan terjemahan dengan referensi. Metrik ini mempertimbangkan tidak hanya kecocokan tepat, tetapi juga berbagai bentuk kata (menggunakan stemming) dan sinonim (menggunakan WordNet).
  • Penalti untuk pelanggaran urutan kata: Metrik ini memiliki penalti yang menghukum urutan kata yang salah dalam terjemahan kandidat, bahkan jika semua kata cocok dengan referensi.

Peningkatan-peningkatan ini memungkinkan metrik METEOR berkorelasi jauh lebih baik dengan penilaian manusia dibandingkan dengan BLEU[2]. Metrik ini banyak digunakan dalam penelitian mesin terjemahan, peringkasan otomatis, dan evaluasi keterangan gambar[3].

METEOR sebagai metode pelatihan evolusioner LLM

Pada tahun 2024, sekelompok peneliti Tiongkok memperkenalkan metode bernama METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth[4]. Metode ini dirancang untuk pelatihan LLM yang efisien yang berspesialisasi dalam domain subjek yang sempit (misalnya, keuangan, kedokteran), tanpa perlu melatih model dari awal.

Para penulis menjelaskan skema tiga fase "evolusi" LLM:

  1. Distilasi pengetahuan dari model kuat ke model lemah (weak-to-strong data distillation): Untuk menghasilkan korpus pelatihan, digunakan model "guru" yang lebih kuat (misalnya, GPT-4). Dalam proses ini, model domain pertama-tama menghasilkan rencana solusi, sementara model yang kuat membuat jawaban mengikuti rencana tersebut. Hal ini menyeimbangkan distribusi pengetahuan dan memungkinkan model target menyerapnya dengan lebih efektif.
  2. Pelatihan iteratif dengan umpan balik eksternal (guided iterative training): Model yang dilatih pada tahap pertama secara mandiri menyelesaikan tugas, sementara model yang kuat berperan sebagai "wasit", mengevaluasi jawaban dan menunjukkan kesalahan. Siklus reflektif ini mengembangkan kemampuan verifikasi diri pada model domain.
  3. Evolusi mandiri (self-evolution): Model terus berkembang tanpa kurator eksternal, menggunakan keterampilan yang terkumpul untuk menghasilkan dan mengoreksi data baru.

Metode ini menawarkan pendekatan praktis untuk menciptakan LLM ahli yang kompak dan hemat biaya untuk industri tertentu[5].

METEOR sebagai model LLM multimodal

Juga pada tahun 2024, tim peneliti dari KAIST memperkenalkan model bahasa multimodal berskala besar bernama METEOR: Mamba-based Traversal of Rationales[6]. Model ini dirancang untuk pemahaman komprehensif informasi visual dan menghasilkan jawaban atas pertanyaan visual.

Fitur utama METEOR adalah penggunaan penalaran (rationales) yang dikembangkan secara mendetail. Model ini tidak sekadar menghasilkan jawaban akhir, melainkan menghasilkan dan mengandalkan "rantai penalaran" tersembunyi — penjelasan berurutan tentang bagaimana mencapai jawaban tersebut, mirip dengan cara manusia bernalar.

Arsitektur METEOR menggunakan modul khusus berbasis model Mamba — sebuah arsitektur yang efisien untuk memproses sekuens yang sangat panjang. Modul ini menyandikan rantai penalaran panjang yang dapat mencakup deskripsi objek dalam gambar, hubungan spasialnya, dan langkah-langkah untuk menyelesaikan tugas[7].

Model ini berhasil diuji pada benchmark multimodal yang menantang, seperti MME, AI2D (pemahaman diagram), dan MathVista (penyelesaian soal matematika dalam konteks visual). Model ini menunjukkan hasil yang tinggi tanpa memerlukan modul computer vision eksternal tambahan, yang mencerminkan penggunaan parameter internal yang efisien[7].

Catatan

  1. ↑ Banerjee, S., and A. Lavie. «METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments». ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT, 2005. [1]
  2. ↑ Lavie, A., and A. Agarwal. «METEOR: An Automatic Metric for MT Evaluation with High Levels of Correlation with Human Judgments». ACL Workshop on Statistical Machine Translation, 2007. [2]
  3. ↑ «Evaluating Large Language Models: Powerful Insights Ahead». DataScienceDojo. [3]
  4. ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». arXiv preprint arXiv:2411.11933, 2024. [4]
  5. ↑ Li, J., X. Xu, and Y. Gao. «METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth». ar5iv.org. [5]
  6. ↑ Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». NeurIPS 2024 (poster). [6]
  7. ↑ 7.0 7.1 Lee, B.-K., et al. «Meteor: Mamba-based Traversal of Rationales for Large Language and Vision Models». arXiv preprint arXiv:2405.15574, 2024. [7]
Retrieved from "https://systems-analysis.info/int/index.php?title=METEOR_(metric)_(ID)&oldid=4024"