ROUGE (metric) (ID)

ROUGE (akronim dari bahasa Inggris Recall-Oriented Understudy for Gisting Evaluation — «Penilai pengganti untuk peringkasan yang berorientasi pada kelengkapan») — adalah sekumpulan metrik otomatis untuk mengevaluasi kualitas ringkasan teks yang dihasilkan oleh sistem. Evaluasi dilakukan dengan membandingkan ringkasan yang dihasilkan secara otomatis dengan satu atau beberapa ringkasan referensi (acuan) yang dibuat oleh manusia.

Pada awalnya, metrik ini dikembangkan untuk tugas peringkasan teks otomatis, namun juga diterapkan dalam evaluasi kualitas penerjemahan mesin. Berbeda dengan metrik BLEU yang mengevaluasi ketepatan (precision), ROUGE berfokus pada kelengkapan (recall) — metrik ini menunjukkan seberapa besar bagian fragmen penting dari ringkasan referensi yang berhasil direproduksi dalam teks yang dihasilkan.

Sekumpulan metrik ROUGE diusulkan pada tahun 2004 oleh peneliti Chin-Yew Lin dari Institut Ilmu Informasi Universitas California Selatan. Metrik ROUGE telah menjadi standar de facto untuk mengevaluasi algoritma peringkasan, terutama setelah digunakan dalam kompetisi besar seperti DUC (Document Understanding Conference).

Varian Utama Metrik ROUGE

Keluarga ROUGE mencakup beberapa metrik yang saling berkaitan, masing-masing mengukur irisan konten berdasarkan kriteria yang berbeda:

• ROUGE-N: Mengukur irisan berdasarkan n-gram (rangkaian n kata).
  • ROUGE-1 menghitung irisan unigram (kata-kata individual).
  • ROUGE-2 menghitung irisan bigram (pasangan kata yang berurutan).

• ROUGE-L: Didasarkan pada Longest Common Subsequence (LCS) antara ringkasan yang dihasilkan dan ringkasan referensi. Metrik ini mempertimbangkan kecocokan pada tingkat struktur kalimat, karena mengukur urutan kata terpanjang yang muncul dalam urutan yang sama, tetapi tidak harus berurutan langsung.

• ROUGE-W: Modifikasi ROUGE-L (Weighted LCS) yang memberikan bobot lebih besar pada subsequensi bersama yang terdiri dari kata-kata yang berurutan langsung, sehingga mendorong kecocokan frasa yang kontinu.

• ROUGE-S dan ROUGE-SU: Metrik berbasis kecocokan skip-bigram. Skip-bigram adalah pasangan kata mana pun yang muncul di kedua teks dalam urutan yang sama, tetapi tidak harus berurutan langsung. Hal ini memungkinkan penghitungan kecocokan dengan jeda antar kata.
  • ROUGE-SU merupakan perluasan dari ROUGE-S yang juga memperhitungkan kecocokan unigram guna menghindari skor nol pada ringkasan yang tidak memiliki pasangan kata yang cocok.

Setiap metrik dapat dihitung dalam hal kelengkapan (recall), ketepatan (precision), atau rata-rata harmonisnya (F-measure). Secara tradisional, untuk tugas peringkasan, penekanan diberikan pada kelengkapan (ROUGE-N recall), karena yang terpenting adalah model mampu mengekstrak sebanyak mungkin informasi kunci dari teks sumber.

Penerapan dan Signifikansi

Metrik ROUGE telah menjadi alat standar untuk evaluasi objektif algoritma peringkasan. Sejak pertengahan tahun 2000-an, hampir semua kompetisi peringkasan otomatis (misalnya, DUC dan TAC) menggunakan ROUGE untuk peringkat sistem. Popularitas metrik ini disebabkan oleh kesederhanaannya dan efektivitasnya yang telah terbukti: irisan n-gram terbukti menjadi indikator yang cukup andal untuk mencerminkan konten ringkasan.

Dengan munculnya model jaringan saraf dan LLM, peran ROUGE tetap ada, tetapi interpretasinya menjadi lebih kompleks. Model-model modern menghasilkan ringkasan dengan kualitas sedemikian tinggi sehingga metrik tradisional dapat mencapai «batas atas» dan kurang mampu membedakan nuansa kualitas, sehingga mendorong pengembangan metode evaluasi baru.

Keterbatasan dan Kritik

Meskipun populer, ROUGE memiliki keterbatasan yang dikenal:

• Sifat permukaan: Metrik ini hanya mengandalkan kecocokan leksikal dan tidak mampu mengevaluasi ekuivalensi semantik. Metrik ini dapat memberikan skor rendah pada ringkasan yang baik jika ringkasan tersebut menggunakan sinonim atau parafrase.
• Mengabaikan kualitas teks: ROUGE tidak mengevaluasi kebenaran gramatikal, koherensi, atau keterbacaan penyajian. Sebuah model dapat memperoleh skor tinggi hanya dengan mengulang fragmen penting dari referensi, meskipun teks yang dihasilkan tidak koheren.
• Ketergantungan pada ringkasan referensi: Kualitas evaluasi sangat bergantung pada kualitas dan kelengkapan ringkasan referensi. Jika referensi ditulis dengan buruk, evaluasi akan tidak dapat diandalkan.
• Tidak ada evaluasi fakta: Metrik ini tidak mampu memverifikasi akurasi faktual. Sebuah ringkasan dapat memperoleh skor ROUGE yang tinggi tetapi mengandung fakta yang salah, jika fakta tersebut disalin dari sumber asli dan bukan dari referensi.

Alternatif dan Pendekatan Modern

Keterbatasan ROUGE mendorong pengembangan metode evaluasi alternatif:

• Metrik berorientasi semantik: Berusaha mengukur kemiripan pada tingkat makna, bukan kecocokan kata yang tepat. Contohnya adalah BERTScore, yang membandingkan representasi vektor (embedding) dari teks yang dihasilkan dan teks referensi.
• Metrik gabungan: Menggabungkan kriteria leksikal dan semantik. Misalnya, pendekatan ROUGE-SEM melengkapi ROUGE klasik dengan modul kemiripan semantik berbasis embedding untuk mengevaluasi teks yang diparafrase dengan lebih baik.
• Metrik berbasis LLM: Pendekatan modern di mana model-model kuat (misalnya, GPT) digunakan sebagai «juri» untuk mengevaluasi kualitas ringkasan berdasarkan beberapa kriteria, meniru penilaian ahli manusia.

Kesimpulannya, ROUGE telah membuktikan diri sebagai alat yang sederhana dan efektif untuk evaluasi peringkasan otomatis. Meskipun telah muncul metrik yang lebih canggih, ROUGE, dengan segala kekurangannya, tetap menjadi alat dasar yang tidak tergantikan dalam perangkat peneliti NLP.

Referensi

• Artikel asli Chin-Yew Lin tentang ROUGE (2004)