BLEU (Bilingual Evaluation Understudy) (ID)

BLEU (dari bahasa Inggris Bilingual Evaluation Understudy — «penilai pengganti bilingual») — adalah algoritma untuk evaluasi otomatis kualitas teks yang diterjemahkan oleh mesin. Penilaian dilakukan dengan membandingkan terjemahan kandidat dengan satu atau beberapa terjemahan manusia yang dijadikan acuan (referensi). Kualitas ditentukan oleh tingkat kemiripan leksikal terjemahan mesin terhadap terjemahan profesional. Sebagaimana dicatat oleh para penulisnya, «semakin dekat terjemahan mesin dengan terjemahan manusia profesional, semakin baik terjemahan tersebut».

Metode ini diusulkan pada tahun 2002 oleh sekelompok peneliti dari IBM di bawah pimpinan Kishore Papineni dan menjadi salah satu metrik pertama yang menunjukkan korelasi tinggi dengan penilaian para ahli penerjemah. BLEU dengan cepat meraih popularitas berkat kemudahan perhitungan, kebebasan dari ketergantungan bahasa, dan kesesuaiannya yang baik dengan penilaian manusia pada level korpus teks.

Metodologi Perhitungan BLEU

BLEU mengevaluasi terjemahan dengan menghitung kecocokan n-gram (urutan dari n kata) antara terjemahan kandidat dan terjemahan acuan.

1. Presisi n-gram yang Dimodifikasi

Pertama, untuk n-gram dengan panjang berbeda (biasanya dari 1 hingga 4), dihitung presisinya ($p_n$) — proporsi n-gram dari terjemahan kandidat yang ditemukan dalam terjemahan acuan. Dalam hal ini, jumlah kecocokan untuk setiap n-gram dibatasi oleh jumlah kemunculan maksimumnya dalam salah satu teks acuan, untuk menghindari penilaian yang terlalu tinggi akibat pengulangan kata yang sama.

2. Agregasi dan Rata-rata Geometris

Untuk mendapatkan satu nilai penilaian, presisi untuk 1-, 2-, 3-, dan 4-gram diagregasikan menggunakan rata-rata geometris. Hal ini dilakukan agar presisi yang rendah untuk satu jenis n-gram (misalnya, 4-gram) sangat mempengaruhi skor akhir, mencerminkan kualitas frasa panjang yang buruk. $\sqrt[4]{p_1\cdot p_2\cdot p_3\cdot p_4}$

3. Penalti Singkatnya (Brevity Penalty)

Untuk mencegah perolehan nilai yang terlalu tinggi melalui terjemahan yang terlalu singkat namun tepat, BLEU memperkenalkan penalti singkatnya (Brevity Penalty, BP). Jika panjang terjemahan kandidat (c) jauh lebih pendek dari panjang terjemahan acuan (r), skor BLEU akhir akan dikurangi. Penalti dihitung dengan rumus: $\text{BP}=\{\begin{array}{cc}1& \text{if }c>r\\ e^{1-r/c}& \text{if }c\le r\end{array}$

4. Rumus Akhir BLEU

Skor BLEU akhir dihitung sebagai hasil kali penalti singkatnya dengan rata-rata geometris presisi n-gram: $\text{BLEU}=\text{BP}\cdot \exp (\sum _{n=1}^N{w}_n\log p_n)$ di mana N adalah panjang maksimum n-gram (biasanya 4), dan $w_n$ adalah bobot (biasanya $1/N$).

Nilai BLEU berada dalam rentang 0 hingga 1 (sering dikalikan 100 dan dinyatakan dalam persen). Semakin mendekati 1 (100%), semakin «mirip dengan terjemahan manusia» terjemahan tersebut dianggap.

Penerapan dan Signifikansi

Sejak dipublikasikan, metrik BLEU menjadi standar de facto untuk evaluasi sistem penerjemahan mesin (MT). Metrik ini memungkinkan untuk mengatasi «hambatan» dalam pengembangan sistem MT — lamanya waktu dan mahalnya biaya evaluasi manual. Para pengembang mendapatkan kemampuan untuk mengukur dengan cepat efek perubahan pada model dan segera menyisihkan solusi yang tidak berhasil.

BLEU berkorelasi baik dengan penilaian manusia pada level seluruh korpus teks, namun tidak dapat diandalkan untuk evaluasi kalimat individual. Oleh karena itu, metrik ini banyak digunakan dalam kompetisi MT yang terstandarisasi (misalnya, NIST dan WMT) untuk membandingkan sistem.

Keterbatasan dan Kritik

Meskipun penggunaannya meluas, BLEU memiliki sejumlah keterbatasan yang signifikan:

• Tidak adanya evaluasi semantik: BLEU hanya mengukur kecocokan kata di permukaan dan tidak mampu menilai apakah makna teks asli telah tersampaikan dengan benar. Sebuah terjemahan bisa mendapatkan skor tinggi, namun secara gramatikal salah atau mendistorsi maknanya.
• Mengabaikan sinonim dan parafrase: Algoritma menghukum terjemahan yang menggunakan sinonim atau formulasi yang berbeda dari acuan, meskipun sepenuhnya benar. Penggunaan beberapa teks acuan meringankan, namun tidak sepenuhnya menyelesaikan masalah ini.
• Sensitivitas terhadap tokenisasi: Hasil BLEU sangat bergantung pada cara teks dipecah menjadi token. Implementasi tokenizer yang berbeda dapat menghasilkan nilai yang berbeda, sehingga perbandingan model menjadi tidak tepat. Untuk mengatasi masalah ini, standar SacreBLEU diusulkan, yang menyeragamkan perhitungan metrik.
• Kesulitan penerapan pada beberapa bahasa: BLEU bekerja buruk dengan bahasa yang tidak memiliki pemisah kata yang jelas (misalnya, bahasa Tionghoa atau Jepang) tanpa segmentasi awal.

Alternatif dan Pendekatan Modern

Seiring waktu, metrik otomatis baru diusulkan untuk mengatasi kekurangan BLEU:

• METEOR: Memperhitungkan kecocokan sinonim, stemming, dan urutan kata.
• ROUGE: Digunakan untuk evaluasi peringkasan teks, berfokus pada kelengkapan (recall), bukan presisi.
• Metrik yang Dapat Dipelajari (Learned Metrics): Pendekatan modern yang menggunakan model machine learning untuk memperhitungkan kedekatan semantik. Metrik seperti BLEURT dan COMET menunjukkan korelasi yang jauh lebih tinggi dengan penilaian manusia dibandingkan BLEU klasik.

Menjelang tahun 2020-an, BLEU kehilangan statusnya sebagai standar yang tak terbantahkan, memberikan tempat kepada metode yang lebih akurat. Meskipun demikian, BLEU tetap menjadi tonggak penting dalam sejarah evaluasi MT dan terus digunakan sebagai titik acuan dasar dalam mengukur kemajuan.

Tautan

• Apa itu skor BLEU? — Dokumentasi Microsoft Azure