BERTScore (metric) (ID)

BERTScore — adalah metrik otomatis untuk mengevaluasi kualitas teks yang dihasilkan, berdasarkan pengukuran kemiripan semantik menggunakan embedding kontekstual dari model bahasa yang telah dilatih sebelumnya, seperti BERT. Metrik ini diusulkan pada tahun 2019 oleh sekelompok peneliti yang dipimpin oleh Tianyi Zhang dalam karya «BERTScore: Evaluating Text Generation with BERT».

Berbeda dengan metrik tradisional seperti BLEU dan ROUGE yang didasarkan pada kecocokan eksak n-gram, BERTScore memungkinkan pendeteksian kesetaraan makna meskipun kata-kata dan formulasi berbeda, dengan mempertimbangkan sinonim dan parafrase.

Metodologi Perhitungan

Metode BERTScore terdiri dari beberapa tahap:

1. Mendapatkan embedding kontekstual: Kedua teks (referensi dan yang dihasilkan) dipecah menjadi token dan dilewatkan melalui model transformer yang telah dilatih sebelumnya (misalnya, BERT atau RoBERTa). Untuk setiap token, representasi vektor kontekstualnya (embedding) diekstraksi.
2. Perhitungan kemiripan kosinus: Untuk semua pasangan token dari kedua teks dihitung kemiripan kosinus, dan dibentuk matriks kemiripan token.
3. Perhitungan presisi, recall, dan F1: Berdasarkan matriks kemiripan, untuk setiap token dalam teks yang dihasilkan dicari token yang paling mirip dalam teks referensi, yang memungkinkan perhitungan presisi (precision). Demikian pula, untuk setiap token referensi dicari token yang paling dekat dalam teks yang dihasilkan, yang menghasilkan recall. Nilai akhir BERTScore adalah F₁ yang seimbang, yang menggabungkan presisi dan recall:

   $R_{\text{BERT}}=\frac{1}{|x|}\sum _{x_i\in x}\underset{y_j\in y}{max}{x}_i^T{y}_j(\text{Recall})$
   $P_{\text{BERT}}=\frac{1}{|y|}\sum _{y_j\in y}\underset{x_i\in x}{max}{x}_i^T{y}_j(\text{Precision})$
   $F_{\text{BERT}}=2\frac{P_{\text{BERT}}\cdot R_{\text{BERT}}}{P_{\text{BERT}}+R_{\text{BERT}}}$

Metrik ini bersifat fleksibel: dapat memilih berbagai model yang telah dilatih sebelumnya, memberi bobot token berdasarkan kepentingannya (menggunakan bobot IDF), dan melakukan transformasi linear pada skor untuk interpretabilitas yang lebih baik.

Penerapan dan Efektivitas

BERTScore digunakan untuk mengevaluasi kualitas dalam berbagai tugas generasi teks:

• Penerjemahan mesin: Menangkap pelestarian makna, bahkan jika konstruksi terjemahan berbeda dari referensi.
• Peringkasan otomatis: Mampu menentukan bahwa formulasi yang berbeda dapat menyampaikan fakta-fakta kunci yang sama, sehingga lebih fleksibel dibandingkan ROUGE.
• Sistem dialog: Membantu mengukur relevansi respons dengan membandingkannya terhadap referensi pada level makna.

Evaluasi berskala besar yang dilakukan oleh para penulis menunjukkan bahwa koefisien korelasi BERTScore dengan penilaian manusia jauh lebih tinggi dibandingkan metrik seperti BLEU dan ROUGE. Selain itu, metrik ini menunjukkan ketahanan yang lebih tinggi terhadap kasus parafrase yang kompleks.

Keunggulan

• Mempertimbangkan semantik: Membandingkan teks pada level makna, dengan mempertimbangkan sinonim dan parafrase.
• Korelasi tinggi dengan penilaian manusia: Skor BERTScore lebih selaras dengan penilaian manusia tentang kualitas teks dibandingkan metrik tradisional.
• Universalitas dan portabilitas: Metrik ini tidak terikat pada bahasa atau tugas tertentu; cukup memilih model yang telah dilatih sebelumnya yang sesuai.
• Tidak memerlukan pelatihan tambahan: BERTScore adalah metrik tanpa pelatihan, berbeda dengan metrik yang lebih kompleks (misalnya, BLEURT) yang memerlukan pelatihan awal pada korpus evaluasi.
• Integrasi model modern: Memanfaatkan kekuatan transformer untuk mengekstraksi fitur kontekstual yang mendalam.

Keterbatasan dan Kritik

• Biaya komputasi tinggi: Perhitungan berbasis embedding membutuhkan sumber daya yang jauh lebih besar dibandingkan penghitungan n-gram, dan seringkali memerlukan penggunaan GPU.
• Ketergantungan pada model: Kualitas evaluasi terkait langsung dengan kualitas model yang telah dilatih sebelumnya. Pilihan model dan lapisan untuk ekstraksi embedding memengaruhi hasil, yang dapat menyebabkan masalah reprodusibilitas.
• Tidak memperhitungkan fakta dan struktur: BERTScore berfokus pada kemiripan semantik lokal dan tidak menjamin pemahaman struktur teks atau akurasi faktual. Teks dengan frasa yang ditukar posisinya atau kesalahan faktual dapat memperoleh skor tinggi.
• Interpretabilitas rendah: Berbeda dengan BLEU/ROUGE, skor BERTScore kurang transparan, sehingga menyulitkan analisis kesalahan.
• Bias sosial: Metrik ini mewarisi stereotip dan bias yang tertanam dalam model yang telah dilatih sebelumnya. Penelitian tahun 2022 menunjukkan bahwa metrik berbasis LLM (termasuk BERTScore) menunjukkan bias sosial yang jauh lebih besar dibandingkan metrik tradisional.

Signifikansi dan Peran dalam Evaluasi

BERTScore merupakan langkah penting dalam pengembangan metode evaluasi teks yang dihasilkan, karena memungkinkan pertimbangan kesetaraan makna, bukan hanya kecocokan leksikal. Meskipun tidak ada metrik otomatis yang mampu mengukur kualitas teks secara sempurna, BERTScore telah membuktikan diri sebagai alat yang andal yang melengkapi pendekatan klasik (seperti BLEU dan ROUGE), bukan menggantikannya sepenuhnya.

Dalam praktiknya, BERTScore sering digunakan bersama dengan tinjauan manual dan metrik lainnya untuk mendapatkan gambaran yang lebih lengkap dan mendalam tentang seberapa berhasil model menghasilkan teks yang koheren dan sesuai secara semantik.

Tautan

• Repositori resmi BERTScore di GitHub