BERTScore (metric) (TR)

BERTScore — otomatik olarak üretilen metnin kalitesini değerlendirmeye yönelik bir otomatik metriktir; BERT gibi önceden eğitilmiş dil modellerinden elde edilen bağlamsal embedding'ler aracılığıyla anlamsal benzerliği ölçmeye dayanır. Metrik, 2019 yılında Tianyi Zhang öncülüğündeki bir araştırmacı grubu tarafından «BERTScore: Evaluating Text Generation with BERT» adlı çalışmada önerilmiştir.

BLEU ve ROUGE gibi n-gram tam eşleşmesine dayanan geleneksel metriklerden farklı olarak BERTScore, kelimeler ve ifadeler farklı olsa bile eş anlamlıları ve parafrazları göz önünde bulundurarak anlam eşdeğerliğini saptamaya olanak tanır.

Hesaplama Yöntemi

BERTScore yöntemi birkaç aşamadan oluşur:

1. Bağlamsal embedding'lerin elde edilmesi: Her iki metin de (referans ve üretilen) token'lara ayrılır ve önceden eğitilmiş bir transformer modeline (örneğin BERT veya RoBERTa) geçirilir. Her token için bağlamsal vektör temsili (embedding) çıkarılır.
2. Kosinüs benzerliğinin hesaplanması: İki metindeki tüm token çiftleri için kosinüs benzerliği hesaplanır ve bir token benzerlik matrisi oluşturulur.
3. Precision, Recall ve F1 skorunun hesaplanması: Benzerlik matrisine dayanarak, üretilen metindeki her token için referans metindeki en benzer token bulunur; bu sayede precision (kesinlik) hesaplanır. Benzer şekilde, referanstaki her token için üretilen metindeki en yakın token bulunur ve bu da recall (duyarlılık) değerini verir. BERTScore'un nihai değeri, precision ve recall'u birleştiren dengeli F₁ ölçüsüdür:

   $R_{\text{BERT}}=\frac{1}{|x|}\sum _{x_i\in x}\underset{y_j\in y}{max}{x}_i^T{y}_j(\text{Recall})$
   $P_{\text{BERT}}=\frac{1}{|y|}\sum _{y_j\in y}\underset{x_i\in x}{max}{x}_i^T{y}_j(\text{Precision})$
   $F_{\text{BERT}}=2\frac{P_{\text{BERT}}\cdot R_{\text{BERT}}}{P_{\text{BERT}}+R_{\text{BERT}}}$

Metrik esnektir: farklı önceden eğitilmiş modeller seçilebilir, token'lar önem düzeylerine göre ağırlıklandırılabilir (IDF ağırlıkları aracılığıyla) ve skorlar daha iyi yorumlanabilirlik için doğrusal dönüşüme tabi tutulabilir.

Uygulama ve Etkinlik

BERTScore, çeşitli metin üretme görevlerinde kalite değerlendirmesi amacıyla kullanılır:

• Makine çevirisi: Çeviri yapıları referans metinden farklı olsa bile anlam korumasını yakalar.
• Otomatik özetleme: Farklı ifadelerin aynı temel gerçekleri aktarabildiğini saptayabilir; bu da onu ROUGE'dan daha esnek kılar.
• Diyalog sistemleri: Yanıtın uygunluğunu anlamsal düzeyde referansla karşılaştırarak ölçmeye yardımcı olur.

Yazarların gerçekleştirdiği kapsamlı değerlendirme, BERTScore'un insan değerlendirmeleriyle korelasyon katsayısının BLEU ve ROUGE gibi metriklere kıyasla belirgin biçimde daha yüksek olduğunu ortaya koymuştur. Bunun yanı sıra metrik, karmaşık parafrazlama durumlarına karşı artırılmış bir dayanıklılık sergilemiştir.

Avantajlar

• Anlambilimi dikkate alma: Eş anlamlıları ve parafrazları göz önünde bulundurarak metinleri anlam düzeyinde karşılaştırır.
• İnsanla yüksek korelasyon: BERTScore değerlendirmeleri, metin kalitesine ilişkin insan yargılarıyla geleneksel metriklere kıyasla daha iyi örtüşür.
• Evrensellik ve taşınabilirlik: Metrik belirli bir dile veya göreve bağlı değildir; uygun önceden eğitilmiş bir modelin seçilmesi yeterlidir.
• Eğitim gerektirmeme: BERTScore, değerlendirme külliyatları üzerinde ön eğitim gerektiren daha karmaşık metriklerin (örneğin BLEURT) aksine eğitimsiz bir metriktir.
• Modern modellerin entegrasyonu: Derin bağlamsal özellikleri çıkarmak için transformer'ların gücünden yararlanır.

Sınırlılıklar ve Eleştiriler

• Yüksek hesaplama maliyeti: Embedding tabanlı hesaplama, n-gram sayımından çok daha fazla kaynak gerektirir ve çoğunlukla GPU kullanımını zorunlu kılar.
• Modele bağımlılık: Değerlendirme kalitesi, önceden eğitilmiş modelin kalitesiyle doğrudan ilişkilidir. Embedding çıkarmak için kullanılan modelin ve katmanın seçimi sonucu etkiler; bu durum yeniden üretilebilirlik sorunlarına yol açabilir.
• Gerçekleri ve yapıyı dikkate almama: BERTScore yerel anlamsal benzerliğe odaklanır; metin yapısının veya olgusal doğruluğun anlaşılmasını garanti etmez. Cümleleri yeniden düzenlenmiş veya olgusal hatalar içeren bir metin yüksek puan alabilir.
• Düşük yorumlanabilirlik: BLEU/ROUGE'dan farklı olarak BERTScore değeri daha az şeffaftır; bu da hata analizini güçleştirir.
• Toplumsal önyargılar (bias): Metrik, önceden eğitilmiş modellere yerleştirilmiş stereotipleri ve önyargıları devralır. 2022 yılında gerçekleştirilen bir araştırma, LLM tabanlı metriklerin (BERTScore dahil) geleneksel metriklere kıyasla çok daha belirgin toplumsal bias sergilediğini ortaya koymuştur.

Önemi ve Değerlendirmedeki Rolü

BERTScore, yalnızca sözcüksel eşleşmeleri değil anlamsal eşdeğerliği de dikkate almasına olanak tanıdığı için üretilen metin değerlendirme yöntemlerinin gelişiminde önemli bir adımı temsil eder. Hiçbir otomatik metriğin metin kalitesini mükemmel biçimde ölçemeyeceği gerçeğine karşın, BERTScore kendini güvenilir bir araç olarak kanıtlamış; BLEU ve ROUGE gibi klasik yaklaşımları tamamen ikame etmek yerine tamamlar nitelikte bir işlev üstlenmiştir.

Uygulamada BERTScore, modellerin tutarlı ve anlam bakımından uygun metinler üretmedeki başarısını daha kapsamlı ve derinlemesine değerlendirebilmek amacıyla manuel uzman incelemesi ve diğer metriklerle birlikte sıklıkla kullanılmaktadır.

Dış bağlantılar

• BERTScore'un GitHub'daki resmi deposu