LLM-as-a-Judge (TR)

LLM-as-a-Judge (LLM yargıç olarak) — makine öğrenmesinde, büyük bir dil modelinin (LLM) belirli kriterler doğrultusunda başka bir yapay zeka modeli tarafından üretilen metnin kalitesini değerlendirmek amacıyla kullanıldığı bir yaklaşımdır. Temel fikir, yapay zekanın bizzat "yargıç" rolüne geçerek yanıtları belirli parametrelere göre değerlendirmesidir.

Bu yöntem, açık uçlu metin üretimi görevlerinde maliyetli insan değerlendirmesine pratik bir alternatif olarak 2023 yılından itibaren yaygınlık kazanmıştır. Geleneksel metrikler (örneğin BLEU veya ROUGE) serbest metin yanıtları için yetersiz kalmakta, büyük ölçekli görevlerde ise insan değerlendiricilerin devreye sokulması mümkün olamamaktadır. LLM-as-a-Judge bu sorunu çözmektedir: insan yerine dil modelinin kendisi, değerlendirilen yanıtı ve değerlendirme kriterlerini içeren bir prompt talimatını girdi olarak alarak metnin kalitesini değerlendirir.

LLM ile Değerlendirme Yöntemleri

LLM-as-a-Judge yaklaşımı farklı senaryolarda ve değerlendirme biçimlerinde uygulanmaktadır.

• İkili karşılaştırma (pairwise comparison): En yaygın kullanılan yöntemdir. Yargıç model, aynı isteğe verilen iki yanıtı (Yanıt A, Yanıt B) alır ve belirli kriterlere göre hangisinin daha iyi olduğuna karar verir ya da beraberlik ilan eder.
• Kriterlere göre doğrudan değerlendirme: LLM değerlendirici, üretilmiş tek bir yanıtı inceleyerek belirli bir özelliğe (örneğin "doğruluk", "anlatım netliği", "nezaket") dayanarak bir puan skalasında (örneğin 1'den 10'a kadar) not verir.
• Referans bilgisiyle değerlendirme: Yargıç modelin prompt'una kaynak bağlam veya "altın" doğru yanıt eklenerek üretilen metnin uygunluğu kontrol edilir; bu yöntem örneğin hallüsinasyonların tespitinde kullanılır.

Etkinlik ve İnsan Değerlendirmesiyle Karşılaştırılabilirlik

LLM-as-a-Judge yaklaşımının kendi kalitesini doğrulamak için yargıçların verdikleri kararlar, insan uzmanların değerlendirmeleriyle karşılaştırılmaktadır. Bu yöntemin en kapsamlı analizi, UC Berkeley'den LMSYS grubu tarafından 2023 yılında "Judging LLM-as-a-Judge" adlı çalışmayla gerçekleştirilmiştir. Yazarlar, MT-Bench benchmark'ından alınan büyük bir diyalog görevi örnekleminde GPT-4 modelinin (yargıç rolünde) kararlarını insan tercihlerıyle sistematik biçimde karşılaştırmıştır.

Araştırmanın temel bulgusu şudur: yargıç rolündeki güçlü LLM'ler (örneğin GPT-4), insan değerlendirmeleriyle ~%80 örtüşme sergilemiş; bu oran insanların kendi aralarındaki uzlaşma düzeyiyle kıyaslanabilir niteliktedir. Başka bir deyişle, iki insan uzmanın birbiriyle hemfikir olduğu durumlarda yargıç model GPT-4 de vakaların %80'inde aynı kararı vermiştir. Bu sonuç, LLM değerlendirmesini tutarlılık açısından fiilen "insan" standardı düzeyine taşımış ve büyük ölçekli değerlendirmeler için pratik uygulanabilirliğini ortaya koymuştur.

Yaklaşımın Avantajları

LLM-as-a-Judge yöntemi, geleneksel yaklaşımlara kıyasla çeşitli önemli üstünlüklere sahiptir.

• İnsanla karşılaştırılabilirlik: Doğru yapılandırıldığında LLM değerlendirmesi, insan uzmanlığına yakın sonuçlar üretmekte ve bu sayede güvenilir bir alternatif hâline gelmektedir.
• Ölçeklenebilirlik ve hız: İyi yapılandırılmış bir LLM yargıcı, günün her saatinde binlerce yanıtı neredeyse anlık biçimde değerlendirerek insan etiketlemesinden çok daha hızlı ve ucuz sonuçlar sunmaktadır.
• Esneklik ve özelleştirilebilirlik: LLM'e prompt içindeki kriter açıklaması değiştirilerek, olgusal doğruluktan duygusal tona kadar metnin hemen her boyutunu değerlendirmesi öğretilebilir.
• Referanstan bağımsızlık: ROUGE veya BLEU gibi metriklerden farklı olarak, LLM değerlendirici karşılaştırma için önceden tanımlanmış bir "doğru yanıta" ihtiyaç duymaz. Referanssız çalışabilmesi, açık uçlu diyalog görevleri için büyük bir avantaj sağlar.
• Yorumlanabilirlik: Yargıç modelden kararının gerekçesini metin olarak açıklaması istenebilir; bu durum, otomatik metriklerin "kara kutu" yapısına kıyasla çok daha fazla şeffaflık sağlar.

Yöntemin Sınırlılıkları ve Sorunları

Elde edilen başarılara karşın, LLM-as-a-Judge yaklaşımının bazı dezavantajları da mevcuttur.

• Tam güvenilirlik eksikliği: LLM değerlendirmeleri yüksek kalitede olmakla birlikte kusursuz değildir. Talimat yeterince açık değilse veya model öngörülmemiş bir durumla karşılaşırsa verdiği karar hatalı ya da tutarsız olabilir.
• Sapma ve önyargı riski (bias):
  • Konum etkisi: Model, listede birinci veya son sırada yer alan yanıtı farkında olmadan tercih edebilir.
  • Uzun yanıt sapması: Model, bilginin yalnızca tekrarlandığı durumlarda bile daha uzun ve ayrıntılı yanıtı daha iyi olarak değerlendirme eğilimindedir.
  • Öz-kayırma (self-enhancement bias): Yargıç model, kendi ya da aynı aileden bir modelin ürettiği yanıtlara daha yüksek puan verme eğiliminde olabilir (örneğin GPT-4, GPT-3.5 yanıtlarını daha yüksek değerlendirebilir).

• Olguları ve mantığı değerlendirmedeki güçlükler: LLM yargıcı, matematik veya mantık problemlerini bizzat çözebilecek kapasitede olmasına rağmen zaman zaman bu tür görevleri yanlış değerlendirebilir. Bu durum, modelin kendisine sunulan çözümlerdeki hatalardan "etkilenmesi" ve görevi tarafsız biçimde algılayamaması nedeniyle ortaya çıkmaktadır.
• Veri gizliliği ve güvenliği: Değerlendirme amacıyla üçüncü taraf API'ların (örneğin GPT-4) kullanılması, gizli metinlerin harici bir sağlayıcıya gönderilmesi anlamına gelir ve bu durum veri sızıntısı riski taşır.

Bu sorunları hafifletmek için geliştiriciler çeşitli teknikler uygulamaktadır: yanıt sıralamasını rastgele belirleme, insan katılımlı veri kümeleri üzerinde kalibrasyon yapma ve LLM yargıcının diğer yöntemlerle birlikte kullanıldığı hibrit stratejiler benimseme.

Alternatif ve Hibrit Yaklaşımlar

LLM-as-a-Judge çoğunlukla diğer değerlendirme yöntemleriyle birlikte kullanılmaktadır.

• İnsan değerlendirmesi: "Altın standart" olmaya devam etmekte ve LLM yargıçlarının kalibrasyonu ile periyodik doğrulaması için kullanılmaktadır.
• Otomatik metrikler: Klasik metrikler (ROUGE, BLEU, BERTScore), net bir referans yanıtın bulunduğu görevler için hâlâ işe yaramaktadır.
• Özelleşmiş değerlendirici modeller: Rutin değerlendirmeleri üstlenmek üzere tercih verileri üzerinde eğitilmiş küçük, hızlı ve ucuz modellerin kullanımı; güçlü LLM yargıcının ise karmaşık durumlar için "yüksek mahkeme" rolüne soyunduğu yaklaşım (trust or escalate).

Dış bağlantılar

• LMSYS tarafından hazırlanan "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" makalesi
• Evidently AI tarafından hazırlanan LLM-as-a-Judge kullanım rehberi

Kaynakça

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.