MT-Bench (benchmark) (TR)

MT-Bench (kıs. İng. Multi-Turn Benchmark, «çok turlu benchmark») — büyük dil modellerini (LLM) çok turlu diyalog koşullarında değerlendirmeye yönelik bir referans test görevleri kümesidir (benchmark). Benchmark, 2023 yılında LMSYS araştırmacı ekibi (başında Lianmin Zheng olmak üzere) tarafından sohbet botlarının kalitesini nesnel biçimde karşılaştırmak amacıyla LLM-as-a-Judge («Yargıç Olarak LLM») yönteminin bir parçası olarak önerilmiştir.

Geleneksel tek turlu testlerden (MMLU gibi) farklı olarak MT-Bench, modellerin çok aşamalı diyalog yürütme, yeni girdileri sıralı biçimde kavrama ve kullanıcı talimatlarını doğru şekilde izleme becerilerini sınar. Amaç, sohbet botlarının karmaşık senaryolardaki performansını daha gerçekçi biçimde değerlendirmek; insan tercihlerine ve konuşma sistemlerinin pratik gereksinimlerine uyumu ölçmektir.

Oluşturulma Arka Planı

ChatGPT, GPT-4 ve Vicuna gibi diyalog odaklı LLM modellerinin gelişimi, geleneksel kalite metrikleri ile gerçek kullanıcı algısı arasındaki uçurumu gün yüzüne çıkardı. RLHF aracılığıyla insan talimatlarına uyum açısından iyileştirilen bir modelin, eski tek turlu benchmark'larda her zaman daha iyi sonuç vermediği anlaşıldı. MMLU veya HELM gibi testler çoğu zaman iyileştirilmiş («hizalanmış») sohbet botları ile bunların temel modelleri arasında ayrım yapamamaktadır. Bu durum, çok turlu etkileşim kalitesini ve açık uçlu talimatları yansıtmayan önceki yöntemlerin sınırlılığına işaret etmektedir.

MT-Bench bu soruna yanıt olarak ortaya çıkmış; iki odak noktası bulunan açık uçlu sorulardan oluşan diyalog biçimli bir test kümesi sunmaktadır: 1. Modelin birkaç adım (turns) boyunca tutarlı bir konuşmayı sürdürme becerisi. 2. Karmaşık kullanıcı talimatlarını doğru şekilde izleme.

Benchmark'ın Yapısı ve İçeriği

MT-Bench, farklı görev türlerini kapsayan 80 titizlikle seçilmiş çok turlu diyalog senaryosundan oluşmaktadır. Her senaryo, kullanıcı ile model arasında birkaç alışverişten oluşan bir seri içerir; modelin bağlamı koruma ve yeni girdilere uyum sağlama yeteneğini sınar. Diyaloglar 8 görev kategorisi altında gruplandırılmıştır:

• Writing (metin yazımı) — yaratıcı becerilerin sınanması (örneğin blog yazısı oluşturma).
• Roleplay (rol yapma konuşması) — belirli rollerde diyalogların canlandırılması.
• Extraction (bilgi çıkarımı) — verilen bağlamdan gerçekleri çıkarabilme becerisi.
• Reasoning (mantıksal akıl yürütme) — mantıksal düşünme gerektiren problemlerin çözümü.
• Math (matematik) — matematiksel problemlerin çözümü.
• Coding (programlama) — kod yazma veya hata ayıklama.
• STEM (fen ve teknik bilimler) — doğa bilimleri alanlarından sorular.
• Humanities (beşeri bilgiler) — tarih, edebiyat ve sosyal bilimler üzerine sorular.

Her kategoride 10 diyalog görevi yer almaktadır. Görevler, modeli koşullu olarak «gerçek» bir konuşmada sınamak amacıyla kasıtlı olarak zorlayıcı devamlar (örneğin ani açıklayıcı sorular) içermektedir.

Değerlendirme Yöntemi: LLM-as-a-Judge

MT-Bench'in temel özelliği, yanıtların otomatik değerlendirmesi için güçlü bir dil modelinin yargıç rolünde kullanılmasıdır (LLM-as-a-Judge). Orijinal çalışmada bu rolü GPT-4 modeli üstlenmiştir.

Değerlendirme prosedürü şu şekilde işler: 1. Her diyalog senaryosu için birkaç katılımcı model yanıt üretir. 2. Yargıç model (GPT-4), bu yanıtları (ikili karşılaştırma veya puanlama ölçeği biçiminde) karşılaştırır ve tercih kararını verir.

Otomatik yargılama, zahmetli manuel etiketlemenin yerini almaktadır. Araştırmacılar, GPT-4'ün yargıç olarak verdiği değerlendirmelerin insan uzmanlarının sonuçlarıyla %80'in üzerinde örtüştüğünü göstermiştir; bu oran insanlar arasındaki uyumla karşılaştırılabilir düzeydedir. Bu durum, yöntemin güvenilirliğini ve insanın doğrudan katılımı olmaksızın değerlendirmelerin ölçeklendirilebileceğini ortaya koymaktadır. Nesnelliği artırmak amacıyla yargıç modelin olası yanlılıkları tespit edilmiş ve azaltılmıştır; bunlar arasında konum yanlılığı (ilk yanıtı tercih etme), ayrıntıcılık (daha uzun yanıtı tercih etme) ve öz yüceltme (kendi tarzındaki yanıtlara karşı hoşgörü) etkileri sayılabilir.

Sonuçlar ve Kullanım

MT-Bench, günümüz modellerinin kaliteleri arasındaki belirgin farklılıkları ortaya koymayı mümkün kılmıştır. Mantıksal akıl yürütme, matematik ve kodlama kategorilerinde GPT-4, önceki sürümleri (örneğin GPT-3.5) önemli ölçüde geride bırakmıştır. Bu bulgular, daha büyük modellerin diyalogun birden fazla adımında bağlamı daha iyi koruduğunu doğrulamaktadır.

Sonuçların pratikte kullanılabilmesi için LMSYS ekibi, modellerin ortalama MT-Bench puanına ve Chatbot Arena'daki Elo derecelendirmesine göre sıralandığı kamuya açık bir liderboard başlatmıştır. Bu sıralama, sektördeki ilerlemeyi yansıtacak biçimde düzenli olarak güncellenmektedir. Dataset'in kendisi ve çalıştırma kodu açık erişime sunulmuştur; bu sayede bağımsız geliştiriciler kendi modellerini test edebilmektedir.

Sınırlılıklar ve Eleştiriler

Başarılı uygulamalarına karşın MT-Bench ve LLM-as-a-Judge yaklaşımının bir dizi sınırlılığı bulunmaktadır:

• Yargıcın kusurluluğu. Yargıç model (örneğin GPT-4) her şeye kadir değildir: test edilen modellerin yanıtlarındaki olgusal hataları veya halüsinasyonları her zaman tespit edemez.
• Mantık ve matematik değerlendirmesindeki güçlükler. LLM yargıcı karmaşık bir akıl yürütmeyi tam olarak izleyemeyebilir ya da bir kanıtı doğrulayamayabilir; bu durum değerlendirme hatalarına yol açabilir.
• Yanlılıklar (Biases). Azaltma önlemlerine karşın yargıç model, belirli bir yanıt stili veya biçimine karşı önyargısını sürdürebilir.

Bu hususlar, kritik öneme sahip uygulamalarda insan gözetiminin veya birleşik değerlendirme yöntemlerinin hâlâ tercih edilir olduğu anlamına gelmektedir.

Gelişim ve Genişlemeler

MT-Bench'in başarısı, genişletilmiş sürümlerin ortaya çıkmasını teşvik etmiştir. 2024 yılında, modellerin diyalog yeteneklerinin daha ayrıntılı analizini hedefleyen MT-Bench-101 yöntemi önerilmiştir. Yazarlar üç katmanlı bir beceri taksonomisi oluşturmuş ve önemli ölçüde daha büyük bir dataset derlemiştir; bu sayede modellerin diyalogun farklı aşamalarındaki davranışlarındaki ince farklılıklar belirlenebilmiştir.

Dış bağlantılar

• GitHub'daki resmi MT-Bench veri deposu

Kaynakça

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.