MT-Bench (benchmark) (ID)

MT-Bench (singkatan dari bahasa Inggris Multi-Turn Benchmark, «benchmark multi-giliran») — adalah kumpulan tugas uji standar (benchmark) untuk mengevaluasi large language model (LLM) dalam kondisi dialog multi-giliran. Benchmark ini diusulkan pada tahun 2023 oleh tim peneliti LMSYS (dipimpin oleh Lianmin Zheng) sebagai bagian dari metode LLM-as-a-Judge («LLM sebagai hakim») untuk perbandingan objektif kualitas chatbot.

Berbeda dengan pengujian satu giliran tradisional (seperti MMLU), MT-Bench menguji kemampuan model dalam menjalankan dialog multi-tahap, menerima masukan baru secara berurutan, dan mengikuti instruksi pengguna dengan tepat. Tujuannya adalah evaluasi yang lebih realistis terhadap kinerja chatbot dalam skenario kompleks, berorientasi pada kesesuaian dengan preferensi manusia dan persyaratan praktis sistem percakapan.

Latar Belakang Penciptaan

Perkembangan model LLM percakapan, seperti ChatGPT, GPT-4, dan Vicuna, mengungkapkan kesenjangan antara metrik kualitas tradisional dan persepsi pengguna nyata terhadap jawaban. Ternyata, peningkatan model dari segi keselarasan dengan instruksi manusia (melalui RLHF) tidak selalu meningkatkan hasil pada benchmark lama yang bersifat satu giliran. Pengujian seperti MMLU atau HELM sering kali tidak dapat membedakan chatbot yang telah disempurnakan («diselaraskan») dari model dasarnya. Hal ini menunjukkan keterbatasan metodologi lama yang tidak mencerminkan kualitas interaksi multi-giliran dan instruksi dalam bentuk terbuka.

MT-Bench muncul sebagai respons terhadap masalah ini, menawarkan sekumpulan pertanyaan bertipe terbuka dalam format dialog yang berfokus pada dua aspek: 1. Kemampuan model untuk mempertahankan percakapan yang berkesinambungan melalui beberapa langkah (turns). 2. Mengikuti instruksi pengguna yang kompleks dengan tepat.

Struktur dan Konten Benchmark

MT-Bench terdiri dari 80 skenario dialog multi-giliran yang dipilih secara cermat, mencakup berbagai jenis tugas. Setiap skenario mencakup serangkaian pertukaran antara pengguna dan model, menguji kemampuan model dalam mempertahankan konteks dan beradaptasi dengan masukan baru. Dialog-dialog dikelompokkan ke dalam 8 kategori tugas:

• Writing (penulisan teks) — pengujian keterampilan kreatif (misalnya, menyusun artikel blog).
• Roleplay (percakapan peran) — simulasi dialog dalam peran tertentu.
• Extraction (ekstraksi informasi) — kemampuan mengekstrak fakta dari konteks yang diberikan.
• Reasoning (penalaran logis) — pemecahan soal berpikir logis.
• Math (matematika) — pemecahan soal matematika.
• Coding (pemrograman) — penulisan atau debugging kode.
• STEM (sains dan teknologi) — pertanyaan dari bidang ilmu pengetahuan alam.
• Humanities (pengetahuan humaniora) — pertanyaan tentang sejarah, sastra, dan ilmu sosial.

Setiap kategori memiliki 10 tugas dialog. Tugas-tugas tersebut sengaja mencakup kelanjutan yang rumit (misalnya, pertanyaan klarifikasi yang tiba-tiba) untuk menguji model dalam percakapan yang bersifat «nyata».

Metodologi Evaluasi: LLM-as-a-Judge

Keistimewaan utama MT-Bench adalah penggunaan model bahasa yang kuat sebagai hakim untuk evaluasi jawaban secara otomatis (LLM-as-a-Judge). Dalam karya orisinalnya, model GPT-4 berperan dalam fungsi ini.

Prosedur evaluasi dibangun sebagai berikut: 1. Untuk setiap skenario dialog, beberapa model peserta menghasilkan jawaban. 2. Model hakim (GPT-4) membandingkan jawaban-jawaban tersebut (dalam format perbandingan berpasangan atau penilaian berdasarkan skala poin) dan memberikan vonis preferensi.

Penjurian otomatis menggantikan anotasi manual yang memakan waktu. Para peneliti menunjukkan bahwa penilaian GPT-4 sebagai hakim memiliki lebih dari 80% kesesuaian dengan hasil evaluasi pakar manusia, yang setara dengan tingkat kesepakatan antar manusia itu sendiri. Hal ini membuktikan keandalan metode dan kemungkinan untuk menskalakan evaluasi tanpa keterlibatan langsung manusia. Untuk meningkatkan objektivitas, potensi bias model hakim telah diidentifikasi dan diminimalkan, seperti efek position bias (preferensi terhadap jawaban pertama), verbosity bias (preferensi terhadap jawaban yang lebih panjang), dan self-enhancement bias (kelonggaran terhadap jawaban bergaya sendiri).

Hasil dan Penerapan

MT-Bench memungkinkan identifikasi perbedaan yang signifikan dalam kualitas model-model mutakhir. Dalam kategori penalaran logis, matematika, dan pemrograman, GPT-4 secara signifikan melampaui versi-versi sebelumnya (misalnya, GPT-3.5). Hal ini mengkonfirmasi bahwa model yang lebih besar lebih baik dalam mempertahankan konteks selama beberapa langkah dialog.

Untuk penggunaan praktis hasil-hasil tersebut, tim LMSYS meluncurkan leaderboard publik di mana model-model diberi peringkat berdasarkan skor MT-Bench rata-rata dan rating Elo dari Chatbot Arena. Peringkat ini diperbarui secara berkala, mencerminkan kemajuan industri. Dataset itu sendiri beserta kode untuk menjalankannya telah dirilis untuk akses publik, sehingga pengembang independen dapat menguji model mereka.

Keterbatasan dan Kritik

Meskipun telah berhasil diterapkan, MT-Bench dan pendekatan LLM-as-a-Judge memiliki sejumlah keterbatasan:

• Ketidaksempurnaan hakim. Model hakim (misalnya, GPT-4) tidak maha kuasa: ia tidak selalu mengenali kesalahan faktual atau halusinasi dalam jawaban model yang diuji.
• Kesulitan dalam mengevaluasi logika dan matematika. Hakim LLM mungkin tidak sepenuhnya dapat mengikuti penalaran yang kompleks atau memverifikasi bukti, yang berpotensi menimbulkan kesalahan dalam evaluasi.
• Bias. Meskipun telah ada upaya mitigasi, model hakim mungkin masih mempertahankan kecenderungan terhadap gaya atau format jawaban tertentu.

Aspek-aspek ini berarti bahwa dalam aplikasi yang kritis, pengawasan manusia atau metode evaluasi gabungan masih tetap diperlukan.

Pengembangan dan Perluasan

Keberhasilan MT-Bench mendorong munculnya versi-versi yang lebih dikembangkan. Pada tahun 2024, metodologi MT-Bench-101 diusulkan, yang bertujuan untuk analisis kemampuan model dalam dialog yang lebih terperinci. Para penulis membentuk taksonomi tiga tingkat dari keterampilan dan mengumpulkan dataset yang jauh lebih besar, yang memungkinkan identifikasi perbedaan halus dalam perilaku model pada berbagai tahap dialog.

Tautan

• Repositori resmi dengan data MT-Bench di GitHub

Daftar Pustaka

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.