LLM-as-a-Judge (ID)

LLM-as-a-Judge (LLM sebagai juri) — adalah pendekatan dalam machine learning di mana large language model (LLM) digunakan untuk menilai kualitas teks yang dihasilkan oleh model kecerdasan buatan lain, berdasarkan kriteria yang telah ditentukan. Gagasannya adalah agar AI itu sendiri bertindak sebagai "juri" yang mengevaluasi jawaban berdasarkan parameter tertentu.

Metode ini mulai populer sejak tahun 2023 sebagai alternatif praktis dari evaluasi manual yang mahal untuk tugas-tugas generasi teks terbuka. Metrik tradisional (misalnya BLEU atau ROUGE) kurang cocok untuk jawaban teks bebas, sedangkan melibatkan evaluator manusia untuk tugas berskala besar tidaklah memungkinkan. LLM-as-a-Judge mengatasi masalah ini: alih-alih manusia, kualitas teks dinilai oleh language model itu sendiri, yang menerima jawaban yang diperiksa beserta prompt instruksi berisi kriteria penilaian.

Metodologi Evaluasi dengan LLM

Pendekatan LLM-as-a-Judge diterapkan dalam berbagai skenario dan bentuk evaluasi.

• Perbandingan berpasangan (pairwise comparison): Ini adalah metode yang paling umum. Model juri menerima dua jawaban (Jawaban A, Jawaban B) untuk satu permintaan yang sama dan harus memutuskan mana yang lebih baik berdasarkan kriteria yang ditetapkan, atau menyatakan hasil seri.
• Penilaian langsung berdasarkan kriteria: Evaluator LLM meninjau satu jawaban yang dihasilkan dan memberikan nilai pada skala poin (misalnya dari 1 hingga 10) berdasarkan properti tertentu (misalnya "akurasi", "kejelasan penyampaian", "kesopanan").
• Evaluasi dengan mempertimbangkan informasi referensi: Ke dalam prompt model juri ditambahkan konteks asal atau jawaban benar "emas", dan model diminta memeriksa kesesuaian teks yang dihasilkan, misalnya untuk mengidentifikasi halusinasi.

Efektivitas dan Kesesuaian dengan Evaluasi Manusia

Untuk menguji kualitas pendekatan LLM-as-a-Judge itu sendiri, verdiknya dibandingkan dengan penilaian para ahli manusia. Analisis metode yang paling komprehensif dilakukan oleh kelompok LMSYS dari UC Berkeley pada tahun 2023 dalam karya "Judging LLM-as-a-Judge". Para penulis secara sistematis membandingkan keputusan model GPT-4 (sebagai juri) dengan preferensi manusia pada sampel besar tugas-tugas percakapan dari benchmark MT-Bench.

Kesimpulan utama penelitian: LLM yang kuat (misalnya GPT-4) dalam peran juri menunjukkan ~80% kesesuaian dengan penilaian manusia, yang sebanding dengan tingkat kesepakatan di antara manusia itu sendiri. Dengan kata lain, dalam kasus di mana dua pakar manusia saling sepakat satu sama lain, model juri GPT-4 mengambil keputusan yang sama dalam 80% kasus. Hasil ini secara efektif menempatkan evaluasi LLM pada standar "manusiawi" dalam hal konsistensi dan menunjukkan kesesuaiannya secara praktis untuk evaluasi berskala besar.

Keunggulan Pendekatan

Metode LLM-as-a-Judge memiliki sejumlah kelebihan penting dibandingkan pendekatan tradisional.

• Kesesuaian dengan manusia: Dengan konfigurasi yang tepat, evaluasi LLM menghasilkan hasil yang mendekati keahlian manusia, menjadikannya alternatif yang andal.
• Skalabilitas dan kecepatan: Satu model juri LLM yang telah dikonfigurasi mampu mengevaluasi ribuan jawaban sepanjang waktu, memberikan hasil hampir secara instan, yang jauh lebih cepat dan lebih murah dibandingkan anotasi manusia.
• Fleksibilitas dan kemampuan kustomisasi: LLM dapat dilatih untuk mengevaluasi hampir semua aspek teks — mulai dari akurasi faktual hingga nuansa emosional — hanya dengan mengubah deskripsi teks kriteria dalam prompt.
• Ketiadaan ketergantungan pada tolok ukur: Berbeda dengan metrik seperti ROUGE atau BLEU, evaluator LLM tidak memerlukan "jawaban benar" yang telah ditentukan sebelumnya untuk perbandingan. Ia dapat bekerja tanpa referensi, yang bernilai untuk tugas percakapan terbuka.
• Keterbacaan: Penjelasan atas keputusan model juri dapat diminta dalam bentuk teks, yang memberikan transparansi lebih besar dibandingkan "kotak hitam" metrik otomatis.

Keterbatasan dan Masalah Metode

Terlepas dari keberhasilannya, pendekatan LLM-as-a-Judge juga memiliki kekurangan.

• Keandalan yang tidak sempurna: Penilaian LLM berkualitas tinggi, tetapi tidak sempurna. Jika instruksi tidak cukup jelas atau model menghadapi kasus yang tidak diperhitungkan, verdiknya bisa keliru atau tidak konsisten.
• Risiko penyimpangan dan bias (bias):
  • Efek posisi: Model dapat secara tidak sadar lebih memilih jawaban yang berada di posisi pertama atau terakhir dalam daftar.
  • Penyimpangan terhadap verbositas: Model cenderung menganggap jawaban yang lebih panjang dan lebih rinci sebagai yang lebih baik, meskipun hanya mengulang informasi yang sama.
  • Self-enhancement bias (self-enhancement bias): Model juri mungkin lebih sering memberikan nilai lebih tinggi pada jawaban yang dihasilkan oleh dirinya sendiri atau model dari keluarga yang sama (misalnya, GPT-4 akan memberi nilai lebih tinggi pada jawaban GPT-3.5).

• Kesulitan dalam mengevaluasi fakta dan logika: Model juri LLM terkadang salah mengevaluasi soal matematika atau logika, bahkan jika ia sendiri mampu menyelesaikannya. Ini terjadi ketika model "terinfeksi" oleh kesalahan dari solusi yang diberikan kepadanya dan tidak menilai tugas secara objektif.
• Privasi dan keamanan data: Penggunaan API pihak ketiga (misalnya GPT-4) untuk evaluasi berarti teks-teks rahasia dikirim ke penyedia eksternal, yang membawa risiko kebocoran.

Untuk memitigasi masalah-masalah ini, para pengembang menerapkan berbagai teknik: pengacakan urutan jawaban, kalibrasi pada kumpulan data yang melibatkan manusia, serta penggunaan strategi hibrida di mana model juri LLM diterapkan bersama metode-metode lain.

Pendekatan Alternatif dan Hibrida

LLM-as-a-Judge sering diterapkan bersamaan dengan metode evaluasi lainnya.

• Evaluasi oleh manusia: Tetap menjadi "standar emas" dan digunakan untuk kalibrasi serta pemeriksaan berkala terhadap model juri LLM.
• Metrik otomatis: Metrik klasik (ROUGE, BLEU, BERTScore) tetap berguna untuk tugas-tugas dengan jawaban referensi yang jelas.
• Model evaluator terspecialisasi: Pelatihan model kecil, cepat, dan murah pada data preferensi untuk melakukan evaluasi rutin, sementara model juri LLM yang kuat berperan sebagai "arbiter tertinggi" untuk kasus-kasus yang kompleks (pendekatan trust or escalate).

Tautan

• Artikel "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" dari LMSYS
• Panduan lengkap penggunaan LLM-as-a-Judge dari Evidently AI

Literatur

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.