LLM-as-a-Judge (VI)

LLM-as-a-Judge (LLM với vai trò giám khảo) — đây là một phương pháp trong machine learning, trong đó một mô hình ngôn ngữ lớn (LLM) được sử dụng để đánh giá chất lượng văn bản do một mô hình trí tuệ nhân tạo khác tạo ra, dựa trên các tiêu chí đã định sẵn. Ý tưởng là để chính AI đóng vai trò "giám khảo", đánh giá các câu trả lời theo những tham số nhất định.

Phương pháp này trở nên phổ biến từ năm 2023 như một giải pháp thay thế thực tiễn cho việc đánh giá thủ công tốn kém đối với các tác vụ sinh văn bản mở. Các chỉ số truyền thống (ví dụ như BLEU hay ROUGE) không phù hợp cho các câu trả lời văn bản tự do, còn việc huy động người đánh giá cho các tác vụ quy mô lớn là điều không thể thực hiện. LLM-as-a-Judge giải quyết vấn đề này: thay vì con người, chính mô hình ngôn ngữ sẽ đánh giá chất lượng văn bản, nhận đầu vào là câu trả lời cần kiểm tra và một prompt hướng dẫn kèm theo các tiêu chí đánh giá.

Các phương pháp đánh giá bằng LLM

Phương pháp LLM-as-a-Judge được áp dụng trong nhiều tình huống và hình thức đánh giá khác nhau.

• So sánh theo cặp (pairwise comparison): Đây là phương pháp phổ biến nhất. Mô hình giám khảo nhận hai câu trả lời (Câu trả lời A, Câu trả lời B) cho cùng một yêu cầu và phải quyết định câu nào tốt hơn theo các tiêu chí đã cho, hoặc tuyên bố hòa.
• Đánh giá trực tiếp theo tiêu chí: LLM đánh giá xem xét một câu trả lời đã được tạo ra và gán điểm cho nó theo thang điểm (ví dụ từ 1 đến 10) dựa trên một thuộc tính cụ thể (ví dụ: "độ chính xác", "sự rõ ràng trong diễn đạt", "tính lịch sự").
• Đánh giá có tham chiếu thông tin: Trong prompt của mô hình giám khảo, người ta thêm vào ngữ cảnh gốc hoặc câu trả lời đúng "chuẩn vàng" và yêu cầu kiểm tra văn bản đã tạo ra về mức độ phù hợp, chẳng hạn để phát hiện các ảo giác (hallucination).

Hiệu quả và khả năng so sánh với đánh giá của con người

Để kiểm tra chất lượng của bản thân phương pháp LLM-as-a-Judge, các phán quyết của nó được so sánh với đánh giá của các chuyên gia người. Phân tích quy mô lớn nhất về phương pháp này được thực hiện bởi nhóm LMSYS từ UC Berkeley vào năm 2023 trong công trình "Judging LLM-as-a-Judge". Các tác giả đã so sánh một cách có hệ thống các quyết định của mô hình GPT-4 (trong vai trò giám khảo) với sở thích của con người trên một mẫu lớn các tác vụ hội thoại từ benchmark MT-Bench.

Kết luận chính của nghiên cứu: các LLM mạnh (ví dụ GPT-4) khi đóng vai giám khảo cho thấy ~80% độ trùng khớp với đánh giá của con người, tương đương với mức độ đồng thuận giữa chính những người đánh giá với nhau. Nói cách khác, trong những trường hợp hai chuyên gia người đồng ý với nhau, mô hình giám khảo GPT-4 đưa ra quyết định tương tự trong 80% trường hợp. Kết quả này thực tế đã đưa đánh giá bằng LLM lên ngang tầm tiêu chuẩn "con người" về tính nhất quán và chứng minh tính khả dụng thực tiễn của nó cho các đánh giá quy mô lớn.

Ưu điểm của phương pháp

Phương pháp LLM-as-a-Judge có một số ưu điểm quan trọng so với các cách tiếp cận truyền thống.

• Khả năng so sánh với con người: Khi được cấu hình đúng cách, đánh giá bằng LLM cho kết quả gần với chuyên môn của con người, khiến nó trở thành một giải pháp thay thế đáng tin cậy.
• Khả năng mở rộng và tốc độ: Một LLM giám khảo được cấu hình tốt có thể đánh giá hàng nghìn câu trả lời mỗi ngày liên tục, cho ra kết quả gần như tức thì, nhanh hơn và rẻ hơn đáng kể so với việc gán nhãn thủ công.
• Tính linh hoạt và khả năng tùy chỉnh: LLM có thể được hướng dẫn để đánh giá hầu hết mọi khía cạnh của văn bản — từ độ chính xác về mặt thực tế đến sắc thái cảm xúc — chỉ bằng cách thay đổi mô tả tiêu chí bằng văn bản trong prompt.
• Không phụ thuộc vào đáp án tham chiếu: Khác với các chỉ số như ROUGE hay BLEU, LLM đánh giá không cần một "câu trả lời đúng" được định nghĩa trước để so sánh. Nó có thể hoạt động mà không cần tham chiếu, điều này có giá trị cho các tác vụ hội thoại mở.
• Khả năng giải thích: Có thể yêu cầu mô hình giám khảo giải thích quyết định của nó dưới dạng văn bản, đảm bảo tính minh bạch cao hơn so với "hộp đen" của các chỉ số tự động.

Hạn chế và vấn đề của phương pháp

Mặc dù có những thành công, phương pháp LLM-as-a-Judge vẫn có những nhược điểm.

• Độ tin cậy chưa hoàn toàn: Đánh giá của LLM có chất lượng cao nhưng không hoàn hảo. Nếu hướng dẫn không đủ rõ ràng hoặc mô hình gặp phải trường hợp chưa được xem xét, phán quyết của nó có thể sai hoặc không nhất quán.
• Rủi ro lệch lạc và thiên kiến (bias):
  • Hiệu ứng vị trí: Mô hình có thể vô thức ưa thích câu trả lời đứng đầu tiên hoặc cuối cùng trong danh sách.
  • Thiên lệch về độ dài: Mô hình có xu hướng coi câu trả lời dài hơn và chi tiết hơn là tốt hơn, ngay cả khi nó chỉ lặp lại thông tin.
  • Tự thiên vị (self-enhancement bias): Mô hình giám khảo có thể thường xuyên đánh giá cao hơn các câu trả lời được tạo ra bởi chính nó hoặc bởi mô hình cùng dòng (ví dụ: GPT-4 sẽ đánh giá cao hơn các câu trả lời của GPT-3.5).

• Khó khăn trong đánh giá sự thật và logic: LLM giám khảo đôi khi đánh giá sai các bài toán toán học hoặc logic, ngay cả khi bản thân nó có thể giải được. Điều này xảy ra khi mô hình bị "lây nhiễm" bởi lỗi từ các lời giải được đưa ra và không đánh giá bài toán một cách khách quan.
• Quyền riêng tư và bảo mật dữ liệu: Việc sử dụng các API của bên thứ ba (ví dụ GPT-4) để đánh giá có nghĩa là các văn bản bảo mật được gửi đến nhà cung cấp bên ngoài, điều này mang lại rủi ro rò rỉ.

Để giảm thiểu các vấn đề này, các nhà phát triển sử dụng nhiều kỹ thuật khác nhau: ngẫu nhiên hóa thứ tự câu trả lời, hiệu chỉnh trên các tập dữ liệu có sự tham gia của con người, cũng như sử dụng các chiến lược kết hợp, trong đó LLM giám khảo được áp dụng kết hợp với các phương pháp khác.

Các phương pháp thay thế và kết hợp

LLM-as-a-Judge thường được áp dụng kết hợp với các phương pháp đánh giá khác.

• Đánh giá bởi con người: Vẫn là "tiêu chuẩn vàng" và được sử dụng để hiệu chỉnh và kiểm tra định kỳ các LLM giám khảo.
• Các chỉ số tự động: Các chỉ số cổ điển (ROUGE, BLEU, BERTScore) vẫn hữu ích cho các tác vụ có câu trả lời tham chiếu rõ ràng.
• Các mô hình đánh giá chuyên biệt: Huấn luyện các mô hình nhỏ, nhanh và rẻ trên dữ liệu sở thích để thực hiện các đánh giá thường ngày, trong khi LLM giám khảo mạnh mẽ đóng vai trò "trọng tài tối cao" cho các trường hợp phức tạp (phương pháp trust or escalate).

Liên kết

• Bài viết "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" của LMSYS
• Hướng dẫn chi tiết về cách sử dụng LLM-as-a-Judge từ Evidently AI

Tài liệu tham khảo

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.