LLM-as-a-Judge (RO)

LLM-as-a-Judge (LLM în rolul judecătorului) — este o abordare în Machine Learning prin care un Large Language Model (LLM) este utilizat pentru a evalua calitatea textului generat de un alt model de inteligență artificială, conform unor criterii prestabilite. Ideea constă în faptul că însuși AI-ul acționează ca un „judecător", evaluând răspunsurile după anumiți parametri.

Această metodă a devenit populară începând cu 2023, ca alternativă practică la evaluarea manuală costisitoare pentru sarcinile deschise de generare a textului. Metricile tradiționale (de exemplu, BLEU sau ROUGE) sunt slab adaptate pentru răspunsuri text libere, iar implicarea evaluatorilor umani pentru sarcini la scară largă este imposibilă. LLM-as-a-Judge rezolvă această problemă: în locul unui om, calitatea textului este evaluată de însuși modelul lingvistic, care primește la intrare răspunsul verificat și un prompt-instrucțiune cu criteriile de evaluare.

Metodici de evaluare cu ajutorul LLM

Abordarea LLM-as-a-Judge se aplică în scenarii și forme de evaluare diferite.

• Comparare în perechi (pairwise comparison): Aceasta este cea mai răspândită metodă. Modelul-judecător primește două răspunsuri (Răspuns A, Răspuns B) la același interogare și trebuie să decidă care dintre ele este mai bun conform criteriilor stabilite, sau să declare egalitate.
• Evaluare directă după criterii: LLM-ul evaluator examinează un singur răspuns generat și îi atribuie un punctaj pe o scală numerică (de exemplu, de la 1 la 10) pe baza unei proprietăți concrete (de exemplu, „acuratețe", „claritate a expunerii", „politețe").
• Evaluare cu luarea în considerare a informațiilor de referință: În promptul modelului-judecător se adaugă contextul original sau răspunsul corect „de aur" și i se cere să verifice textul generat pentru conformitate, de exemplu, pentru detectarea halucinațiilor.

Eficiența și comparabilitatea cu evaluarea umană

Pentru a verifica calitatea abordării LLM-as-a-Judge în sine, verdictele sale sunt comparate cu evaluările experților umani. Cea mai amplă analiză a metodei a fost realizată de grupul LMSYS de la UC Berkeley în 2023, în lucrarea «Judging LLM-as-a-Judge». Autorii au comparat sistematic deciziile modelului GPT-4 (în rolul judecătorului) cu preferințele oamenilor pe un eșantion mare de sarcini de dialog din benchmark-ul MT-Bench.

Principala concluzie a studiului: LLM-urile puternice (de exemplu, GPT-4) în rolul de judecător au demonstrat ~80% concordanță cu evaluările umane, ceea ce este comparabil cu nivelul de acord dintre oameni înșiși. Cu alte cuvinte, în cazurile în care doi experți umani erau de acord între ei, modelul-judecător GPT-4 lua aceeași decizie în 80% din cazuri. Acest rezultat a adus practic evaluarea prin LLM la nivelul standardului „uman" din punct de vedere al consistenței și i-a demonstrat utilitatea practică pentru evaluările la scară largă.

Avantajele abordării

Metoda LLM-as-a-Judge prezintă o serie de calități importante față de abordările tradiționale.

• Comparabilitate cu omul: Atunci când este configurată corect, evaluarea prin LLM produce rezultate apropiate de expertiza umană, ceea ce o face o alternativă fiabilă.
• Scalabilitate și viteză: Un singur LLM-judecător configurat poate evalua mii de răspunsuri non-stop, furnizând rezultate aproape instantaneu, ceea ce este semnificativ mai rapid și mai ieftin decât adnotarea umană.
• Flexibilitate și configurabilitate: LLM-ul poate fi instruit să evalueze aproape orice aspect al textului — de la acuratețea factuală până la tonul emoțional — prin simpla modificare a descrierii textuale a criteriului în prompt.
• Absența dependenței de etalon: Spre deosebire de metricile de tip ROUGE sau BLEU, evaluatorul LLM nu necesită un „răspuns corect" prestabilit pentru comparație. Poate funcționa fără referință, ceea ce este valoros pentru sarcinile de dialog deschise.
• Interpretabilitate: Modelul-judecător poate fi solicitat să ofere o explicație textuală a deciziei sale, ceea ce asigură o transparență mai mare față de „cutia neagră" a metricilor automate.

Limitări și probleme ale metodei

În pofida succeselor, abordarea LLM-as-a-Judge prezintă și dezavantaje.

• Fiabilitate incompletă: Evaluările LLM sunt de înaltă calitate, dar nu sunt perfecte. Dacă instrucțiunea nu este suficient de clară sau modelul se confruntă cu un caz neprevăzut, verdictul său poate fi eronat sau inconsistent.
• Riscul de deviație și părtinire (bias):
  • Efectul de poziție: Modelul poate prefera inconștient răspunsul care se află primul sau ultimul în listă.
  • Deviația spre prolixitate: Modelul tinde să considere un răspuns mai lung și mai detaliat ca fiind mai bun, chiar dacă acesta repetă pur și simplu informațiile.
  • Auto-favorizare (self-enhancement bias): Modelul-judecător poate acorda mai frecvent punctaje mai mari răspunsurilor generate de el însuși sau de un model din aceeași familie (de exemplu, GPT-4 va evalua mai favorabil răspunsurile GPT-3.5).

• Dificultăți la evaluarea faptelor și a logicii: LLM-ul judecător evaluează uneori incorect sarcinile matematice sau logice, chiar dacă este capabil să le rezolve singur. Aceasta se întâmplă atunci când modelul este „contaminat" de eroarea din soluțiile propuse și nu percepe sarcina în mod obiectiv.
• Confidențialitatea și securitatea datelor: Utilizarea API-urilor terților (de exemplu, GPT-4) pentru evaluare înseamnă că textele confidențiale sunt trimise unui furnizor extern, ceea ce implică riscuri de scurgere a informațiilor.

Pentru atenuarea acestor probleme, dezvoltatorii aplică diverse tehnici: randomizarea ordinii răspunsurilor, calibrarea pe seturi cu participarea oamenilor, precum și utilizarea unor strategii hibride, în care LLM-judecătorul este aplicat în combinație cu alte metode.

Abordări alternative și hibride

LLM-as-a-Judge este adesea utilizat în combinație cu alte metode de evaluare.

• Evaluarea de către om: Rămâne „standardul de aur" și este utilizată pentru calibrarea și verificarea periodică a LLM-judecătorilor.
• Metrice automate: Metricile clasice (ROUGE, BLEU, BERTScore) rămân utile pentru sarcinile cu un răspuns de referință clar.
• Modele-evaluatoare specializate: Antrenarea unor modele mici, rapide și ieftine pe date de preferințe pentru efectuarea evaluărilor de rutină, în timp ce LLM-judecătorul puternic acționează ca „arbitru suprem" pentru cazurile complexe (abordarea trust or escalate).

Referințe

• Articolul «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena» de la LMSYS
• Ghid detaliat de utilizare a LLM-as-a-Judge de la Evidently AI

Bibliografie

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.