LLM-as-a-Judge (NL)

LLM-as-a-Judge (LLM als beoordelaar) — dit is een aanpak binnen machine learning waarbij een groot taalmodel (LLM) wordt ingezet om de kwaliteit te beoordelen van tekst die door een ander kunstmatig-intelligentiemodel is gegenereerd, aan de hand van vooraf bepaalde criteria. Het idee is dat de AI zelf optreedt als 'rechter' die antwoorden beoordeelt op bepaalde parameters.

Deze methode is populair geworden sinds 2023 als praktisch alternatief voor de kostbare handmatige beoordeling van open tekstgeneratietaken. Traditionele metrics (zoals BLEU of ROUGE) zijn slecht geschikt voor vrije tekstantwoorden, en het inzetten van menselijke beoordelaars voor grootschalige taken is niet haalbaar. LLM-as-a-Judge lost dit probleem op: in plaats van een mens beoordeelt het taalmodel zelf de kwaliteit van de tekst, waarbij het het te beoordelen antwoord en een prompt-instructie met beoordelingscriteria als invoer ontvangt.

Beoordelingsmethoden met behulp van LLM

De aanpak LLM-as-a-Judge wordt in verschillende scenario's en beoordelingsvormen toegepast.

• Paarsgewijze vergelijking (pairwise comparison): Dit is de meest gangbare methode. Het beoordelingsmodel ontvangt twee antwoorden (Antwoord A, Antwoord B) op dezelfde vraag en moet bepalen welke beter is volgens de opgegeven criteria, of een gelijkspel uitroepen.
• Directe beoordeling op basis van criteria: De LLM-beoordelaar bekijkt één gegenereerd antwoord en kent er een score aan toe op een puntenschaal (bijvoorbeeld van 1 tot 10) op basis van een specifieke eigenschap (zoals 'nauwkeurigheid', 'helderheid van uitleg', 'beleefdheid').
• Beoordeling met referentie-informatie: Aan de prompt van het beoordelingsmodel wordt de originele context of het 'gouden' correcte antwoord toegevoegd, waarna het model wordt gevraagd de gegenereerde tekst te toetsen op overeenkomst — bijvoorbeeld om hallucinaties op te sporen.

Effectiviteit en vergelijkbaarheid met menselijke beoordeling

Om de kwaliteit van de aanpak LLM-as-a-Judge zelf te toetsen, worden de uitspraken ervan vergeleken met beoordelingen van menselijke experts. De meest uitgebreide analyse van de methode werd in 2023 uitgevoerd door de LMSYS-groep van UC Berkeley in het paper "Judging LLM-as-a-Judge". De auteurs vergeleken systematisch de beslissingen van het model GPT-4 (in de rol van beoordelaar) met de voorkeuren van mensen op een grote steekproef van dialoogtaken uit de benchmark MT-Bench.

De belangrijkste conclusie van het onderzoek: sterke LLM's (zoals GPT-4) in de rol van beoordelaar toonden ~80% overeenkomst met menselijke beoordelingen, wat vergelijkbaar is met het niveau van overeenstemming tussen mensen onderling. Met andere woorden: in gevallen waarin twee menselijke experts het met elkaar eens waren, nam het beoordelingsmodel GPT-4 in 80% van de gevallen dezelfde beslissing. Dit resultaat bracht de LLM-beoordeling feitelijk op het niveau van een 'menselijke' maatstaf voor consistentie en toonde de praktische bruikbaarheid ervan voor grootschalige beoordelingen aan.

Voordelen van de aanpak

De methode LLM-as-a-Judge heeft een aantal belangrijke voordelen ten opzichte van traditionele benaderingen.

• Vergelijkbaarheid met de mens: Bij een juiste instelling levert LLM-beoordeling resultaten op die dicht bij menselijke expertise liggen, waardoor het een betrouwbaar alternatief is.
• Schaalbaarheid en snelheid: Eén ingestelde LLM-beoordelaar kan duizenden antwoorden dag en nacht evalueren en levert resultaten vrijwel onmiddellijk op, wat aanzienlijk sneller en goedkoper is dan menselijke annotatie.
• Flexibiliteit en aanpasbaarheid: LLM's kunnen worden geleerd vrijwel elk aspect van tekst te beoordelen — van feitelijke nauwkeurigheid tot emotionele toon — door simpelweg de tekstuele beschrijving van het criterium in de prompt te wijzigen.
• Geen afhankelijkheid van een referentie: In tegenstelling tot metrics als ROUGE of BLEU heeft een LLM-beoordelaar geen vooraf bepaald 'correct antwoord' nodig voor vergelijking. Het kan zonder referentie werken, wat waardevol is voor open dialoogtaken.
• Interpreteerbaarheid: Het beoordelingsmodel kan worden gevraagd zijn beslissing toe te lichten in de vorm van tekst, wat meer transparantie biedt in vergelijking met de 'zwarte doos' van automatische metrics.

Beperkingen en problemen van de methode

Ondanks de successen heeft de aanpak LLM-as-a-Judge ook nadelen.

• Onvolledige betrouwbaarheid: LLM-beoordelingen zijn van hoge kwaliteit, maar niet perfect. Als de instructie onvoldoende duidelijk is of het model een onvoorziene situatie tegenkomt, kan het oordeel ervan onjuist of inconsistent zijn.
• Risico op vertekening en vooringenomenheid (bias):
  • Positie-effect: Het model kan onbewust de voorkeur geven aan het antwoord dat als eerste of laatste in de lijst staat.
  • Vertekening naar uitvoerigheid: Het model neigt ernaar een langer en gedetailleerder antwoord als beter te beschouwen, zelfs als daarin slechts informatie wordt herhaald.
  • Zelfbevoordeling (self-enhancement bias): Het beoordelingsmodel kan vaker hogere scores geven aan antwoorden die door hetzelfde model of een model uit dezelfde familie zijn gegenereerd (GPT-4 zal bijvoorbeeld antwoorden van GPT-3.5 hoger waarderen).

• Moeilijkheden bij de beoordeling van feiten en logica: Een LLM-beoordelaar beoordeelt wiskundige of logische opgaven soms onjuist, ook al is het model zelf in staat ze op te lossen. Dit gebeurt wanneer het model 'besmet' raakt door de fout in de aangeboden oplossingen en de taak niet objectief kan beoordelen.
• Privacy en gegevensbeveiliging: Het gebruik van externe API's (zoals GPT-4) voor beoordeling betekent dat vertrouwelijke teksten naar een externe aanbieder worden verstuurd, wat risico's op lekken met zich meebrengt.

Om deze problemen te beperken, passen ontwikkelaars verschillende technieken toe: randomisering van de antwoordvolgorde, kalibratie op datasets met menselijke inbreng, en het gebruik van hybride strategieën waarbij een LLM-beoordelaar wordt gecombineerd met andere methoden.

Alternatieve en hybride benaderingen

LLM-as-a-Judge wordt vaak gecombineerd met andere beoordelingsmethoden.

• Menselijke beoordeling: Blijft de 'gouden standaard' en wordt gebruikt voor kalibratie en periodieke controle van LLM-beoordelaars.
• Automatische metrics: Klassieke metrics (ROUGE, BLEU, BERTScore) zijn nog steeds nuttig voor taken met een duidelijk referentieantwoord.
• Gespecialiseerde beoordelingsmodellen: Het trainen van kleine, snelle en goedkope modellen op voorkeursdata voor routinematige beoordelingen, terwijl een krachtige LLM-beoordelaar optreedt als 'opperste arbiter' voor complexe gevallen (de aanpak trust or escalate).

Verwijzingen

• Artikel "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" van LMSYS
• Uitgebreide handleiding voor het gebruik van LLM-as-a-Judge van Evidently AI

Literatuur

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.