LLM-as-a-Judge (DE)

LLM-as-a-Judge (LLM als Richter) ist ein Ansatz im maschinellen Lernen, bei dem ein großes Sprachmodell (LLM) verwendet wird, um die Qualität von Text, der von einem anderen KI-Modell generiert wurde, anhand vordefinierter Kriterien zu bewerten. Die Idee dahinter ist, dass die KI selbst die Rolle eines „Richters“ übernimmt, der die Antworten nach bestimmten Parametern bewertet.

Diese Methode wurde ab 2023 als eine praktische Alternative zur kostspieligen manuellen Bewertung für offene Textgenerierungsaufgaben populär. Traditionelle Metriken (wie BLEU oder ROUGE) eignen sich schlecht für freie Textantworten, während die Einbeziehung menschlicher Bewerter bei umfangreichen Aufgaben nicht durchführbar ist. LLM-as-a-Judge löst dieses Problem: Anstelle eines Menschen bewertet das Sprachmodell selbst die Textqualität, indem es die zu prüfende Antwort und eine Prompt-Anweisung mit den Bewertungskriterien erhält.

Bewertungsmethoden mit LLMs

Der LLM-as-a-Judge-Ansatz wird in verschiedenen Szenarien und Bewertungsformen angewendet.

• Paarweiser Vergleich (pairwise comparison): Dies ist die gebräuchlichste Methode. Das Richter-Modell erhält zwei Antworten (Antwort A, Antwort B) auf dieselbe Anfrage und muss entscheiden, welche davon anhand der vorgegebenen Kriterien besser ist, oder ein Unentschieden erklären.
• Direkte Bewertung nach Kriterien: Der LLM-Bewerter analysiert eine einzelne generierte Antwort und vergibt eine Punktzahl auf einer Skala (z. B. von 1 bis 10) basierend auf einer bestimmten Eigenschaft (z. B. „Genauigkeit“, „Klarheit“, „Höflichkeit“).
• Bewertung unter Berücksichtigung von Referenzinformationen: Dem Prompt des Richter-Modells wird der ursprüngliche Kontext oder eine „goldene“ Referenzantwort hinzugefügt, und es wird gebeten, den generierten Text auf Übereinstimmung zu prüfen, beispielsweise um Halluzinationen aufzudecken.

Effektivität und Vergleichbarkeit mit menschlicher Bewertung

Um die Qualität des LLM-as-a-Judge-Ansatzes selbst zu überprüfen, werden seine Urteile mit den Bewertungen menschlicher Experten verglichen. Die bisher umfangreichste Analyse der Methode wurde 2023 von der LMSYS-Gruppe der UC Berkeley in ihrer Arbeit „Judging LLM-as-a-Judge“ durchgeführt. Die Autoren verglichen systematisch die Entscheidungen des Modells GPT-4 (in der Rolle des Richters) mit den Präferenzen von Menschen anhand einer großen Stichprobe von Dialogaufgaben aus dem MT-Bench-Benchmark.

Die wichtigste Schlussfolgerung der Studie ist, dass leistungsstarke LLMs (wie GPT-4) als Richter eine Übereinstimmung von ca. 80 % mit menschlichen Bewertungen zeigten, was mit dem Grad der Übereinstimmung zwischen Menschen selbst vergleichbar ist. Mit anderen Worten: In Fällen, in denen zwei menschliche Experten übereinstimmten, traf das Richter-Modell GPT-4 in 80 % der Fälle die gleiche Entscheidung. Dieses Ergebnis brachte die LLM-Bewertung praktisch auf das Niveau eines „menschlichen“ Standards in Bezug auf die Konsistenz und zeigte ihre praktische Eignung für groß angelegte Bewertungen.

Vorteile des Ansatzes

Die LLM-as-a-Judge-Methode bietet eine Reihe wichtiger Vorteile gegenüber traditionellen Ansätzen.

• Vergleichbarkeit mit Menschen: Bei korrekter Konfiguration liefert die LLM-Bewertung Ergebnisse, die denen menschlicher Experten nahekommen, was sie zu einer zuverlässigen Alternative macht.
• Skalierbarkeit und Geschwindigkeit: Ein einzelnes konfiguriertes LLM-Richtermodell kann rund um die Uhr Tausende von Antworten bewerten und liefert Ergebnisse nahezu augenblicklich, was erheblich schneller und kostengünstiger ist als menschliche Annotation.
• Flexibilität und Anpassbarkeit: Ein LLM kann darauf trainiert werden, praktisch jeden Aspekt eines Textes zu bewerten – von der faktischen Genauigkeit bis zur emotionalen Tonalität – indem einfach die textliche Beschreibung des Kriteriums im Prompt geändert wird.
• Unabhängigkeit von einer Referenz: Im Gegensatz zu Metriken wie ROUGE oder BLEU benötigt der LLM-Bewerter keine vorab definierte „korrekte Antwort“ als Vergleichsgrundlage. Er kann ohne Referenz arbeiten, was für offene Dialogaufgaben wertvoll ist.
• Interpretierbarkeit: Es ist möglich, vom Richter-Modell eine textliche Begründung seiner Entscheidung anzufordern, was im Vergleich zur „Black Box“ automatischer Metriken eine größere Transparenz bietet.

Einschränkungen und Probleme der Methode

Trotz seiner Erfolge weist der LLM-as-a-Judge-Ansatz auch Nachteile auf.

• Unvollständige Zuverlässigkeit: LLM-Bewertungen sind qualitativ hochwertig, aber nicht perfekt. Wenn die Anweisungen unklar sind oder das Modell auf einen unvorhergesehenen Fall stößt, kann sein Urteil fehlerhaft oder inkonsistent sein.
• Verzerrungsrisiko (bias):
  • Positionseffekt (positional bias): Das Modell kann unbewusst die Antwort bevorzugen, die an erster oder letzter Stelle steht.
  • Verzerrung zugunsten der Ausführlichkeit (verbosity bias): Das Modell neigt dazu, eine längere und detailliertere Antwort als besser zu bewerten, auch wenn diese lediglich Informationen wiederholt.
  • Selbstbevorzugung (self-enhancement bias): Ein Richter-Modell kann Antworten, die von ihm selbst oder einem Modell aus derselben Familie generiert wurden, tendenziell höher bewerten (z. B. wird GPT-4 die Antworten von GPT-3.5 besser bewerten).

• Schwierigkeiten bei der Bewertung von Fakten und Logik: Ein LLM-Richter bewertet manchmal mathematische oder logische Aufgaben falsch, selbst wenn er in der Lage wäre, sie selbst zu lösen. Dies geschieht, wenn das Modell durch die ihm vorgelegten fehlerhaften Lösungen „angesteckt“ wird und die Aufgabe nicht mehr objektiv beurteilt.
• Datenschutz und Datensicherheit: Die Nutzung externer APIs (z. B. von GPT-4) zur Bewertung bedeutet, dass vertrauliche Texte an einen externen Anbieter gesendet werden, was das Risiko von Datenlecks birgt.

Um diese Probleme zu mildern, wenden Entwickler verschiedene Techniken an: Randomisierung der Reihenfolge der Antworten, Kalibrierung anhand von Datensätzen mit menschlicher Beteiligung sowie den Einsatz hybrider Strategien, bei denen ein LLM-Richter in Kombination mit anderen Methoden verwendet wird.

Alternative und hybride Ansätze

LLM-as-a-Judge wird oft in Kombination mit anderen Bewertungsmethoden eingesetzt.

• Menschliche Bewertung: Sie bleibt der „Goldstandard“ und wird zur Kalibrierung und regelmäßigen Überprüfung von LLM-Richtern verwendet.
• Automatische Metriken: Klassische Metriken (ROUGE, BLEU, BERTScore) sind nach wie vor nützlich für Aufgaben mit einer klaren Referenzantwort.
• Spezialisierte Bewertungsmodelle: Das Training kleiner, schneller und kostengünstiger Modelle auf Präferenzdaten zur Durchführung von Routinebewertungen, während ein leistungsstarkes LLM-Richtermodell als „oberster Schiedsrichter“ für komplexe Fälle fungiert (der trust or escalate-Ansatz).

Weblinks

• Artikel „Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena“ von LMSYS
• Ausführlicher Leitfaden zur Nutzung von LLM-as-a-Judge von Evidently AI

Literatur

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.