LLM-as-a-Judge (CS)

LLM-as-a-Judge (LLM v roli soudce) — jedná se o přístup ve strojovém učení, při němž velký jazykový model (LLM) slouží k hodnocení kvality textu vygenerovaného jiným modelem umělé inteligence podle zadaných kritérií. Podstatou je, aby samotná AI vystoupila v roli „soudce", jenž hodnotí odpovědi podle určitých parametrů.

Tato metoda se stala populární od roku 2023 jako praktická alternativa k nákladnému ručnímu hodnocení pro otevřené úlohy generování textu. Tradiční metriky (například BLEU nebo ROUGE) se špatně hodí pro volné textové odpovědi a zapojení lidských hodnotitelů do rozsáhlých úloh není možné. LLM-as-a-Judge tento problém řeší: namísto člověka hodnotí kvalitu textu samotný jazykový model, který na vstupu dostane kontrolovanou odpověď a prompt s instrukcemi obsahující hodnotící kritéria.

Metodiky hodnocení pomocí LLM

Přístup LLM-as-a-Judge se uplatňuje v různých scénářích a formách hodnocení.

• Párové porovnání (pairwise comparison): Jedná se o nejrozšířenější metodu. Model-soudce obdrží dvě odpovědi (Odpověď A, Odpověď B) na stejný dotaz a musí rozhodnout, která z nich je lepší podle zadaných kritérií, nebo vyhlásit remízu.
• Přímé hodnocení podle kritérií: LLM-hodnotitel posoudí jednu vygenerovanou odpověď a přidělí jí skóre na bodové škále (například od 1 do 10) na základě konkrétní vlastnosti (například „přesnost", „srozumitelnost výkladu", „zdvořilost").
• Hodnocení s využitím referenčních informací: Do promptu modelu-soudce se přidá původní kontext nebo „zlatá" správná odpověď a model je požádán, aby zkontroloval vygenerovaný text na shodu, například za účelem odhalení halucinací.

Efektivita a srovnatelnost s hodnocením člověka

Pro ověření kvality samotného přístupu LLM-as-a-Judge se verdikty modelu porovnávají s hodnoceními lidských expertů. Nejrozsáhlejší analýzu metody provedla skupina LMSYS z UC Berkeley v roce 2023 v práci „Judging LLM-as-a-Judge". Autoři systematicky porovnali rozhodnutí modelu GPT-4 (v roli soudce) s preferencemi lidí na rozsáhlém vzorku dialogových úloh z benchmarku MT-Bench.

Hlavní závěr výzkumu: silné LLM (například GPT-4) v roli soudce vykazovaly ~80% shodu s lidskými hodnoceními, což je srovnatelné s mírou shody mezi samotnými lidmi. Jinými slovy, v případech, kdy se dva lidští experti navzájem shodli, přijal model-soudce GPT-4 stejné rozhodnutí v 80 % případů. Tento výsledek prakticky posunul LLM-hodnocení na úroveň „lidského" standardu z hlediska konzistence a prokázal jeho praktickou použitelnost pro rozsáhlá hodnocení.

Výhody přístupu

Metoda LLM-as-a-Judge disponuje řadou důležitých předností v porovnání s tradičními přístupy.

• Srovnatelnost s člověkem: Při správném nastavení přináší LLM-hodnocení výsledky blízké lidské expertize, což z něj činí spolehlivou alternativu.
• Škálovatelnost a rychlost: Jeden nakonfigurovaný LLM-soudce je schopen hodnotit tisíce odpovědí nepřetržitě, přičemž výsledky poskytuje téměř okamžitě, což je výrazně rychlejší a levnější než ruční anotace.
• Flexibilita a přizpůsobitelnost: LLM lze naučit hodnotit prakticky jakýkoli aspekt textu — od faktické přesnosti po emocionální zabarvení — pouhým změněním textového popisu kritéria v promptu.
• Nezávislost na referenci: Na rozdíl od metrik typu ROUGE nebo BLEU nepotřebuje LLM-hodnotitel předem zadanou „správnou odpověď" pro porovnání. Může pracovat bez reference, což je cenné pro otevřené dialogové úlohy.
• Interpretovatelnost: Od modelu-soudce lze vyžádat vysvětlení jeho rozhodnutí v textové podobě, což zajišťuje větší transparentnost ve srovnání s „černou skříňkou" automatických metrik.

Omezení a problémy metody

Navzdory úspěchům má přístup LLM-as-a-Judge i své nevýhody.

• Neúplná spolehlivost: Hodnocení LLM jsou vysoce kvalitní, avšak ne dokonalá. Pokud instrukce není dostatečně jasná nebo se model setká s neošetřeným případem, může být jeho verdikt chybný nebo nekonzistentní.
• Riziko zkreslení a předpojatosti (bias):
  • Poziční efekt: Model může nevědomky preferovat odpověď, která stojí na prvním nebo posledním místě v seznamu.
  • Zkreslení ve prospěch rozsáhlosti: Model má tendenci považovat delší a podrobnější odpověď za lepší, i když v ní jsou informace pouze opakovány.
  • Sebepreferenční zkreslení (self-enhancement bias): Model-soudce může častěji přiznávat vyšší hodnocení těm odpovědím, které vygeneroval on sám nebo model ze stejné rodiny (například GPT-4 bude výše hodnotit odpovědi GPT-3.5).

• Obtíže při hodnocení faktů a logiky: LLM-soudce někdy nesprávně posuzuje matematické nebo logické úlohy, i když je sám schopen je vyřešit. Děje se tak v případech, kdy se model „nakazí" chybou z předložených řešení a nevnímá úlohu objektivně.
• Soukromí a bezpečnost dat: Používání externích API (například GPT-4) pro hodnocení znamená, že důvěrné texty jsou odesílány externímu poskytovateli, což přináší rizika úniku.

K zmírnění těchto problémů využívají vývojáři různé techniky: randomizaci pořadí odpovědí, kalibraci na sadách s účastí lidí a také používání hybridních strategií, kde je LLM-soudce kombinován s jinými metodami.

Alternativní a hybridní přístupy

LLM-as-a-Judge se často používá v kombinaci s jinými metodami hodnocení.

• Hodnocení člověkem: Zůstává „zlatým standardem" a slouží ke kalibraci a periodické kontrole LLM-soudců.
• Automatické metriky: Klasické metriky (ROUGE, BLEU, BERTScore) jsou nadále užitečné pro úlohy s jasně definovanou referenční odpovědí.
• Specializované modely-hodnotitelé: Trénování malých, rychlých a levných modelů na datech preferencí pro provádění rutinních hodnocení, zatímco výkonný LLM-soudce vystupuje v roli „nejvyššího arbitra" pro složité případy (přístup trust or escalate).

Odkazy

• Článek „Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" od LMSYS
• Podrobný průvodce používáním LLM-as-a-Judge od Evidently AI

Literatura

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.