LLM-as-a-Judge (PL)

LLM-as-a-Judge (LLM w roli sędziego) — to podejście w uczeniu maszynowym, w którym duży model językowy (LLM) jest używany do oceny jakości tekstu wygenerowanego przez inny model sztucznej inteligencji, według zadanych kryteriów. Idea polega na tym, aby sam AI wystąpił w roli „sędziego" oceniającego odpowiedzi według określonych parametrów.

Metoda ta zyskała popularność od 2023 roku jako praktyczna alternatywa dla kosztownej ręcznej oceny w przypadku otwartych zadań generowania tekstu. Tradycyjne metryki (np. BLEU lub ROUGE) słabo nadają się do swobodnych odpowiedzi tekstowych, a angażowanie ludzkich oceniających do zadań na dużą skalę jest niemożliwe. LLM-as-a-Judge rozwiązuje ten problem: zamiast człowieka jakość tekstu ocenia sam model językowy, otrzymując na wejściu sprawdzaną odpowiedź oraz instrukcję prompt z kryteriami oceny.

Metodyki oceny za pomocą LLM

Podejście LLM-as-a-Judge stosowane jest w różnych scenariuszach i formach oceny.

• Porównanie parami (pairwise comparison): To najpowszechniejsza metoda. Model-sędzia otrzymuje dwie odpowiedzi (Odpowiedź A, Odpowiedź B) na to samo zapytanie i musi zdecydować, która z nich jest lepsza według zadanych kryteriów, lub ogłosić remis.
• Bezpośrednia ocena według kryteriów: Oceniający LLM analizuje jedną wygenerowaną odpowiedź i przyznaje jej ocenę w skali punktowej (np. od 1 do 10) na podstawie konkretnej właściwości (np. „dokładność", „jasność wywodu", „uprzejmość").
• Ocena z uwzględnieniem informacji referencyjnych: Do promptu modelu-sędziego dodawany jest oryginalny kontekst lub „złota" prawidłowa odpowiedź, a model jest proszony o sprawdzenie wygenerowanego tekstu pod kątem zgodności, np. w celu wykrycia halucynacji.

Skuteczność i porównywalność z oceną człowieka

W celu weryfikacji jakości samego podejścia LLM-as-a-Judge jego werdykty porównuje się z ocenami ekspertów-ludzi. Najbardziej zakrojona analiza metody została przeprowadzona przez grupę LMSYS z UC Berkeley w 2023 roku w pracy „Judging LLM-as-a-Judge". Autorzy systematycznie porównali decyzje modelu GPT-4 (w roli sędziego) z preferencjami ludzi na dużej próbce zadań dialogowych z benchmarku MT-Bench.

Główny wniosek badania: silne LLM (np. GPT-4) w roli sędziego wykazały ~80% zgodności z ocenami ludzkimi, co jest porównywalne z poziomem zgodności między samymi ludźmi. Innymi słowy, w przypadkach, gdy dwoje ekspertów-ludzi zgadzało się ze sobą, model-sędzia GPT-4 podejmował taką samą decyzję w 80% przypadków. Wynik ten praktycznie wyniósł ocenę LLM na poziom „ludzkiego" standardu pod względem spójności i zademonstrował jej praktyczną przydatność do ocen na dużą skalę.

Zalety podejścia

Metoda LLM-as-a-Judge posiada szereg istotnych zalet w porównaniu z tradycyjnymi podejściami.

• Porównywalność z człowiekiem: Przy odpowiedniej konfiguracji ocena LLM daje wyniki zbliżone do ekspertyzy ludzkiej, co czyni ją wiarygodną alternatywą.
• Skalowalność i szybkość: Jeden skonfigurowany sędzia-LLM jest w stanie oceniać tysiące odpowiedzi przez całą dobę, dostarczając wyniki niemal natychmiast, co jest znacznie szybsze i tańsze niż ludzkie etykietowanie.
• Elastyczność i konfigurowalność: LLM można nauczyć oceniania praktycznie każdego aspektu tekstu — od dokładności faktograficznej po zabarwienie emocjonalne — po prostu zmieniając tekstowy opis kryterium w prompcie.
• Brak zależności od wzorca: W przeciwieństwie do metryk typu ROUGE lub BLEU, oceniający LLM nie wymaga z góry zadanej „prawidłowej odpowiedzi" do porównania. Może działać bez referencji, co jest cenne w przypadku otwartych zadań dialogowych.
• Interpretowalność: Można poprosić model-sędziego o wyjaśnienie jego decyzji w formie tekstu, co zapewnia większą przejrzystość w porównaniu z „czarną skrzynką" automatycznych metryk.

Ograniczenia i problemy metody

Pomimo sukcesów, podejście LLM-as-a-Judge posiada również wady.

• Niepełna niezawodność: Oceny LLM są wysokiej jakości, lecz nie idealne. Jeśli instrukcja jest niewystarczająco jasna lub model napotyka nieuwzględniony przypadek, jego werdykt może być błędny lub niespójny.
• Ryzyko przesunięcia i stronniczości (bias):
  • Efekt pozycji: Model może nieświadomie preferować odpowiedź znajdującą się na pierwszym lub ostatnim miejscu na liście.
  • Przesunięcie ku wielosłowności: Model ma tendencję do uznawania dłuższej i bardziej szczegółowej odpowiedzi za lepszą, nawet jeśli zawiera ona jedynie powtórzenie informacji.
  • Samofaworyzowanie (self-enhancement bias): Model-sędzia może częściej przyznawać wyższe oceny tym odpowiedziom, które zostały wygenerowane przez niego samego lub przez model z tej samej rodziny (np. GPT-4 będzie wyżej oceniać odpowiedzi GPT-3.5).

• Trudności z oceną faktów i logiki: Sędzia-LLM czasem nieprawidłowo ocenia zadania matematyczne lub logiczne, nawet jeśli sam jest w stanie je rozwiązać. Dzieje się tak, gdy model „zaraża się" błędem z zaproponowanych mu rozwiązań i nie postrzega zadania obiektywnie.
• Prywatność i bezpieczeństwo danych: Korzystanie z zewnętrznych API (np. GPT-4) do oceny oznacza, że poufne teksty są wysyłane do zewnętrznego dostawcy, co niesie ryzyko wycieku.

W celu łagodzenia tych problemów deweloperzy stosują różne techniki: randomizację kolejności odpowiedzi, kalibrację na zbiorach z udziałem ludzi, a także stosowanie strategii hybrydowych, w których sędzia-LLM jest używany w połączeniu z innymi metodami.

Alternatywne i hybrydowe podejścia

LLM-as-a-Judge jest często stosowany w połączeniu z innymi metodami oceny.

• Ocena przez człowieka: Pozostaje „złotym standardem" i jest używana do kalibracji oraz okresowej weryfikacji sędziów-LLM.
• Automatyczne metryki: Klasyczne metryki (ROUGE, BLEU, BERTScore) są nadal przydatne w zadaniach z wyraźną referencyjną odpowiedzią wzorcową.
• Wyspecjalizowane modele-oceniające: Trenowanie małych, szybkich i tanich modeli na danych preferencji do wykonywania rutynowych ocen, podczas gdy potężny sędzia-LLM pełni rolę „najwyższego arbitra" w skomplikowanych przypadkach (podejście trust or escalate).

Odnośniki

• Artykuł „Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" grupy LMSYS
• Szczegółowy przewodnik po używaniu LLM-as-a-Judge od Evidently AI

Literatura

• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model Is Not a General Substitute for GPT-4. arXiv:2403.02839.
• Jung, J. et al. (2024). Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement. arXiv:2407.18370.
• Shi, L. et al. (2024). Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge. arXiv:2406.07791.
• Wataoka, K. et al. (2024). Self-Preference Bias in LLM-as-a-Judge. arXiv:2410.21819.
• Chen, G. H. et al. (2024). Humans or LLMs as the Judge? A Study on Judgement Bias. EMNLP 2024.
• Li, X. et al. (2024). LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods. arXiv:2412.05579.
• Wang, Y. et al. (2024). Evaluating Alignment and Vulnerabilities in LLMs-as-Judges. arXiv:2406.12624.
• Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.
• Wang, T. et al. (2025). Evaluating Scoring Bias in LLM-as-a-Judge. arXiv:2506.22316.
• Li, Y. et al. (2024). Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge. arXiv:2410.02736.
• Xu, Y. et al. (2024). Opportunities and Challenges of LLM-as-a-Judge. arXiv:2411.16594.
• Zhuang, S. et al. (2024). MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues. arXiv:2402.14762.
• Li, C. et al. (2025). RobustJudge: A Fully Automated Framework for Assessing the Robustness of LLM-as-a-Judge Systems. arXiv:2506.09443.