Metryki jakości LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Metryki jakości dużych modeli językowych (LLM) — to systematyczne podejście i zestaw standaryzowanych narzędzi do pomiaru różnych aspektów wydajności modeli językowych, w tym dokładności, bezpieczeństwa, rzetelności i niezawodności[1]. W miarę jak LLM znajdują coraz szersze zastosowanie w krytycznie ważnych dziedzinach, takich jak ochrona zdrowia, finanse i edukacja, pojawia się pilna potrzeba ich kompleksowej i obiektywnej oceny[2].

Metryki i benchmarki pełnią kilka kluczowych funkcji: umożliwiają obiektywne porównywanie różnych modeli, śledzenie postępów w ich rozwoju, identyfikowanie słabych stron oraz zapewniają przejrzystość wyników dla badaczy i praktyków[1].

Kategorie metryk

Metryki do oceny LLM można podzielić na kilka głównych kategorii: metryki automatyczne, ocena z udziałem człowieka oraz wyspecjalizowane metryki do oceny bezpieczeństwa i niezawodności.

Metryki automatyczne

Metryki te umożliwiają szybką i skalowalną ocenę bez udziału człowieka.

Metryki oparte na n-gramach

Tradycyjne metryki mierzące dopasowanie leksykalne między wygenerowanym a referencyjnym tekstem.

  • BLEU (Bilingual Evaluation Understudy): Pierwotnie opracowana do oceny jakości tłumaczenia maszynowego. Mierzy precyzję dopasowania n-gramów (sekwencji n słów) i stosuje karę za zbyt krótkie wygenerowane teksty[3].
  • ROUGE (Recall-Oriented Understudy for Gisting Evaluation): Skupia się na pełności, mierząc, jak dobrze n-gramy z tekstu referencyjnego są reprezentowane w wygenerowanym. Jest szczególnie skuteczna do oceny zadań sumaryzacji[3].
  • METEOR: Rozszerza możliwości BLEU, uwzględniając synonimy, wyrazy pokrewne i warianty morfologiczne, co pozwala osiągnąć lepszą korelację z ocenami ludzkimi[3].

Metryki semantyczne

Metryki te wykorzystują kontekstualne embeddingi do oceny podobieństwa semantycznego, a nie tylko dopasowania leksykalnego.

  • BERTScore: Oblicza podobieństwo semantyczne między tokenami wygenerowanego i referencyjnego tekstu, używając embeddingów z modelu BERT. Pozwala to na rozpoznawanie równoważności semantycznej nawet przy różnym sformułowaniu[4].
  • MAUVE: Mierzy rozbieżność między rozkładami tekstów maszynowych i ludzkich w przestrzeni embeddingów. Jest szczególnie skuteczna do oceny otwartej generacji, gdzie nie ma ustalonego tekstu referencyjnego[5].

Wewnętrzne metryki modelowania językowego

  • Perpleksja (Perplexity): Fundamentalna metryka mierząca, jak dobrze model językowy przewiduje sekwencję tekstu. Odzwierciedla niepewność modelu przy przewidywaniu następnego tokenu. Niższe wartości perpleksji wskazują na lepszą wydajność[6].
  • Dokładność i miara F1: Szeroko stosowane w zadaniach klasyfikacji i systemach pytań i odpowiedzi. Miara F1 stanowi średnią harmoniczną precyzji i pełności, zapewniając zrównoważoną ocenę[6].

Ocena z udziałem człowieka

Ocena ludzka pozostaje „złotym standardem", ponieważ metryki automatyczne często nie są w stanie uchwycić subtelnych aspektów jakości, takich jak spójność, kreatywność i trafność[7].

  • Ocena bezpośrednia: Eksperci lub crowdworkerzy oceniają jakość generacji według zadanej skali (np. od 1 do 5) według takich kryteriów jak płynność i spójność.
  • Ocena porównawcza: Oceniającym proponuje się porównanie wyników dwóch lub więcej modeli i wybranie lepszego (porównanie parami) lub uszeregowanie ich od najlepszego do najgorszego.

Wadami oceny ludzkiej są wysoki koszt, trudność skalowania i subiektywność[7].

Ocena za pomocą LLM (LLM-as-a-Judge)

Nowe podejście, w którym jeden (zazwyczaj bardziej zaawansowany) model językowy jest używany do oceny odpowiedzi innego. Na przykład GPT-4 może szeregować wyniki modeli według zadanych kryteriów. Metoda ta zapewnia skalowalną alternatywę dla oceny ludzkiej, choć niesie ze sobą własne wyzwania, takie jak wrażliwość na styl zapytań i potencjalne uprzedzenia[8].

Wyspecjalizowane metryki i benchmarki

Do oceny konkretnych aspektów wydajności i niezawodności LLM stosuje się wyspecjalizowane metryki i benchmarki.

Rzetelność faktograficzna

Ocenia zdolność modelu do generowania prawdziwych informacji i unikania halucynacji.

  • TruthfulQA: Benchmark specjalnie zaprojektowany do pomiaru skłonności modeli do generowania odpowiedzi opartych na powszechnych mitach i błędnych przekonaniach. Od modelu wymaga się udzielania odpowiedzi faktycznie poprawnych, a nie jedynie popularnych[9].

Bezpieczeństwo i etyka

  • Ocena toksyczności: Mierzy obecność obraźliwych lub szkodliwych treści. Do tego celu używa się wyspecjalizowanych klasyfikatorów i API, na przykład Perspective API[9].
  • Ocena uprzedzeń i rzetelności: Ocenia, czy model wykazuje zachowania dyskryminacyjne wobec różnych grup demograficznych. Badania pokazują, że LLM mogą utrwalać i wzmacniać stereotypy społeczne z danych treningowych[10].
  • SafetyBench: Kompleksowy benchmark do oceny bezpieczeństwa, obejmujący sprawdzanie odporności na ataki adversarial i zdolności do unikania generowania szkodliwych treści[11].

Kompleksowe benchmarki

  • MMLU (Massive Multitask Language Understanding): Jeden z najszerzej stosowanych benchmarków, zawierający pytania wielokrotnego wyboru z 57 dziedzin, od matematyki elementarnej po prawo międzynarodowe. Ocenia szerokość i głębokość wiedzy modelu[12].
  • BIG-bench (Beyond the Imitation Game): Zawiera ponad 204 zadania zaprojektowane do oceny zdolności wykraczających poza możliwości standardowych modeli językowych, w tym zadania od gry w szachy po zgadywanie emoji[12].

Wyzwania i ograniczenia

  • Problem korelacji: Tradycyjne metryki automatyczne, takie jak BLEU i ROUGE, często słabo korelują z ocenami ludzkimi, szczególnie w zadaniach twórczych[13].
  • Zanieczyszczenie danych (Data Contamination): Istnieje ryzyko, że dane testowe benchmarku mogły trafić do zbioru treningowego modelu, co prowadzi do zawyżonych i niewiarygodnych ocen[14].
  • Ocena wielojęzyczna: Większość istniejących metryk i benchmarków koncentruje się na języku angielskim, co ogranicza ich przydatność do oceny wielojęzycznych zdolności LLM[15].

Odnośniki

  • What Are LLM Benchmarks? — artykuł przeglądowy od IBM
  • 20 LLM evaluation benchmarks and how they work — przewodnik po benchmarkach od Evidently AI

Literatura

  • Papineni, K. et al. (2002). Bleu: a Method for Automatic Evaluation of Machine Translation. ACL:P02-1040.
  • Lin, C.-Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries. ACL:W04-1013.
  • Banerjee, S.; Lavie, A. (2005). METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. ACL:W05-0909.
  • Zhang, T. et al. (2019). BERTScore: Evaluating Text Generation with BERT. arXiv:1904.09675.
  • Pillutla, K. et al. (2021). MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers. arXiv:2102.01454.
  • Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
  • Parrish, A. et al. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering. arXiv:2110.08193.
  • Dhamala, J. et al. (2021). BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation. arXiv:2101.11718.
  • Hendrycks, D. et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
  • Srivastava, A. et al. (2022). Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. arXiv:2206.04615.
  • Zhang, Z. et al. (2023). SafetyBench: Evaluating the Safety of Large Language Models. arXiv:2309.07045.
  • Huang, H. et al. (2024). An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model is not a General Substitute for GPT-4. arXiv:2403.02839.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Gu, J. et al. (2024). A Survey on LLM-as-a-Judge. arXiv:2411.15594.
  • Li, S. et al. (2025). LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge. arXiv:2506.09443.

Przypisy

  1. ↑ 1.0 1.1 «Метрики качества LLM». Perplexity AI.
  2. ↑ «Специализированные метрики безопасности». Perplexity AI.
  3. ↑ 3.0 3.1 3.2 «Традиционные метрики оценки текста». Perplexity AI.
  4. ↑ «Семантические метрики». Perplexity AI.
  5. ↑ «Метрики на основе распределений». Perplexity AI.
  6. ↑ 6.0 6.1 «Intrinsic метрики». Perplexity AI.
  7. ↑ 7.0 7.1 «Оценка с участием человека». Perplexity AI.
  8. ↑ «LLM-as-a-Judge». Perplexity AI.
  9. ↑ 9.0 9.1 «Специализированные метрики безопасности». Perplexity AI.
  10. ↑ «Предвзятость и справедливость». Perplexity AI.
  11. ↑ «Benchmark'ы безопасности». Perplexity AI.
  12. ↑ 12.0 12.1 «Comprehensive оценка». Perplexity AI.
  13. ↑ «Проблемы корреляции». Perplexity AI.
  14. ↑ «Загрязнение данных». Perplexity AI.
  15. ↑ «Многоязычная оценка». Perplexity AI.
Retrieved from "https://systems-analysis.info/int/index.php?title=Metryki_jakości_LLM&oldid=4350"