---
title: "Metriky kvality LLM"
source: "https://systems-analysis.info/int/Metriky_kvality_LLM"
wiki: "systems-analysis.info/int"
article: "Metriky_kvality_LLM"
language: "cs"
categories:
  - "Category:Czech"
  - "Category:Large language models"
  - "Category:LLM evaluation"
  - "Category:Machine learning"
revision_id: 4349
wiki_created_at: 2026-09-06T23:33:57Z
wiki_modified_at: 2026-09-06T23:33:57Z
downloaded_at: 2026-09-07T23:02:11Z
---

# Metriky kvality LLM

**Metriky kvality velkých jazykových modelů (LLM)** — to je systematický přístup a soubor standardizovaných nástrojů pro měření různých aspektů výkonnosti jazykových modelů, včetně přesnosti, bezpečnosti, spravedlnosti a spolehlivosti<sup>[\[1\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-perplexity-overview-1)</sup>. Jak LLM nacházejí stále širší uplatnění v kriticky důležitých oblastech, jako je zdravotnictví, finance a vzdělávání, vzniká naléhavá potřeba jejich komplexního a objektivního hodnocení<sup>[\[2\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-perplexity-security-2)</sup>.

Metriky a benchmarky plní několik klíčových funkcí: umožňují objektivně porovnávat různé modely, sledovat pokrok v jejich vývoji, odhalovat slabá místa a zajišťovat transparentnost výsledků pro výzkumníky i odborníky z praxe<sup>[\[1\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-perplexity-overview-1)</sup>.

## Kategorie metrik

Metriky pro hodnocení LLM lze rozdělit do několika základních kategorií: automatické metriky, hodnocení za účasti člověka a specializované metriky pro hodnocení bezpečnosti a spolehlivosti.

### Automatické metriky

Tyto metriky umožňují rychlé a škálovatelné hodnocení bez zapojení člověka.

#### Metriky založené na n-gramech

Tradiční metriky měřící lexikální shodu mezi vygenerovaným a referenčním textem.

- **BLEU** (Bilingual Evaluation Understudy): Původně vyvinutá pro hodnocení kvality strojového překladu. Měří přesnost shody n-gramů (sekvencí n slov) a uplatňuje penalizaci za příliš krátké vygenerované texty<sup>[\[3\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-ngram-metrics-3)</sup>.
- **ROUGE** (Recall-Oriented Understudy for Gisting Evaluation): Zaměřuje se na úplnost, měří, jak dobře jsou n-gramy z referenčního textu zastoupeny ve vygenerovaném. Zvláště účinná pro hodnocení úloh sumarizace<sup>[\[3\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-ngram-metrics-3)</sup>.
- **METEOR**: Rozšiřuje možnosti BLEU tím, že zohledňuje synonyma, příbuzná slova a morfologické varianty, což umožňuje dosáhnout lepší korelace s lidskými hodnoceními<sup>[\[3\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-ngram-metrics-3)</sup>.

#### Sémantické metriky

Tyto metriky využívají kontextuální embedding pro hodnocení sémantické blízkosti, nikoli pouze lexikální shody.

- **BERTScore**: Vypočítává sémantickou podobnost mezi tokeny vygenerovaného a referenčního textu s využitím embeddingů z modelu BERT. To umožňuje rozpoznávat sémantickou ekvivalenci i při odlišném způsobu vyjádření<sup>[\[4\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-semantic-metrics-4)</sup>.
- **MAUVE**: Měří divergenci mezi rozloženími strojového a lidského textu v prostoru embeddingů. Zvláště účinná pro hodnocení otevřené generace, kde neexistuje pevně stanovený referenční text<sup>[\[5\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-distribution-metrics-5)</sup>.

#### Interní metriky jazykového modelování

- **Perplexita** (Perplexity): Základní metrika měřící, jak dobře jazykový model předpovídá sekvenci textu. Odráží nejistotu modelu při předpovídání dalšího tokenu. Nižší hodnoty perplexity indikují lepší výkonnost<sup>[\[6\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-intrinsic-metrics-6)</sup>.
- **Přesnost a F1-míra**: Široce používány v úlohách klasifikace a systémech otázek a odpovědí. F1-míra představuje harmonický průměr přesnosti a úplnosti, čímž zajišťuje vyvážené hodnocení<sup>[\[6\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-intrinsic-metrics-6)</sup>.

### Hodnocení za účasti člověka

Lidské hodnocení zůstává „zlatým standardem", protože automatické metriky často nedokáží zachytit jemné aspekty kvality, jako jsou soudržnost, kreativita a relevance<sup>[\[7\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-human-eval-7)</sup>.

- **Přímé hodnocení**: Odborníci nebo účastníci crowdsourcingu hodnotí kvalitu generování na dané škále (například od 1 do 5) podle kritérií, jako jsou plynulost a soudržnost.
- **Srovnávací hodnocení**: Hodnotitelům je nabídnuto porovnat výstupy dvou nebo více modelů a vybrat nejlepší (párové srovnání) nebo je seřadit od nejlepšího k nejhoršímu.

Nevýhodami lidského hodnocení jsou vysoké náklady, obtížnost škálování a subjektivita<sup>[\[7\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-human-eval-7)</sup>.

### Hodnocení pomocí LLM (LLM-as-a-Judge)

Nový přístup, při němž jeden (obvykle výkonnější) jazykový model slouží k hodnocení odpovědí jiného. Například GPT-4 může řadit výstupy modelů podle zadaných kritérií. Tato metoda poskytuje škálovatelnou alternativu k lidskému hodnocení, ačkoli má i vlastní problémy, jako je citlivost na styl dotazů a potenciální zaujatost<sup>[\[8\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-llm-as-judge-8)</sup>.

## Specializované metriky a benchmarky

Pro hodnocení konkrétních aspektů výkonnosti a spolehlivosti LLM se používají specializované metriky a benchmarky.

### Faktická spolehlivost

Hodnotí schopnost modelu generovat pravdivé informace a nevykazovat halucinace.

- **TruthfulQA**: Benchmark speciálně navržený pro měření sklonu modelů generovat odpovědi založené na rozšířených mýtech a omylech. Od modelu se vyžaduje poskytování fakticky správných, nikoli pouze populárních odpovědí<sup>[\[9\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-security-metrics-9)</sup>.

### Bezpečnost a etika

- **Hodnocení toxicity**: Měří přítomnost urážlivého nebo škodlivého obsahu. K tomu se používají specializované klasifikátory a API, například **Perspective API**<sup>[\[9\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-security-metrics-9)</sup>.
- **Hodnocení zaujatosti a spravedlnosti**: Posuzuje, zda model vykazuje diskriminační chování vůči různým demografickým skupinám. Výzkumy ukazují, že LLM mohou uchovávat a zesilovat společenské stereotypy z trénovacích dat<sup>[\[10\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-bias-metrics-10)</sup>.
- **SafetyBench**: Komplexní benchmark pro hodnocení bezpečnosti zahrnující ověření odolnosti vůči adversarial útokům a schopnosti vyhýbat se generování škodlivého obsahu<sup>[\[11\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-safety-bench-11)</sup>.

### Komplexní benchmarky

- **MMLU** (Massive Multitask Language Understanding): Jeden z nejrozšířenějších benchmarků, obsahující otázky s výběrem odpovědí ze 57 předmětů, od základní matematiky až po mezinárodní právo. Hodnotí šíři a hloubku znalostí modelu<sup>[\[12\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-comprehensive-benchmarks-12)</sup>.
- **BIG-bench** (Beyond the Imitation Game): Obsahuje více než 204 úloh navržených pro hodnocení schopností, které přesahují možnosti standardních jazykových modelů, včetně úloh od hry v šachy po hádání emoji<sup>[\[12\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-comprehensive-benchmarks-12)</sup>.

## Výzvy a omezení

- **Problém korelace**: Tradiční automatické metriky, jako jsou BLEU a ROUGE, často špatně korelují s lidskými hodnoceními, zejména v kreativních úlohách<sup>[\[13\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-challenges-correlation-13)</sup>.
- **Znečištění dat (Data Contamination)**: Existuje riziko, že testovací data benchmarku mohla proniknout do trénovací sady modelu, což vede k nadhodnoceným a nedůvěryhodným výsledkům hodnocení<sup>[\[14\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-challenges-contamination-14)</sup>.
- **Vícejazyčné hodnocení**: Většina existujících metrik a benchmarků se soustředí na anglický jazyk, což omezuje jejich použitelnost pro hodnocení vícejazyčných schopností LLM<sup>[\[15\]](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_note-challenges-multilingual-15)</sup>.

## Odkazy

- What Are LLM Benchmarks? — přehledový článek od IBM
- 20 LLM evaluation benchmarks and how they work — průvodce benchmarky od Evidently AI

## Literatura

- Papineni, K. et al. (2002). *Bleu: a Method for Automatic Evaluation of Machine Translation*. ACL:P02-1040.
- Lin, C.-Y. (2004). *ROUGE: A Package for Automatic Evaluation of Summaries*. ACL:W04-1013.
- Banerjee, S.; Lavie, A. (2005). *METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments*. ACL:W05-0909.
- Zhang, T. et al. (2019). *BERTScore: Evaluating Text Generation with BERT*. arXiv:1904.09675.
- Pillutla, K. et al. (2021). *MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers*. arXiv:2102.01454.
- Lin, S. et al. (2021). *TruthfulQA: Measuring How Models Mimic Human Falsehoods*. arXiv:2109.07958.
- Parrish, A. et al. (2021). *BBQ: A Hand-Built Bias Benchmark for Question Answering*. arXiv:2110.08193.
- Dhamala, J. et al. (2021). *BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation*. arXiv:2101.11718.
- Hendrycks, D. et al. (2020). *Measuring Massive Multitask Language Understanding*. arXiv:2009.03300.
- Srivastava, A. et al. (2022). *Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models*. arXiv:2206.04615.
- Zhang, Z. et al. (2023). *SafetyBench: Evaluating the Safety of Large Language Models*. arXiv:2309.07045.
- Huang, H. et al. (2024). *An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-Tuned Judge Model is not a General Substitute for GPT-4*. arXiv:2403.02839.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132.
- Gu, J. et al. (2024). *A Survey on LLM-as-a-Judge*. arXiv:2411.15594.
- Li, S. et al. (2025). *LLMs Cannot Reliably Judge (Yet?): A Comprehensive Assessment on the Robustness of LLM-as-a-Judge*. arXiv:2506.09443.

## Poznámky

1.  <span id="cite_note-perplexity-overview-1">↑ <sup>[1.0](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-perplexity-overview_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-perplexity-overview_1-1)</sup> «Метрики качества LLM». *Perplexity AI*.</span>
2.  <span id="cite_note-perplexity-security-2">[↑](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-perplexity-security_2-0) «Специализированные метрики безопасности». *Perplexity AI*.</span>
3.  <span id="cite_note-ngram-metrics-3">↑ <sup>[3.0](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-ngram-metrics_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-ngram-metrics_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-ngram-metrics_3-2)</sup> «Традиционные метрики оценки текста». *Perplexity AI*.</span>
4.  <span id="cite_note-semantic-metrics-4">[↑](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-semantic-metrics_4-0) «Семантические метрики». *Perplexity AI*.</span>
5.  <span id="cite_note-distribution-metrics-5">[↑](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-distribution-metrics_5-0) «Метрики на основе распределений». *Perplexity AI*.</span>
6.  <span id="cite_note-intrinsic-metrics-6">↑ <sup>[6.0](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-intrinsic-metrics_6-0)</sup> <sup>[6.1](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-intrinsic-metrics_6-1)</sup> «Intrinsic метрики». *Perplexity AI*.</span>
7.  <span id="cite_note-human-eval-7">↑ <sup>[7.0](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-human-eval_7-0)</sup> <sup>[7.1](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-human-eval_7-1)</sup> «Оценка с участием человека». *Perplexity AI*.</span>
8.  <span id="cite_note-llm-as-judge-8">[↑](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-llm-as-judge_8-0) «LLM-as-a-Judge». *Perplexity AI*.</span>
9.  <span id="cite_note-security-metrics-9">↑ <sup>[9.0](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-security-metrics_9-0)</sup> <sup>[9.1](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-security-metrics_9-1)</sup> «Специализированные метрики безопасности». *Perplexity AI*.</span>
10. <span id="cite_note-bias-metrics-10">[↑](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-bias-metrics_10-0) «Предвзятость и справедливость». *Perplexity AI*.</span>
11. <span id="cite_note-safety-bench-11">[↑](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-safety-bench_11-0) «Benchmark'ы безопасности». *Perplexity AI*.</span>
12. <span id="cite_note-comprehensive-benchmarks-12">↑ <sup>[12.0](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-comprehensive-benchmarks_12-0)</sup> <sup>[12.1](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-comprehensive-benchmarks_12-1)</sup> «Comprehensive оценка». *Perplexity AI*.</span>
13. <span id="cite_note-challenges-correlation-13">[↑](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-challenges-correlation_13-0) «Проблемы корреляции». *Perplexity AI*.</span>
14. <span id="cite_note-challenges-contamination-14">[↑](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-challenges-contamination_14-0) «Загрязнение данных». *Perplexity AI*.</span>
15. <span id="cite_note-challenges-multilingual-15">[↑](https://systems-analysis.info/int/Metriky_kvality_LLM#cite_ref-challenges-multilingual_15-0) «Многоязычная оценка». *Perplexity AI*.</span>