Snížení chyb LLM

Snížení chyb ve velkých jazykových modelech (LLM) — je soubor metod a technologií zaměřených na zvýšení přesnosti, spolehlivosti a bezpečnosti systémů umělé inteligence založených na transformerové architektuře. Problém chyb, zejména halucinací, představuje jednu z klíčových překážek širokého nasazení LLM v kriticky důležitých oblastech. Podle výzkumů z let 2024–2025 se frekvence halucinací ve veřejně dostupných LLM pohybuje od 3 % do 16 %.

Typologie chyb

Současná klasifikace chyb LLM zahrnuje několik základních kategorií, z nichž každá vyžaduje specifické přístupy k mitigaci (zmírnění následků).

Halucinace

Halucinace představují generování věrohodného, avšak fakticky nesprávného obsahu. Podle studie Huanga a kol. (2023) se rozlišují dva základní typy:

• Faktické halucinace — nesoulad s ověřitelnými fakty, včetně vytváření neexistujících skutečností (fabrikace). Ve studii z roku 2024 Stanfordská univerzita zjistila, že LLM vymyslely více než 120 neexistujících soudních případů.
• Logické halucinace — narušení logické posloupnosti v úvahách.

Statistiky z roku 2024 ukazují, že chatboti halucinují ve 27 % případů, přičemž 46 % generovaných textů obsahuje faktické chyby.

Systematická zkreslení (Bias)

Zkreslení v LLM se projevují jako sociální předsudky (například asociace profesí s určitým pohlavím) a demografické rozdíly ve výkonnosti. Výzkumy z roku 2024 ukázaly, že u 10 testovaných modelů může rozdíl v hodnocení pro různé demografické skupiny dosahovat 4 bodů z 10.

Toxicita

Toxicita je definována jako generování urážlivého, škodlivého nebo diskriminačního obsahu. Metrika toxicity se v závislosti na modelu a kontextu použití pohybuje v širokém rozsahu.

Metody snižování chyb

Strategie boje s chybami lze rozdělit do dvou velkých skupin: metody modifikující model a proces trénování a metody aplikované ve fázi inference.

Modifikace modelu a procesu trénování

Fine-tuning a Instruction Tuning

Supervised Fine-Tuning (SFT) umožňuje přizpůsobit předtrénované modely specifickým úlohám. Pro snížení výpočetních nákladů se používají metody Parameter-Efficient Fine-Tuning (PEFT), jako jsou LoRA a QLoRA, které mohou snížit náklady na dotrénování až o 99 % při zachování účinnosti.

Reinforcement Learning from Human Feedback (RLHF)

RLHF je dvoustupňový proces, při němž se nejprve trénuje model odměny na základě lidských preferencí a poté je hlavní LLM optimalizována tak, aby generovala odpovědi maximalizující tuto odměnu. Metoda prokázala svou účinnost u modelů InstructGPT a GPT-4, kde výrazně zvýšila soulad s očekáváními uživatelů.

Constitutional AI

Metoda Constitutional AI, vyvinutá společností Anthropic, je alternativou k RLHF. Místo přímé zpětné vazby od lidí je model trénován, aby dodržoval soubor principů („ústavu"). To snižuje potřebu lidského dohledu o 80–90 % a účinně zabraňuje generování škodlivého obsahu.

Architektonická řešení

• Mixture of Experts (MoE): Architektura s řídkou aktivací, která umožňuje výrazně zvýšit kapacitu modelu bez proporcionálního nárůstu výpočetních nákladů. Předpokládá se, že GPT-4 využívá 8 expertů s 220 miliardami parametrů každý.
• Modifikace mechanismu attention: Techniky jako Grouped Query Attention (GQA) (v modelech Llama 3) a Sparse Attention snižují výpočetní složitost a nároky na paměť a umožňují zpracování delších kontextů.

Metody ve fázi inference

Retrieval-Augmented Generation (RAG)

RAG je jednou z nejúčinnějších metod snižování faktických chyb. Před generováním odpovědi systém přistupuje k externí znalostní bázi (například Wikipedie, firemní dokumentace, vědecké články), extrahuje relevantní informace a předává je modelu spolu s původním dotazem. Tím „ukotvuje" odpověď v ověřených faktech. Systémy RAG dosahují 56,8% exact match na benchmarku TriviaQA a překonávají tradiční modely o 60–80 % ve snižování faktických chyb.

Pokročilé techniky promptingu

• Chain-of-Thought (CoT): Prompting, který vede model k tomu, aby před podáním konečné odpovědi generoval postupný řetězec úvah. To výrazně zlepšuje výsledky v úlohách vyžadujících logické a matematické výpočty.
• Chain of Draft (CoD): Evoluce CoT, při níž model iterativně upravuje koncepty své odpovědi, což umožňuje dosáhnout srovnatelné přesnosti jako CoT při použití výrazně menšího počtu tokenů.

Vnitřní samooprava (Intrinsic Self-Correction)

Výzkumy TACL z roku 2024 ukázaly, že schopnost LLM k samoopravě bez externích informací je omezená. Efektivní samooprava zpravidla vyžaduje použití externích nástrojů, jako jsou interpretery kódu pro ověřování výpočtů nebo vyhledávací systémy pro validaci faktů.

Metody hodnocení chyb

Pro měření pokroku ve snižování chyb se používají specializované metriky a benchmarky.

• Tradiční metriky: Perplexity, BLEU a ROUGE. Jsou užitečné pro hodnocení plynulosti a shody n-gramů, ale špatně zvládají hodnocení faktické přesnosti.
• Moderní přístupy:
  • FactScore rozkládá dlouhé texty na atomické fakty a hodnotí procento faktů potvrzených znalostní bází.
  • SAFE (Search-Augmented Factuality Evaluator) — metoda od společnosti Google, která využívá vyhledávání k ověřování faktů a dosahuje 72% shody s hodnoceními lidí při 20násobně nižších nákladech.
  • TruthfulQA — benchmark zaměřený na schopnost modelů vyhnout se generování rozšířených mylných představ.

Literatura

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.