Halucinace a nesprávné odpovědi LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Halucinace (angl. hallucination) v kontextu velkých jazykových modelů (LLM) je jev, při němž model sebejistě generuje na pohled věrohodnou (plausible) odpověď, která ve skutečnosti neodpovídá realitě, poskytnutému kontextu nebo je vnitřně rozporuplná[1][2]. Model si „vymýšlí" fakta, detaily nebo logické závěry, které v zdrojových datech chybí.

Je důležité poznamenat, že halucinace není selhání ani chyba v tradičním smyslu. Model funguje tak, jak byl navržen: předpovídá nejpravděpodobnější pokračování textu na základě vzorů získaných z trénovacích dat. Nemá zabudovaný mechanismus ověřování pravdivosti[3]. Halucinace se od prostých chyb liší tím, že představují sebejistě podané, avšak nepravdivé informace, které často zahrnují neexistující fakta, reference nebo události[4]. Tento jev se stal natolik významným, že v roce 2023 přidal Cambridgeský slovník nový význam termínu „hallucination" vztahující se k umělé inteligenci[5].

Definice a klasifikace halucinací

Ačkoli se používají různé termíny (například „konfabulace", „výmysl"), halucinace v LLM lze rozdělit do dvou velkých kategorií: spojené s faktickou věrohodností a spojené s věrností zdroji (kontextovou konzistencí)[6].

Faktické halucinace

Jde o případ, kdy model uvádí fakticky nesprávné informace o reálném světě. Model tvrdí falešný „fakt" jako pravdu[1].

  • Příklad: „Charles Lindbergh byl prvním člověkem, který vstoupil na povrch Měsíce" — zcela vymyšlený fakt.
  • Falešné citace a reference: Model si může vymyslet odkaz na neexistující vědeckou práci nebo zákon a napodobit přitom formát skutečné reference[2]. To podkopává důvěru v modely, zejména v aplikacích vyžadujících přesnost (vzdělávání, zpravodajství, poradenství)[7].

Logické chyby

Model se dopouští nesrovnalosti nebo chyby v uvažování. Jednotlivá fakta v odpovědi mohou být správná, ale závěr je nelogický nebo odporuje elementární logice[2]. K tomu dochází často při složitém uvažování nebo v úlohách zaměřených na matematiku a kauzalitu, kde model operuje pravděpodobnostními vazbami slov, nikoli formální logikou[2][2].

  • Příklad: „Protože ptáci létají, astronauti nepociťují gravitaci" — text vypadá soudržně, ale je logicky nesprávný.

Kontextové halucinace

Odpověď modelu neodpovídá poskytnutému kontextu nebo instrukci. Model „vypadne" z kontextu, přidá nadbytečné informace nebo ignoruje ty potřebné[1].

  • Porušení instrukce: Na žádost „přelož text do španělštiny" model odpoví anglicky[1].
  • Informace mimo zdroj: V úloze sumarizace model „doplní" fakta, která v původním dokumentu chybí, nebo je zkreslí[1].
  • Míchání kontextů: Uprostřed odpovědi model náhle začne hovořit o něčem z jiné oblasti. Například v odpovědi na otázku o komisaři NBA Adamu Silverovi může model přejít na jeho předchůdce Davida Sterna a smísit dva různé kontexty[6].

Nekonzistentnost

Varianta halucinace, při níž si model v rámci jedné odpovědi nebo série odpovědí protiřečí[6]. V jedné studii bylo zjištěno, že míra samo-rozporuplnosti odpovědí ChatGPT je přibližně 14 %[6][6].

  • Příklad: „Společnost X byla založena v roce 1990… a o několik vět dále …Společnost X, vzniklá v roce 2000…"

Halucinace v kódu

LLM trénované na kódu mohou generovat syntakticky správné, ale nefunkční fragmenty využívající neexistující funkce, knihovny nebo parametry[2]. Například model může vygenerovat `import quantum` v Pythonu, přestože takový standardní modul neexistuje. V roce 2024 byl navržen termín „code hallucination" a byl vytvořen benchmark CodeMirage pro systematizaci tohoto problému[8].

Příčiny vzniku

Jev halucinací je podmíněn souhrnem faktorů, od architektury modelu až po kvalitu dat.

  • Architektura a princip trénování: Většina LLM (například GPT) jsou autoregresivní transformery trénované k předpovídání dalšího tokenu. Jejich cílem je maximalizace věrohodnosti textu, nikoli ověřování pravdivosti tvrzení[2]. Model nerozlišuje fakta a fikci v trénovacích datech a vnímá vše jako textové vzory[2].
  • Kvalita trénovacích dat: LLM jsou trénovány na rozsáhlých textových korpusech z internetu, které obsahují mnoho nepřesností, mýtů a zastaralých informací[1]. Model si tyto chyby zapamatuje a reprodukuje je. Důležitý je také knowledge cutoff — časový limit, do nějž má model k dispozici informace.
  • Způsob generování textu: Stochastická povaha generování (vzorkování s teplotou) umožňuje modelu vytvářet „kreativnější", avšak méně přesné odpovědi. Omezená délka kontextu může vést k tomu, že model „zapomene" dřívější detaily dialogu a začne si sám protiřečit[6].

Metody hodnocení a měření

K detekci a měření halucinací se používají automatické metriky, hodnocení lidmi a specializované benchmarky.

  • Automatické metriky: Zahrnují přístupy, kde jiný LLM vystupuje v roli „soudce" (LLM-as-a-judge) pro hodnocení správnosti odpovědi[9], nebo analýzu entropie (nejistoty) modelu při generování[10].
  • Lidská anotace: Považuje se za „zlatý standard". Odborníci nebo crowd-hodnotitelé ručně posuzují odpovědi a označují chyby. Tato metoda se využívá při trénování modelů pomocí RLHF[11].
  • Benchmarky a zátěžové testy: Byly vytvořeny specializované datové sady, jako je TruthfulQA, která obsahuje otázky provokující model k reprodukci rozšířených mýtů[12]. Existují také žebříčky, například Hugging Face Hallucination Leaderboard, kde jsou modely porovnávány podle míry halucinací[13].

Způsoby zmírnění a prevence

  • Retrieval-Augmented Generation (RAG): Nejúspěšnější přístup, který model „ukotvuje" k externím znalostem. Před generováním odpovědi model obdrží relevantní informace z databáze, vyhledávacího systému nebo API. To umožňuje modelu zakládat odpověď na ověřených datech, nikoli na domněnkách[2].
  • Řetězce uvažování (Chain-of-Thought) a sebepřezkum: Model nejprve vygeneruje postupné uvažování, než podá konečnou odpověď, což zvyšuje přesnost. V pokročilejších metodách, jako je Self-Verification, model vygeneruje návrh odpovědi a poté dostane za úkol jej zkontrolovat a opravit[14].
  • Zabudovaná pravidla a filtry: Modely jsou trénovány k odmítnutí odpovědi, pokud si nejsou jisty. Například modely Claude od Anthropic se řídí zásadou „pravdivosti" a často odpovídají „Přesně nevím…", místo aby si fakta vymýšlely[11].
  • Integrace s externími nástroji: Modely jako Gemini dokážou automaticky rozpoznat, kdy potřebují externí nástroj (například kalkulačku pro výpočty nebo vyhledávání pro čerstvé zprávy), a využít ho, což výrazně snižuje počet halucinací[11].

Rizika a důsledky

  • Právní a reputační rizika: V právní oblasti mohou mít halucinace závažné důsledky. Široce známým se stal případ Mata v. Avianca (2023), kdy advokát použil ChatGPT k vyhledávání soudních precedentů a ten si vymyslel několik neexistujících případů. Advokáti byli pokutováni a incident se stal poučením o nepřípustnosti slepé důvěry v AI bez ověření[1].
  • Šíření dezinformací: V celospolečenském měřítku mohou LLM prohlubovat problém falešných zpráv. Známý je případ modelu Galactica od Meta, který byl vytvořen jako pomůcka pro vědce, ale začal generovat pseudovědecké texty s vymyšlenými experimenty a referencemi. Po třech dnech byl veřejný přístup k modelu uzavřen[15].
  • Přijímání chybných rozhodnutí: Uživatelé, zejména nezkušení, mají tendenci důvěřovat sebejistě formulovaným odpovědím AI, což může vést k chybným rozhodnutím v oblasti financí, medicíny a dalších kritických oblastech[7].

Příklady z praxe

  • Případ Air Canada (2023): Chatbot letecké společnosti si vymyslel neexistující politiku vrácení letenek. Když zákazník požadoval její uplatnění, společnost odmítla. Kanadský dopravní tribunál zavázal Air Canada k odpovědnosti za informace poskytnuté jejím chatbotem a k náhradě škody zákazníkovi[9].
  • Žaloba za pomluvu proti OpenAI (2023): Rozhlasový moderátor Mark Walters podal žalobu na OpenAI za to, že ChatGPT v odpovědi na dotaz novináře nepravdivě obvinil tohoto moderátora z podvodu. Tento případ zdůraznil právní odpovědnost společností za obsah generovaný jejich modely[6].

Odkazy

  • The Beginner's Guide to Hallucinations in Large Language Models — podrobný průvodce od Lakera
  • Survey of Hallucination in Natural Language Generation — vědecký přehled jevu na arXiv

Literatura

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

Poznámky

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [2]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [3]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [4]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [7]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [8]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [9]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [10]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [11]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [12]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.info/int/index.php?title=Halucinace_a_nesprávné_odpovědi_LLM&oldid=2822"