Hallucinationer och felaktiga svar från LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Hallucination (eng. hallucination) i kontexten av stora språkmodeller (LLM) är ett fenomen där modellen med säkerhet genererar ett till synes trovärdigt (plausible) svar som i verkligheten inte stämmer överens med fakta, den tillhandahållna kontexten eller är internt motsägelsefullt[1][2]. Modellen "hittar på" fakta, detaljer eller logiska slutsatser som saknas i källmaterialet.

Det är viktigt att notera att hallucination inte är ett fel eller en bugg i traditionell mening. Modellen fungerar som den är utformad: den förutsäger den mest sannolika fortsättningen på texten baserat på mönster som extraherats från träningsdata. Den har ingen inbyggd mekanism för att kontrollera sanningshalten[3]. Hallucinationer skiljer sig från vanliga fel genom att de utgör säkert framförd men falsk information, som ofta inkluderar icke-existerande fakta, referenser eller händelser[4]. Detta fenomen har blivit så betydelsefullt att Cambridgeordboken år 2023 lade till en ny betydelse av termen "hallucination" som relaterar till artificiell intelligens[5].

Definitioner och klassificering av hallucinationer

Även om olika termer används (till exempel "konfabulation", "påhitt") kan hallucinationer i LLM delas in i två stora kategorier: de som rör faktamässig korrekthet och de som rör trohet mot källan (kontextuell överensstämmelse)[6].

Faktahallucinationer

Detta är fallet när modellen anger faktamässigt felaktig information om den verkliga världen. Modellen hävdar ett falskt "faktum" som sanning[1].

  • Exempel: "Charles Lindbergh var den första människan som satte sin fot på månens yta" — ett fullständigt påhittat påstående.
  • Falska citat och referenser: Modellen kan hitta på en referens till ett icke-existerande vetenskapligt arbete eller en lag, och imitera formatet för en verklig referens[2]. Detta underminerar förtroendet för modeller, särskilt i tillämpningar där noggrannhet krävs (utbildning, nyheter, konsultverksamhet)[7].

Logiska fel

Modellen gör ett logiskt missöde eller ett fel i resonemanget. Enskilda fakta i svaret kan vara korrekta, men slutsatsen är ologisk eller strider mot elementär logik[2]. Detta inträffar ofta vid komplexa resonemang eller uppgifter inom matematik och kausalitet, där modellen opererar med probabilistiska ordsamband snarare än formell logik[2][2].

  • Exempel: "Eftersom fåglar flyger, upplever astronauter ingen gravitation" — texten framstår som sammanhängande men är logiskt felaktig.

Kontextuella hallucinationer

Modellens svar stämmer inte överens med den tillhandahållna kontexten eller instruktionen. Modellen "faller ut" ur kontexten och lägger till irrelevant information eller ignorerar den relevanta[1].

  • Brott mot instruktionen: På begäran att "översätta texten till spanska" svarar modellen på engelska[1].
  • Information som inte finns i källan: I en sammanfattningsuppgift "lägger modellen till" fakta som saknas i originaldokumentet, eller förvränger dem[1].
  • Sammanblandning av kontexter: Mitt i ett svar börjar modellen plötsligt tala om något från ett annat område. Till exempel, på en fråga om NBA-kommissionären Adam Silver kan modellen växla över till hans föregångare David Stern och blanda ihop två olika kontexter[6].

Inkonsistens

En variant av hallucination där modellen motsäger sig själv inom ett och samma svar eller i en serie svar[6]. I en studie konstaterades att nivån av självmotsägelse i ChatGPT:s svar ligger på cirka 14 %[6][6].

  • Exempel: "Företaget X grundades år 1990... och några meningar senare ...Företaget X, bildat år 2000..."

Hallucinationer i kod

LLM som tränats på kod kan generera syntaktiskt korrekta men icke-fungerande kodfragment som använder icke-existerande funktioner, bibliotek eller parametrar[2]. Exempelvis kan modellen generera `import quantum` i Python, trots att en sådan standardmodul inte finns. År 2024 föreslogs termen "code hallucination" och benchmark:et CodeMirage skapades för att systematisera detta problem[8].

Orsaker till uppkomsten

Fenomenet hallucinationer beror på en kombination av faktorer, från modellarkitektur till datakvalitet.

  • Arkitektur och träningsprincip: De flesta LLM (till exempel GPT) är autoregressiva transformers tränade för att förutsäga nästa token. Deras mål är att maximera textens trovärdighet, inte att kontrollera påståendenas sanning[2]. Modellen skiljer inte på fakta och fiktion i träningsdata utan uppfattar allt som textmönster[2].
  • Kvaliteten på träningsdata: LLM tränas på enorma textkorpusar från internet som innehåller många felaktigheter, myter och föråldrad information[1]. Modellen memorerar och reproducerar dessa fel. Även knowledge cutoff är viktigt — den tidsgräns fram till vilken modellen har information.
  • Sättet text genereras på: Den stokastiska karaktären hos genereringen (sampling med temperatur) gör att modellen kan producera mer "kreativa" men mindre exakta svar. Begränsad kontextlängd kan leda till att modellen "glömmer" tidiga detaljer i dialogen och börjar motsäga sig själv[6].

Metoder för utvärdering och mätning

För att identifiera och mäta hallucinationer används automatiska mätvärden, mänsklig bedömning och specialiserade benchmark:ar.

  • Automatiska mätvärden: Inkluderar metoder där en annan LLM fungerar som "domare" (LLM-as-a-judge) för att bedöma svarets korrekthet[9], eller analys av modellens entropi (osäkerhet) vid generering[10].
  • Mänsklig annotering: Anses vara "guldstandarden". Experter eller crowd-bedömare utvärderar manuellt svar och markerar fel. Denna metod används vid träning av modeller med hjälp av RLHF[11].
  • Benchmark:ar och stresstester: Specialiserade dataset har skapats, såsom TruthfulQA, som innehåller frågor utformade för att provocera modellen att reproducera vanliga myter[12]. Det finns även topplistor, till exempel Hugging Face Hallucination Leaderboard, där modeller jämförs utifrån hallucineringsnivå[13].

Metoder för att mildra och förebygga

  • Retrieval-Augmented Generation (RAG): Det mest framgångsrika tillvägagångssättet, som "binder" modellen till extern kunskap. Innan svaret genereras hämtar modellen relevant information från en databas, ett söksystem eller ett API. Detta gör det möjligt för modellen att basera svaret på verifierade data snarare än gissningar[2].
  • Resonemangkedjor (Chain-of-Thought) och självkontroll: Modellen genererar först ett steg-för-steg-resonemang innan den ger det slutliga svaret, vilket ökar noggrannheten. I mer avancerade metoder, såsom Self-Verification, genererar modellen ett utkast till svar och får sedan i uppgift att kontrollera och korrigera det[14].
  • Inbyggda regler och filter: Modeller tränas att avböja svar om de är osäkra. Till exempel följer Anthropics Claude-modeller principen om "ärlighet" och svarar ofta "Jag vet inte säkert...", i stället för att hitta på fakta[11].
  • Integration med externa verktyg: Modeller som Gemini kan automatiskt känna igen när de behöver ett externt verktyg (till exempel en kalkylator för beräkningar eller sökning för aktuella nyheter) och använda det, vilket avsevärt minskar antalet hallucinationer[11].

Risker och konsekvenser

  • Juridiska och ryktesmässiga risker: Inom det juridiska området kan hallucinationer få allvarliga konsekvenser. Det välkända fallet Mata v. Avianca (2023) fick bred uppmärksamhet, där en advokat använde ChatGPT för att söka efter rättsliga prejudikat och modellen hittade på flera icke-existerande fall. Advokaterna bötfälldes och händelsen blev en läxa om otillåtligheten att lita på AI utan kontroll[1].
  • Spridning av desinformation: I samhällsskala kan LLM förstärka problemet med falska nyheter. Det är känt att Metas modell Galactica, som skapades för att hjälpa forskare, började generera pseudovetenskapliga texter med påhittade experiment och referenser. Efter tre dagar stängdes allmänhetens tillgång till modellen[15].
  • Felaktiga beslut: Användare, särskilt ovana sådana, tenderar att lita på säkert formulerade AI-svar, vilket kan leda till felaktiga beslut inom ekonomi, medicin och andra kritiska områden[7].

Praktiska exempel

  • Fallet med Air Canada (2023): Flygbolagets chattbot hittade på en icke-existerande återbetalningspolicy. När en kund krävde att den skulle tillämpas vägrade företaget. Kanadas transporttribunal förpliktade Air Canada att ta ansvar för informationen som lämnats av dess chattbot och ersätta kunden för dennes förluster[9].
  • Stämning om ärekränkning mot OpenAI (2023): Radioprogramledaren Mark Walters stämde OpenAI för att ChatGPT, i ett svar på en journalists förfrågan, falskeligen anklagat honom för bedrägeri. Fallet underströk det juridiska ansvaret för företag gällande innehåll som genereras av deras modeller[6].

Referenser

  • The Beginner's Guide to Hallucinations in Large Language Models — en detaljerad guide från Lakera
  • Survey of Hallucination in Natural Language Generation — en vetenskaplig översikt av fenomenet på arXiv

Litteratur

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

Noter

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [2]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [3]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [4]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [7]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [8]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [9]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [10]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [11]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [12]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.info/int/index.php?title=Hallucinationer_och_felaktiga_svar_från_LLM&oldid=2819"