Minskning av LLM-fel

Minskning av fel i stora språkmodeller (LLM) — ett komplex av metoder och teknologier som syftar till att öka precisionen, tillförlitligheten och säkerheten hos artificiella intelligenssystem baserade på transformer-arkitektur. Problemet med fel, i synnerhet hallucinationer, är ett av de viktigaste hindren för ett brett införande av LLM i kritiskt viktiga områden. Enligt forskning från 2024–2025 är frekvensen av hallucinationer i offentligt tillgängliga LLM mellan 3 % och 16 %.

Feltypologi

Den moderna klassificeringen av LLM-fel omfattar flera huvudkategorier, var och en av vilka kräver specifika metoder för mitigering (konsekvensreducering).

Hallucinationer

Hallucinationer utgörs av generering av trovärdig men faktamässigt felaktig information. Enligt en studie av Huang m.fl. (2023) urskiljs två huvudtyper:

• Faktahallucinationer — avvikelser från verifierbara fakta, inklusive skapandet av icke-existerande fakta (fabrikation). I en studie från 2024 konstaterade Stanford University att LLM hade uppfunnit mer än 120 icke-existerande rättsfall.
• Logiska hallucinationer — brott mot den logiska sekvensen i resonemang.

Statistik från 2024 visar att chattbotar hallucinerarar i 27 % av fallen, varav 46 % av de genererade texterna innehåller faktafel.

Systematiska snedvridningar (Bias)

Snedvridningar i LLM manifesterar sig som sociala fördomar (t.ex. associationer av yrken med ett visst kön) och demografiska prestandaskillnader. Forskning från 2024 visade att bland 10 testade modeller kan skillnaden i betyg för olika demografiska grupper uppgå till 4 poäng av 10.

Toxicitet

Toxicitet definieras som generering av kränkande, skadligt eller diskriminerande innehåll. Toxicitetsmetriken varierar kraftigt beroende på modell och användningskontext.

Metoder för att minska fel

Strategier för att bekämpa fel kan delas in i två stora grupper: metoder som modifierar modellen och träningsprocessen, samt metoder som tillämpas i inferensfasen.

Modifiering av modell och träningsprocess

Fine-tuning och Instruction Tuning

Supervised Fine-Tuning (SFT) gör det möjligt att anpassa förtränade modeller till specifika uppgifter. För att minska beräkningskostnader används metoder för Parameter-Efficient Fine-Tuning (PEFT), såsom LoRA och QLoRA, vilka kan reducera kostnaderna för ytterligare träning med upp till 99 % och ändå bevara effektiviteten.

Reinforcement Learning from Human Feedback (RLHF)

RLHF är en tvåstegsprocess där en belöningsmodell först tränas utifrån mänskliga preferenser, varefter huvud-LLM optimeras för att generera svar som maximerar denna belöning. Metoden har visat sin effektivitet i modellerna InstructGPT och GPT-4, och har avsevärt förbättrat deras överensstämmelse med användarnas förväntningar.

Constitutional AI

Metoden Constitutional AI, utvecklad av Anthropic, är ett alternativ till RLHF. Istället för direkt mänsklig återkoppling tränas modellen att följa en uppsättning principer (en «konstitution»). Detta minskar behovet av mänsklig tillsyn med 80–90 % och förhindrar effektivt generering av skadligt innehåll.

Arkitekturlösningar

• Mixture of Experts (MoE): En arkitektur med gles aktivering som möjliggör en betydande ökning av modellens kapacitet utan proportionell ökning av beräkningskostnaderna. GPT-4 antas använda 8 experter med 220 miljarder parametrar vardera.
• Modifieringar av uppmärksamhetsmekanismen: Tekniker som Grouped Query Attention (GQA) (i Llama 3-modeller) och Sparse Attention minskar beräkningskomplexiteten och minneskraven, vilket möjliggör bearbetning av längre kontexter.

Metoder i inferensfasen

Retrieval-Augmented Generation (RAG)

RAG är en av de mest effektiva metoderna för att minska faktafel. Innan ett svar genereras hämtar systemet relevant information från en extern kunskapsbas (t.ex. Wikipedia, företagsdokumentation, vetenskapliga artiklar) och skickar den till modellen tillsammans med den ursprungliga frågan. Detta «förankrar» svaret i verifierade fakta. RAG-system uppnår 56,8 % exact match på benchmark TriviaQA och överträffar traditionella modeller med 60–80 % i minskning av faktafel.

Avancerade promptningstekniker

• Chain-of-Thought (CoT): Promptning som uppmuntrar modellen att generera ett stegvis resonemang innan det slutliga svaret ges. Detta förbättrar avsevärt resultaten i uppgifter som kräver logiska och matematiska beräkningar.
• Chain of Draft (CoD): En vidareutveckling av CoT där modellen iterativt redigerar utkast till sitt svar, vilket möjliggör en precision jämförbar med CoT men med betydligt färre tokens.

Intrinsic Self-Correction - Intern självkorrigering

Forskning från TACL 2024 visade att LLM:s förmåga till självkorrigering utan extern information är begränsad. Effektiv självkorrigering kräver i regel externa verktyg, såsom kodtolkar för verifiering av beräkningar eller sökmotorer för faktavalidering.

Metoder för felbedömning

För att mäta framstegen i felreducering används specialiserade metriker och benchmarks.

• Traditionella metriker: Perplexity, BLEU och ROUGE. De är användbara för att bedöma flyt och n-gram-överensstämmelse, men hanterar dåligt bedömning av faktamässig precision.
• Moderna metoder:
  • FactScore bryter ned långa texter i atomära fakta och utvärderar andelen fakta som bekräftas av en kunskapsbas.
  • SAFE (Search-Augmented Factuality Evaluator) — en metod från Google som använder sökning för faktakontroll och uppnår 72 % överensstämmelse med mänskliga bedömningar, till en kostnad som är 20 gånger lägre.
  • TruthfulQA — ett benchmark som fokuserar på modellernas förmåga att undvika generering av vanliga missuppfattningar.

Litteratur

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.