Foutreductie in LLM

Foutreductie in grote taalmodellen (LLM) is een geheel van methoden en technologieën gericht op het verbeteren van de nauwkeurigheid, betrouwbaarheid en veiligheid van op transformer-architectuur gebaseerde systemen voor kunstmatige intelligentie. Het probleem van fouten, met name hallucinaties, vormt een van de belangrijkste barrières voor de brede inzet van LLM in kritieke toepassingsgebieden. Volgens onderzoek uit 2024–2025 ligt de frequentie van hallucinaties in publiek beschikbare LLM tussen de 3% en 16%.

Typologie van fouten

De moderne classificatie van LLM-fouten omvat enkele hoofdcategorieën, elk met specifieke benaderingen voor mitigatie (het beperken van gevolgen).

Hallucinaties

Hallucinaties zijn het genereren van aannemelijke maar feitelijk onjuiste inhoud. Volgens het onderzoek van Huang et al. (2023) worden twee hoofdtypen onderscheiden:

• Feitelijke hallucinaties — afwijkingen van verifieerbare feiten, waaronder het verzinnen van niet-bestaande feiten (fabricatie). In een onderzoek uit 2024 ontdekte Stanford University dat LLM meer dan 120 niet-bestaande rechtszaken hadden verzonnen.
• Logische hallucinaties — verstoringen in de logische samenhang van redeneerprocessen.

Statistieken uit 2024 tonen aan dat chatbots in 27% van de gevallen hallucineren, waarbij 46% van de gegenereerde teksten feitelijke fouten bevat.

Systematische vertekeningen (Bias)

Vertekeningen in LLM manifesteren zich als sociale vooroordelen (bijvoorbeeld het associëren van beroepen met een bepaald geslacht) en demografische prestatieverschillen. Onderzoek uit 2024 toonde aan dat bij 10 geteste modellen het verschil in scores voor verschillende demografische groepen kan oplopen tot 4 punten op een schaal van 10.

Toxiciteit

Toxiciteit wordt gedefinieerd als het genereren van aanstootgevende, schadelijke of discriminerende inhoud. De toxiciteitsmeting varieert sterk afhankelijk van het model en de gebruikscontext.

Methoden voor foutreductie

Strategieën ter bestrijding van fouten kunnen worden onderverdeeld in twee grote groepen: methoden die het model en het trainingsproces aanpassen, en methoden die worden toegepast tijdens de inferentiefase.

Aanpassing van het model en het trainingsproces

Fine-tuning en Instruction Tuning

Supervised Fine-Tuning (SFT) maakt het mogelijk voorgetrainde modellen aan te passen aan specifieke taken. Om de rekenkundige kosten te verlagen worden methoden voor Parameter-Efficient Fine-Tuning (PEFT) toegepast, zoals LoRA en QLoRA, die de kosten van het bijtrainen met tot 99% kunnen verminderen met behoud van effectiviteit.

Reinforcement Learning from Human Feedback (RLHF)

RLHF is een tweefasenproces waarbij eerst een beloningsmodel wordt getraind op basis van menselijke voorkeuren, waarna de hoofd-LLM wordt geoptimaliseerd om antwoorden te genereren die deze beloning maximaliseren. De methode heeft haar effectiviteit bewezen in de modellen InstructGPT en GPT-4, waarbij de aansluiting bij gebruikersverwachtingen aanzienlijk werd verbeterd.

Constitutional AI

De methode Constitutional AI, ontwikkeld door Anthropic, is een alternatief voor RLHF. In plaats van directe menselijke feedback wordt het model getraind om een reeks principes (de 'constitutie') te volgen. Dit vermindert de behoefte aan menselijk toezicht met 80–90% en voorkomt effectief de generatie van schadelijke inhoud.

Architecturale oplossingen

• Mixture of Experts (MoE): Een architectuur met schaarse activering waarmee de capaciteit van het model aanzienlijk kan worden vergroot zonder evenredige toename van de rekenkundige kosten. Verondersteld wordt dat GPT-4 gebruikmaakt van 8 experts met elk 220 miljard parameters.
• Aanpassingen van het aandachtsmechanisme: Technieken zoals Grouped Query Attention (GQA) (in Llama 3-modellen) en Sparse Attention verminderen de rekenkundige complexiteit en geheugenvereisten, waardoor langere contexten verwerkt kunnen worden.

Methoden tijdens de inferentiefase

Retrieval-Augmented Generation (RAG)

RAG is een van de meest effectieve methoden voor het reduceren van feitelijke fouten. Vóór het genereren van een antwoord raadpleegt het systeem een externe kennisbasis (bijvoorbeeld Wikipedia, bedrijfsdocumentatie, wetenschappelijke artikelen), haalt relevante informatie op en geeft deze samen met de oorspronkelijke query door aan het model. Dit 'verankerт' het antwoord in geverifieerde feiten. RAG-systemen bereiken 56,8% exact match op de benchmark TriviaQA en overtreffen traditionele modellen met 60–80% in het reduceren van feitelijke fouten.

Geavanceerde promptingtechnieken

• Chain-of-Thought (CoT): Prompting waarbij het model wordt aangezet een stapsgewijze redeneerreeks te genereren voordat het een definitief antwoord geeft. Dit verbetert de resultaten aanzienlijk bij taken die logisch en wiskundig redeneren vereisen.
• Chain of Draft (CoD): Een verdere ontwikkeling van CoT, waarbij het model iteratief conceptversies van zijn antwoord bewerkt, waarmee een nauwkeurigheid vergelijkbaar met CoT wordt bereikt met gebruik van aanzienlijk minder tokens.

Intrinsieke zelfcorrectie (Intrinsic Self-Correction)

Onderzoek van TACL uit 2024 toonde aan dat het vermogen van LLM tot zelfcorrectie zonder externe informatie beperkt is. Effectieve zelfcorrectie vereist doorgaans het gebruik van externe hulpmiddelen, zoals code-interpreters voor het controleren van berekeningen of zoekmachines voor de validatie van feiten.

Methoden voor foutbeoordeling

Voor het meten van vooruitgang in foutreductie worden gespecialiseerde metrieken en benchmarks gebruikt.

• Traditionele metrieken: Perplexity, BLEU en ROUGE. Deze zijn nuttig voor het beoordelen van vloeiendheid en n-gram-overeenkomst, maar schieten tekort bij het beoordelen van feitelijke nauwkeurigheid.
• Moderne benaderingen:
  • FactScore splitst lange teksten op in atomaire feiten en beoordeelt welk percentage van de feiten door een kennisbasis wordt ondersteund.
  • SAFE (Search-Augmented Factuality Evaluator) — een methode van Google die zoekfunctionaliteit gebruikt voor feitencontrole en 72% overeenstemming bereikt met menselijke beoordelingen, tegen 20 keer lagere kosten.
  • TruthfulQA — een benchmark gericht op het vermogen van modellen om de generatie van gangbare misvattingen te vermijden.

Literatuur

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.