Reduzierung von Fehlern in LLMs

Die Reduzierung von Fehlern in großen Sprachmodellen (LLMs) ist ein Komplex von Methoden und Technologien, die darauf abzielen, die Genauigkeit, Zuverlässigkeit und Sicherheit von Systemen der künstlichen Intelligenz zu erhöhen, die auf der Transformer-Architektur basieren. Das Problem der Fehler, insbesondere der Halluzinationen, ist eine der größten Hürden für den breiten Einsatz von LLMs in kritischen Bereichen. Laut Studien aus den Jahren 2024–2025 liegt die Häufigkeit von Halluzinationen bei öffentlich zugänglichen LLMs zwischen 3 % und 16 %.

Fehlertypologie

Die moderne Klassifikation von LLM-Fehlern umfasst mehrere Hauptkategorien, von denen jede spezifische Ansätze zur Mitigation (Abschwächung der Folgen) erfordert.

Halluzinationen

Halluzinationen sind die Generierung plausibler, aber faktisch falscher Inhalte. Laut einer Studie von Huang et al. (2023) werden zwei Haupttypen unterschieden:

• Faktische Halluzinationen — Abweichungen von überprüfbaren Fakten, einschließlich der Erstellung nicht existierender Fakten (Fabrikation). In einer Studie aus dem Jahr 2024 stellte die Stanford University fest, dass LLMs mehr als 120 nicht existierende Gerichtsverfahren erfunden haben.
• Logische Halluzinationen — Verletzung der logischen Kohärenz in der Argumentation.

Statistiken aus dem Jahr 2024 zeigen, dass Chatbots in 27 % der Fälle halluzinieren, wobei 46 % der generierten Texte sachliche Fehler enthalten.

Systematische Verzerrungen (Bias)

Verzerrungen in LLMs manifestieren sich in Form von sozialen Vorurteilen (z. B. die Assoziation von Berufen mit einem bestimmten Geschlecht) und demografischen Leistungsunterschieden. Studien aus dem Jahr 2024 zeigten, dass bei 10 getesteten Modellen der Bewertungsunterschied zwischen verschiedenen demografischen Gruppen bis zu 4 von 10 Punkten betragen kann.

Toxizität

Toxizität wird als die Erzeugung von beleidigenden, schädlichen oder diskriminierenden Inhalten definiert. Die Metrik für Toxizität variiert je nach Modell und Anwendungskontext in einem weiten Bereich.

Methoden zur Fehlerreduzierung

Strategien zur Fehlerbekämpfung lassen sich in zwei große Gruppen einteilen: Methoden, die das Modell und den Trainingsprozess modifizieren, und Methoden, die während der Inferenzphase angewendet werden.

Modifikation des Modells und des Trainingsprozesses

Fine-Tuning und Instruction-Tuning

Supervised Fine-Tuning (SFT) ermöglicht die Anpassung vor-trainierter Modelle an spezifische Aufgaben. Zur Reduzierung des Rechenaufwands werden Methoden des Parameter-Efficient Fine-Tuning (PEFT) eingesetzt, wie LoRA und QLoRA, die die Kosten für das Nachtraining um bis zu 99 % senken können, während die Effektivität erhalten bleibt.

Reinforcement Learning from Human Feedback (RLHF)

RLHF ist ein zweistufiger Prozess, bei dem zunächst ein Belohnungsmodell auf der Grundlage menschlicher Präferenzen trainiert wird. Anschließend wird das Haupt-LLM so optimiert, dass es Antworten generiert, die diese Belohnung maximieren. Diese Methode hat sich in Modellen wie InstructGPT und GPT-4 als wirksam erwiesen und deren Übereinstimmung mit den Nutzererwartungen erheblich verbessert.

Constitutional AI

Die von Anthropic entwickelte Methode der Constitutional AI ist eine Alternative zu RLHF. Anstelle von direktem menschlichem Feedback wird das Modell darauf trainiert, einem Satz von Prinzipien (einer „Verfassung“) zu folgen. Dies reduziert den Bedarf an menschlicher Aufsicht um 80–90 % und verhindert effektiv die Erzeugung schädlicher Inhalte.

Architekturelle Lösungen

• Mixture of Experts (MoE): Eine Architektur mit dünnbesetzter Aktivierung (sparse activation), die es ermöglicht, die Kapazität des Modells erheblich zu erhöhen, ohne den Rechenaufwand proportional zu steigern. Es wird angenommen, dass GPT-4 8 Experten mit jeweils 220 Milliarden Parametern verwendet.
• Modifikationen des Attention-Mechanismus: Techniken wie Grouped Query Attention (GQA) (in den Llama-3-Modellen) und Sparse Attention reduzieren die Rechenkomplexität und den Speicherbedarf, wodurch die Verarbeitung längerer Kontexte ermöglicht wird.

Methoden in der Inferenzphase

Retrieval-Augmented Generation (RAG)

RAG ist eine der effektivsten Methoden zur Reduzierung von sachlichen Fehlern. Vor der Generierung einer Antwort greift das System auf eine externe Wissensdatenbank zu (z. B. Wikipedia, Unternehmensdokumentation, wissenschaftliche Artikel), extrahiert relevante Informationen und übergibt diese zusammen mit der ursprünglichen Anfrage an das Modell. Dies „erdet“ (grounds) die Antwort in überprüften Fakten. RAG-Systeme erreichen einen exact match von 56,8 % auf dem TriviaQA-Benchmark und übertreffen herkömmliche Modelle bei der Reduzierung von sachlichen Fehlern um 60–80 %.

Fortgeschrittene Prompting-Techniken

• Chain-of-Thought (CoT): Ein Prompting-Ansatz, der das Modell dazu anleitet, eine schrittweise Argumentationskette zu generieren, bevor es die endgültige Antwort gibt. Dies verbessert die Ergebnisse bei Aufgaben, die logisches und mathematisches Denken erfordern, erheblich.
• Chain of Draft (CoD): Eine Weiterentwicklung von CoT, bei der das Modell iterativ Entwürfe seiner Antwort bearbeitet. Dies ermöglicht eine mit CoT vergleichbare Genauigkeit bei deutlich geringerem Token-Verbrauch.

Intrinsische Selbstkorrektur (Intrinsic Self-Correction)

Studien in TACL 2024 zeigten, dass die Fähigkeit von LLMs zur Selbstkorrektur ohne externe Informationen begrenzt ist. Eine effektive Selbstkorrektur erfordert in der Regel den Einsatz externer Werkzeuge, wie z. B. Code-Interpreter zur Überprüfung von Berechnungen oder Suchmaschinen zur Faktenvalidierung.

Methoden zur Fehlerbewertung

Zur Messung des Fortschritts bei der Fehlerreduzierung werden spezialisierte Metriken und Benchmarks verwendet.

• Traditionelle Metriken: Perplexity, BLEU und ROUGE. Sie sind nützlich zur Bewertung der Sprachflüssigkeit und der Übereinstimmung von n-Grammen, eignen sich jedoch schlecht zur Bewertung der faktischen Genauigkeit.
• Moderne Ansätze:
  • FactScore zerlegt lange Texte in atomare Fakten und bewertet den prozentualen Anteil der Fakten, die durch eine Wissensdatenbank bestätigt werden.
  • SAFE (Search-Augmented Factuality Evaluator) – eine Methode von Google, die eine Suche zur Faktenüberprüfung nutzt, eine Übereinstimmung von 72 % mit menschlichen Bewertungen erzielt und dabei 20-mal kostengünstiger ist.
  • TruthfulQA – ein Benchmark, der sich auf die Fähigkeit von Modellen konzentriert, die Generierung weit verbreiteter Irrtümer zu vermeiden.

Literatur

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.