Halluzinationen und fehlerhafte Antworten von LLMs

From Systems analysis Wiki
Jump to navigation Jump to search

Halluzination (engl. hallucination) im Kontext von großen Sprachmodellen (LLMs) ist ein Phänomen, bei dem ein Modell selbstbewusst eine plausibel erscheinende (plausible) Antwort generiert, die jedoch tatsächlich nicht der Realität, dem gegebenen Kontext entspricht oder in sich widersprüchlich ist[1][2]. Das Modell „erfindet“ Fakten, Details oder logische Schlussfolgerungen, die in den ursprünglichen Daten nicht vorhanden sind.

Es ist wichtig zu betonen, dass eine Halluzination kein Fehler oder Bug im herkömmlichen Sinne ist. Das Modell funktioniert so, wie es konzipiert wurde: Es sagt die wahrscheinlichste Fortsetzung eines Textes auf der Grundlage von Mustern voraus, die es aus den Trainingsdaten extrahiert hat. Es verfügt über keinen eingebauten Mechanismus zur Wahrheitsüberprüfung[3]. Halluzinationen unterscheiden sich von einfachen Fehlern dadurch, dass sie selbstbewusst präsentierte, aber falsche Informationen darstellen, die oft nicht existierende Fakten, Zitate oder Ereignisse beinhalten[4]. Dieses Phänomen ist so bedeutsam geworden, dass das Cambridge Dictionary im Jahr 2023 eine neue, auf künstliche Intelligenz bezogene Bedeutung des Begriffs „hallucination“ hinzugefügt hat[5].

Definitionen und Klassifikation von Halluzinationen

Obwohl verschiedene Begriffe verwendet werden (z. B. „Konfabulation“, „Erfindung“), lassen sich Halluzinationen in LLMs in zwei große Kategorien einteilen: solche, die mit der faktischen Korrektheit zusammenhängen, und solche, die sich auf die Quellentreue (kontextuelle Konsistenz) beziehen[6].

Faktische Halluzinationen

Dies ist der Fall, wenn das Modell faktisch falsche Informationen über die reale Welt liefert. Das Modell behauptet eine falsche „Tatsache“ als Wahrheit[1].

  • Beispiel: „Charles Lindbergh war der erste Mensch, der die Mondoberfläche betrat“ — eine vollständig erfundene Tatsache.
  • Falsche Zitate und Quellenangaben: Das Modell kann eine Referenz auf eine nicht existierende wissenschaftliche Arbeit oder ein Gesetz erfinden, indem es das Format einer echten Quellenangabe nachahmt[2]. Dies untergräbt das Vertrauen in die Modelle, insbesondere in Anwendungen, die Genauigkeit erfordern (Bildung, Nachrichten, Beratung)[7].

Logische Fehler

Das Modell macht einen Denkfehler oder eine Inkonsistenz in seiner Argumentation. Einzelne Fakten in der Antwort mögen korrekt sein, aber die Schlussfolgerung ist unlogisch oder widerspricht der elementaren Logik[2]. Dies geschieht häufig bei komplexen Überlegungen oder bei Aufgaben zu Mathematik und Kausalität, bei denen das Modell mit probabilistischen Wortbeziehungen statt mit formaler Logik operiert[2][2].

  • Beispiel: „Da Vögel fliegen, erleben Astronauten keine Schwerkraft“ — der Text wirkt zusammenhängend, ist aber logisch falsch.

Kontextuelle Halluzinationen

Die Antwort des Modells entspricht nicht dem gegebenen Kontext oder der Anweisung. Das Modell „fällt“ aus dem Kontext, indem es überflüssige Informationen hinzufügt oder notwendige ignoriert[1].

  • Verstoß gegen Anweisungen: Auf die Bitte, „den Text ins Spanische zu übersetzen“, antwortet das Modell auf Englisch[1].
  • Informationen, die nicht aus der Quelle stammen: Bei einer Zusammenfassungsaufgabe „fügt“ das Modell Fakten hinzu, die im Originaldokument nicht enthalten sind, oder verdreht sie[1].
  • Vermischung von Kontexten: Mitten in einer Antwort beginnt das Modell plötzlich, über etwas aus einem anderen Bereich zu sprechen. Beispielsweise kann es bei einer Frage zum NBA-Commissioner Adam Silver auf dessen Vorgänger David Stern umschwenken und so zwei verschiedene Kontexte vermischen[6].

Inkonsistenz

Eine Art von Halluzination, bei der sich das Modell innerhalb einer einzigen Antwort oder einer Reihe von Antworten selbst widerspricht[6]. Eine Studie ergab, dass ChatGPT eine Selbstwiderspruchsrate von etwa 14 % bei seinen Antworten aufweist[6][6].

  • Beispiel: „Das Unternehmen X wurde 1990 gegründet … und einige Sätze später … das 2000 gegründete Unternehmen X …“

Halluzinationen in Code

LLMs, die auf Code trainiert wurden, können syntaktisch korrekte, aber nicht funktionierende Codefragmente generieren, indem sie nicht existierende Funktionen, Bibliotheken oder Parameter verwenden[2]. Beispielsweise könnte ein Modell in Python `import quantum` generieren, obwohl ein solches Standardmodul nicht existiert. Im Jahr 2024 wurde der Begriff „code hallucination“ vorgeschlagen und der Benchmark CodeMirage entwickelt, um dieses Problem zu systematisieren[8].

Ursachen

Das Phänomen der Halluzinationen wird durch eine Kombination von Faktoren verursacht, von der Architektur des Modells bis zur Qualität der Daten.

  • Architektur und Trainingsprinzip: Die meisten LLMs (z. B. GPT) sind autoregressive Transformer, die darauf trainiert sind, das nächste Token vorherzusagen. Ihr Ziel ist die Maximierung der Wahrscheinlichkeit des Textes, nicht die Überprüfung der Wahrheit von Aussagen[2]. Das Modell unterscheidet nicht zwischen Fakten und Fiktion in den Trainingsdaten und betrachtet alles als Textmuster[2].
  • Qualität der Trainingsdaten: LLMs werden auf riesigen Textkorpora aus dem Internet trainiert, die viele Ungenauigkeiten, Mythen und veraltete Informationen enthalten[1]. Das Modell speichert und reproduziert diese Fehler. Wichtig ist auch der Knowledge Cutoff – die zeitliche Grenze, bis zu der das Modell Informationen hat.
  • Methode der Textgenerierung: Der stochastische Charakter der Generierung (Sampling mit Temperatur) ermöglicht es dem Modell, „kreativere“, aber weniger genaue Antworten zu erstellen. Eine begrenzte Kontextlänge kann dazu führen, dass das Modell frühere Details eines Gesprächs „vergisst“ und sich selbst widerspricht[6].

Methoden zur Bewertung und Messung

Zur Erkennung und Messung von Halluzinationen werden automatische Metriken, menschliche Bewertungen und spezialisierte Benchmarks eingesetzt.

  • Automatische Metriken: Dazu gehören Ansätze, bei denen ein anderes LLM als „Richter“ fungiert (LLM-as-a-judge), um die Korrektheit einer Antwort zu bewerten[9], oder die Analyse der Entropie (Unsicherheit) des Modells bei der Generierung[10].
  • Menschliche Annotation: Gilt als „Goldstandard“. Experten oder Crowd-Assessoren bewerten die Antworten manuell und markieren Fehler. Diese Methode wird beim Training von Modellen mit RLHF verwendet[11].
  • Benchmarks und Stresstests: Es wurden spezielle Datensätze wie TruthfulQA erstellt, der Fragen enthält, die das Modell dazu provozieren, verbreitete Mythen zu reproduzieren[12]. Es gibt auch Ranglisten, wie zum Beispiel das Hugging Face Hallucination Leaderboard, auf dem Modelle nach ihrem Halluzinationsniveau verglichen werden[13].

Methoden zur Milderung und Vermeidung

  • Retrieval-Augmented Generation (RAG): Der erfolgreichste Ansatz, der das Modell an externes Wissen „bindet“. Vor der Generierung einer Antwort erhält das Modell relevante Informationen aus einer Datenbank, einer Suchmaschine oder einer API. Dies ermöglicht es dem Modell, seine Antwort auf geprüfte Daten zu stützen, anstatt auf Vermutungen[2].
  • Gedankenketten (Chain-of-Thought) und Selbstüberprüfung: Das Modell generiert zuerst eine schrittweise Argumentation, bevor es die endgültige Antwort gibt, was die Genauigkeit erhöht. Bei fortgeschritteneren Methoden wie Self-Verification generiert das Modell eine Entwurfsantwort und erhält dann die Aufgabe, diese zu überprüfen und zu korrigieren[14].
  • Eingebaute Regeln und Filter: Modelle werden darauf trainiert, eine Antwort zu verweigern, wenn sie unsicher sind. Beispielsweise folgen Modelle wie Claude von Anthropic dem Prinzip der „Wahrhaftigkeit“ und antworten oft mit „Ich weiß es nicht genau...“, anstatt Fakten zu erfinden[11].
  • Integration mit externen Werkzeugen: Modelle wie Gemini können automatisch erkennen, wann sie ein externes Werkzeug benötigen (z. B. einen Taschenrechner für Berechnungen oder eine Suche nach aktuellen Nachrichten), und es verwenden, was die Anzahl der Halluzinationen erheblich reduziert[11].

Risiken und Folgen

  • Rechtliche und Reputationsrisiken: Im juristischen Bereich können Halluzinationen schwerwiegende Folgen haben. Große Bekanntheit erlangte der Fall Mata v. Avianca (2023), bei dem ein Anwalt ChatGPT zur Suche nach Präzedenzfällen nutzte und das Modell mehrere nicht existierende Fälle erfand. Die Anwälte wurden mit einer Geldstrafe belegt, und der Vorfall wurde zu einer Lektion über die Unzulässigkeit, KI ohne Überprüfung zu vertrauen[1].
  • Verbreitung von Desinformation: Auf gesellschaftlicher Ebene können LLMs das Problem der Fake News verstärken. Bekannt ist der Fall des Modells Galactica von Meta, das Wissenschaftlern helfen sollte, aber begann, pseudowissenschaftliche Texte mit erfundenen Experimenten und Referenzen zu generieren. Nach drei Tagen wurde der öffentliche Zugang zum Modell eingestellt[15].
  • Treffen von Fehlentscheidungen: Benutzer, insbesondere unerfahrene, neigen dazu, selbstbewusst formulierten KI-Antworten zu vertrauen, was zu falschen Entscheidungen in Finanzen, Medizin und anderen kritischen Bereichen führen kann[7].

Beispiele aus der Praxis

  • Fall Air Canada (2023): Der Chatbot der Fluggesellschaft erfand eine nicht existierende Richtlinie zur Ticketrückerstattung. Als ein Kunde deren Anwendung forderte, lehnte das Unternehmen ab. Das kanadische Verkehrstribunal verpflichtete Air Canada, die Verantwortung für die von ihrem Chatbot bereitgestellten Informationen zu übernehmen und dem Kunden den Schaden zu ersetzen[9].
  • Verleumdungsklage gegen OpenAI (2023): Der Radiomoderator Mark Walters verklagte OpenAI, weil ChatGPT ihn in einer Antwort auf die Anfrage eines Journalisten fälschlicherweise des Betrugs beschuldigt hatte. Dieser Fall unterstrich die rechtliche Verantwortung von Unternehmen für die von ihren Modellen generierten Inhalte[6].

Literatur

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O’Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

Einzelnachweise

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 „The Beginner's Guide to Hallucinations in Large Language Models“. Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 „What Is LLM Hallucination and How To Prevent It“. Astera. [2]
  3. ↑ „Hallucination (artificial intelligence)“. In Wikipedia. [3]
  4. ↑ „OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'“. [Quelle im Text nicht angegeben].
  5. ↑ „Cambridge Dictionary adds new definition for 'hallucinate'“. [Quelle im Text nicht angegeben].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 „LLM Hallucination—Types, Causes, and Solutions“. Nexla. [4]
  7. ↑ 7.0 7.1 „Effective Tips to Prevent AI Hallucinations in Generative AI“. QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 „LLM hallucinations and failures: lessons from 4 examples“. Evidently AI Blog. [7]
  10. ↑ „How to Perform Hallucination Detection for LLMs“. Kolena. [8]
  11. ↑ 11.0 11.1 11.2 „ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report“. DataStudios. [9]
  12. ↑ „Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models“. Stephen Weber on Medium. [10]
  13. ↑ „LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes“. Arize Blog. [11]
  14. ↑ „Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation“. arXiv. [12]
  15. ↑ „Why Meta Took Down its 'Hallucinating' AI Model Galactica?“. Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.info/int/index.php?title=Halluzinationen_und_fehlerhafte_Antworten_von_LLMs&oldid=2821"