Erklärbare KI

From Systems analysis Wiki
Jump to navigation Jump to search

Erklärbare Künstliche Intelligenz (Explainable AI, XAI) ist ein Forschungsgebiet und eine Reihe von Methoden im Bereich der künstlichen Intelligenz, die darauf abzielen, die Entscheidungen und das Verhalten von Modellen des maschinellen Lernens für den Menschen verständlich zu machen[1]. Das Hauptziel von XAI ist es, komplexe, intransparente Modelle, oft als „Black Boxes“ bezeichnet, in „transparente“ oder „gläserne Boxen“ (Glass Boxes) zu verwandeln, die erklären können, wie sie zu ihren Entscheidungen gelangen.

Die Notwendigkeit der Erklärbarkeit hat mit der Entwicklung komplexer Modelle, insbesondere großer Sprachmodelle (LLMs), stark zugenommen. Trotz ihrer hohen Genauigkeit verfügen diese Modelle über interne Mechanismen, die für Entwickler und Nutzer nicht offensichtlich sind. Mangelnde Transparenz birgt Risiken, da das Modell versteckte Fehler aufweisen, Voreingenommenheit (Bias) zeigen oder unzuverlässige Informationen generieren kann, deren Ursachen ohne entsprechende Erklärungen nicht nachvollziehbar sind[2].

Bedeutung und Notwendigkeit von XAI

Die Notwendigkeit einer erklärbaren KI wird sowohl von der wissenschaftlichen Gemeinschaft als auch von Regulierungsbehörden anerkannt. Die Entwicklung von XAI ist entscheidend für das Verständnis des Verhaltens, der Grenzen und der sozialen Auswirkungen komplexer KI-Systeme.

  • Vertrauen und Akzeptanz von Technologien. Nutzer, insbesondere in kritischen Bereichen wie Medizin und Finanzen, neigen dazu, Systemen zu vertrauen, die ihre Schlussfolgerungen begründen können. Erklärungen erhöhen die Transparenz und die Zuversicht, dass das Modell korrekt und ethisch arbeitet[3].
  • Erkennung und Minderung von Voreingenommenheit (Bias). Erklärbarkeit hilft aufzudecken, ob ein Modell auf unerwünschten oder unethischen Korrelationen in den Daten beruht (z. B. im Zusammenhang mit Ethnie, Geschlecht oder Alter). Dies ermöglicht es Entwicklern, algorithmische Voreingenommenheit zu erkennen und zu korrigieren[1].
  • Zuverlässigkeit und Robustheit. Interpretierbarkeit hilft, Schwachstellen des Modells zu identifizieren, einschließlich der Anfälligkeit für kontradiktorische Angriffe (adversarial attacks), und seine Widerstandsfähigkeit gegenüber kleinen Störungen der Eingabedaten zu erhöhen.
  • Einhaltung regulatorischer Anforderungen. Gesetze wie die DSGVO in der Europäischen Union verankern das Recht auf eine Erklärung für Entscheidungen, die von automatisierten Systemen getroffen werden. Das XAI-Programm der DARPA (Defense Advanced Research Projects Agency des US-Verteidigungsministeriums), das 2017 gestartet wurde, zielte ebenfalls darauf ab, KI-Systeme zu schaffen, die den Nutzern interpretierbare Erklärungen liefern können[4].

Ansätze zur Erklärbarkeit von Modellen

Die Methoden von XAI lassen sich grob in zwei Hauptkategorien einteilen: interpretierbare Modelle, die „von Natur aus“ transparent sind (interpretable by design), und Post-hoc-Methoden, die Black-Box-Modelle nach dem Training erklären.

Interpretierbare Modelle („White Boxes“)

Dies sind Algorithmen, deren interne Struktur von Natur aus einfach und für den Menschen verständlich ist. Dazu gehören:

  • Lineare Regression
  • Logistische Regression
  • Entscheidungsbäume mit geringer Tiefe
  • Regelbasierte Systeme (Rule-based systems)

Solche Modelle sind leicht zu interpretieren, erzielen jedoch bei komplexen Daten oft eine geringere Genauigkeit als komplexere Modelle (z. B. tiefe neuronale Netze). Es besteht ein Kompromiss zwischen Genauigkeit und Interpretierbarkeit[1].

Post-hoc-Erklärungsmethoden („Black Boxes“)

Diese Methoden werden auf bereits trainierte, komplexe Modelle angewendet, ohne ihre interne Struktur zu verändern. Sie erzeugen zusätzliche Informationen, die helfen, die Logik der Vorhersagen zu verstehen. Post-hoc-Erklärungen werden in lokale und globale Erklärungen unterteilt.

Lokale Erklärungen

Lokale Methoden erklären eine einzelne Vorhersage des Modells für ein bestimmtes Eingabebeispiel.

  • LIME (Local Interpretable Model-agnostic Explanations): Eine der populärsten Methoden. LIME erstellt ein einfaches, interpretierbares Surrogatmodell (z. B. eine lineare Regression) in der lokalen Umgebung einer bestimmten Vorhersage, das das Verhalten des komplexen Black-Box-Modells approximiert[1].
  • SHAP (SHapley Additive exPlanations): Basiert auf den Shapley-Werten aus der kooperativen Spieltheorie. SHAP berechnet den Beitrag jedes Merkmals zur endgültigen Vorhersage, indem der „Gewinn“ (die Differenz zwischen der Vorhersage und dem Durchschnittswert) fair auf die Merkmale verteilt wird. Diese Methode liefert theoretisch fundierte und konsistente Erklärungen[5].
  • Kontrafaktische Erklärungen: Generieren „Was-wäre-wenn“-Szenarien. Sie zeigen, welche minimalen Änderungen an den Eingabedaten zu einem anderen Ergebnis geführt hätten (z. B. „Ihr Kredit wäre genehmigt worden, wenn Ihr Jahreseinkommen um 5000 $ höher gewesen wäre“)[1].

Globale Erklärungen

Globale Methoden zielen darauf ab, die allgemeine Logik eines Modells oder sein Wissen als Ganzes zu erklären. Dazu gehören die Analyse der Merkmalswichtigkeit über den gesamten Datensatz sowie die Visualisierung der internen Repräsentationen des Modells.

Erklärbarkeit für große Sprachmodelle (LLMs)

Große Sprachmodelle stellen eine besondere Herausforderung und zugleich neue Möglichkeiten für XAI dar. Ihre immense Größe und Komplexität erschweren die Anwendung traditioneller Methoden, aber ihre Fähigkeit, mit natürlicher Sprache zu arbeiten, eröffnet neue Wege für Erklärungen.

Analyse von Aufmerksamkeitsmechanismen (Attention Visualization)

Der Self-Attention-Mechanismus in der Transformer-Architektur ermöglicht die Visualisierung, auf welche Teile des Eingabetextes (Tokens) das Modell beim Generieren einer Antwort „achtet“. Obwohl dies eine intuitive Vorstellung von der Funktionsweise des Modells vermittelt, wird in der wissenschaftlichen Gemeinschaft diskutiert, ob Aufmerksamkeit eine vollwertige Erklärung ist, da eine hohe Wichtigkeit gemäß den Attention-Gewichten nicht immer eine kausale Beziehung bedeutet[6].

Mechanistische Interpretierbarkeit

Dies ist die tiefste Ebene der Erklärbarkeit, die auf das vollständige Reverse-Engineering der Funktionsweise eines neuronalen Netzes abzielt. Forscher versuchen, bestimmte „Schaltkreise“ (circuits) – Gruppen von Neuronen und ihre Verbindungen – zu identifizieren und zu verstehen, die bestimmte algorithmische Funktionen implementieren (z. B. die Erkennung einer syntaktischen Struktur oder das Abrufen eines Fakts)[7].

Erklärung durch natürliche Sprache

Eine einzigartige Fähigkeit von LLMs ist es, sich selbst zu erklären. Mithilfe von Prompting-Techniken wie Chain-of-Thought kann das Modell dazu gebracht werden, schrittweise Überlegungen zu generieren, die zu seiner Schlussfolgerung geführt haben. Dies macht den Entscheidungsprozess für den Nutzer transparent. Solche Erklärungen können jedoch unzuverlässig (unfaithful) sein – das Modell kann eine überzeugende, aber falsche Begründung generieren, die nicht seinen tatsächlichen internen Prozess widerspiegelt[8].

Einzelnachweise

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Arrieta, A. B. et al. «Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI». Information Fusion, 2020. [1]
  2. ↑ Zhao, H. et al. «Explainability for Large Language Models: A Survey». arXiv:2309.01512, 2023. [2]
  3. ↑ „What is Explainable AI (XAI)?“. IBM. [3]
  4. ↑ „Explainable Artificial Intelligence“. DARPA. [4]
  5. ↑ Linardatos, P. et al. «Explainable AI: A Review of Machine Learning Interpretability Methods». Entropy, 2021. [5]
  6. ↑ Jain, S. & Wallace, B. C. «Attention is not Explanation». arXiv:1902.10186, 2019. [6]
  7. ↑ Lan, Q. et al. «Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models». arXiv:2311.04131, 2023. [7]
  8. ↑ Singh, C. et al. «Rethinking Interpretability in the Era of Large Language Models». arXiv:2402.01761, 2024. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Erklärbare_KI&oldid=2029"