Uitlegbare kunstmatige intelligentie
Uitlegbare kunstmatige intelligentie (Explainable AI, XAI) — dit is een onderzoeksrichting en een verzameling methoden op het gebied van kunstmatige intelligentie, waarmee beslissingen en het gedrag van Machine Learning-modellen begrijpelijk worden gemaakt voor mensen[1]. Het voornaamste doel van XAI is om complexe, ondoorzichtige modellen — vaak aangeduid als 'zwarte dozen' — om te vormen tot 'transparante' of 'glazen dozen' die kunnen uitleggen op welke wijze zij beslissingen nemen.
De behoefte aan uitlegbaarheid is sterk toegenomen met de ontwikkeling van complexe modellen, met name grote taalmodellen (LLM), die ondanks hun hoge nauwkeurigheid interne mechanismen bezitten die niet vanzelfsprekend zijn voor ontwikkelaars en gebruikers. Het gebrek aan transparantie brengt risico's met zich mee, omdat een model verborgen fouten kan maken, vooringenomenheid kan vertonen of onbetrouwbare informatie kan genereren, waarvan de oorzaken zonder passende verklaringen niet te doorgronden zijn[2].
Belang en noodzaak van XAI
De noodzaak van uitlegbare AI wordt erkend door zowel de wetenschappelijke gemeenschap als toezichthouders. De ontwikkeling van XAI is cruciaal voor het begrijpen van het gedrag, de beperkingen en de maatschappelijke gevolgen van complexe AI-systemen.
- Vertrouwen en acceptatie van technologie. Gebruikers, met name in kritieke domeinen zoals de gezondheidszorg en financiën, zijn eerder geneigd systemen te vertrouwen die hun conclusies kunnen onderbouwen. Verklaringen vergroten de transparantie en het vertrouwen dat het model correct en ethisch functioneert[3].
- Opsporen en verminderen van vooringenomenheid. Uitlegbaarheid helpt te ontdekken of een model steunt op ongewenste of onethische correlaties in de data (bijvoorbeeld gerelateerd aan ras, geslacht of leeftijd). Dit stelt ontwikkelaars in staat algoritmische vooringenomenheid te identificeren en te corrigeren[1].
- Betrouwbaarheid en robuustheid. Interpreteerbaarheid helpt kwetsbaarheden van het model bloot te leggen, waaronder gevoeligheid voor adversarial attacks, en vergroot de weerstand tegen kleine verstoringen van de invoerdata.
- Naleving van regelgeving. Wetgeving zoals de AVG in de Europese Unie legt het recht van personen vast op een verklaring bij beslissingen die door geautomatiseerde systemen zijn genomen. Het XAI-programma van DARPA (het Defense Advanced Research Projects Agency van het Amerikaanse Ministerie van Defensie), gelanceerd in 2017, was eveneens gericht op het ontwikkelen van AI-systemen die in staat zijn gebruikers interpreteerbare verklaringen te verschaffen[4].
Benaderingen voor modeluitlegbaarheid
XAI-methoden kunnen globaal worden onderverdeeld in twee grote categorieën: interpreteerbare modellen die van nature transparant zijn 'by design', en post-hoc-methoden die 'zwarte doos'-modellen verklaren nadat zij zijn getraind.
Interpreteerbare modellen ('transparante dozen')
Dit zijn algoritmen waarvan de interne structuur van nature eenvoudig en begrijpelijk is voor mensen. Hieronder vallen:
- Lineaire regressie
- Logistische regressie
- Beslisbomen met een beperkte diepte
- Modellen op basis van regels (Rule-based systems)
Dergelijke modellen zijn gemakkelijk te interpreteren, maar presteren vaak minder nauwkeurig dan complexere modellen (zoals diepe neurale netwerken) op complexe data. Er bestaat een afweging tussen nauwkeurigheid en interpreteerbaarheid[1].
Post-hoc-verklaringsmethoden ('zwarte dozen')
Deze methoden worden toegepast op reeds getrainde, complexe modellen zonder hun interne structuur te wijzigen. Ze genereren aanvullende informatie die helpt de logica achter voorspellingen te begrijpen. Post-hoc-verklaringen worden onderverdeeld in lokale en globale verklaringen.
Lokale verklaringen
Lokale methoden verklaren een afzonderlijke voorspelling van het model voor een specifiek invoervoorbeeld.
- LIME (Local Interpretable Model-agnostic Explanations): Een van de meest populaire methoden. LIME bouwt een eenvoudig, interpreteerbaar surrogaatmodel (bijvoorbeeld lineaire regressie) in de lokale omgeving van een specifieke voorspelling, waarmee het gedrag van het complexe 'zwarte doos'-model wordt benaderd[1].
- SHAP (SHapley Additive exPlanations): Gebaseerd op Shapley-waarden uit de coöperatieve speltheorie. SHAP berekent de bijdrage van elk kenmerk aan de uiteindelijke voorspelling door de 'winst' (het verschil tussen de voorspelling en de gemiddelde waarde) eerlijk over de kenmerken te verdelen. Deze methode biedt theoretisch onderbouwde en consistente verklaringen[5].
- Contrafactische verklaringen: Genereren scenario's van het type 'wat als?'. Ze laten zien welke minimale wijzigingen in de invoerdata tot een andere uitkomst zouden hebben geleid (bijvoorbeeld: 'Uw lening zou zijn goedgekeurd als uw jaarinkomen $5000 hoger was geweest')[1].
Globale verklaringen
Globale methoden zijn gericht op het verklaren van de algemene logica van het model of zijn kennis als geheel. Hieronder vallen de analyse van kenmerkbelang over de gehele dataset, alsmede de visualisatie van interne representaties van het model.
Uitlegbaarheid voor grote taalmodellen (LLM)
Grote taalmodellen vormen een bijzondere uitdaging en bieden tegelijkertijd nieuwe mogelijkheden voor XAI. Hun enorme omvang en complexiteit bemoeilijken de toepassing van traditionele methoden, maar hun vermogen om met natuurlijke taal te werken opent nieuwe wegen voor verklaringen.
Analyse van aandachtsmechanismen (Attention Visualization)
Het self-attention-mechanisme in de Transformer-architectuur maakt het mogelijk te visualiseren op welke delen van de invoertekst (tokens) het model 'let' bij het genereren van een antwoord. Hoewel dit een intuïtief beeld geeft van de werking van het model, is er binnen de wetenschappelijke gemeenschap een discussie gaande over de vraag of attention een volwaardige verklaring vormt, omdat een hoog gewicht in de attention-scores niet altijd een oorzakelijk verband impliceert[6].
Mechanistische interpreteerbaarheid
Het meest diepgaande niveau van uitlegbaarheid, gericht op volledige reverse engineering van de werking van een neuraal netwerk. Onderzoekers proberen specifieke 'circuits' te identificeren en te begrijpen — groepen neuronen en hun verbindingen die bepaalde algoritmische functies uitvoeren (zoals het herkennen van syntactische constructies of het opzoeken van feiten)[7].
Verklaring via natuurlijke taal
Een uniek vermogen van LLM is het verklaren van zichzelf. Met behulp van promptingtechnieken zoals Chain-of-Thought kan een model worden aangezet tot het genereren van stapsgewijze redeneringen die tot zijn conclusie hebben geleid. Dit maakt het besluitvormingsproces transparant voor de gebruiker. Dergelijke verklaringen kunnen echter onbetrouwbaar zijn (unfaithful) — het model kan een overtuigende maar onjuiste onderbouwing genereren die zijn werkelijke interne proces niet weerspiegelt[8].
Verwijzingen
- Officiële pagina van het DARPA XAI-programma
- Overzicht van Explainable AI door IBM
Noten
- ↑ 1.0 1.1 1.2 1.3 1.4 Arrieta, A. B. et al. «Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI». Information Fusion, 2020. [1]
- ↑ Zhao, H. et al. «Explainability for Large Language Models: A Survey». arXiv:2309.01512, 2023. [2]
- ↑ «What is Explainable AI (XAI)?». IBM. [3]
- ↑ «Explainable Artificial Intelligence». DARPA. [4]
- ↑ Linardatos, P. et al. «Explainable AI: A Review of Machine Learning Interpretability Methods». Entropy, 2021. [5]
- ↑ Jain, S. & Wallace, B. C. «Attention is not Explanation». arXiv:1902.10186, 2019. [6]
- ↑ Lan, Q. et al. «Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models». arXiv:2311.04131, 2023. [7]
- ↑ Singh, C. et al. «Rethinking Interpretability in the Era of Large Language Models». arXiv:2402.01761, 2024. [8]