Wyjaśnialna sztuczna inteligencja
Wyjaśnialny sztuczny inteligencja (Explainable AI, XAI) — to kierunek badań i zbiór metod w dziedzinie sztucznej inteligencji, umożliwiających uczynienie decyzji i zachowania modeli Machine Learning zrozumiałymi dla człowieka[1]. Głównym celem XAI jest przekształcenie złożonych, nieprzejrzystych modeli, często nazywanych „czarnymi skrzynkami", w „przejrzyste" lub „szklane skrzynki", które potrafią wyjaśnić, w jaki sposób podejmują decyzje.
Potrzeba wyjaśnialności gwałtownie wzrosła wraz z rozwojem złożonych modeli, w szczególności dużych modeli językowych (LLM), które pomimo wysokiej dokładności posiadają wewnętrzne mechanizmy nieoczywiste dla deweloperów i użytkowników. Brak przejrzystości niesie ze sobą ryzyko, ponieważ model może popełniać ukryte błędy, wykazywać stronniczość lub generować niedokładne informacje, których przyczyn nie można zrozumieć bez odpowiednich wyjaśnień[2].
Znaczenie i konieczność XAI
Konieczność wyjaśnialnego AI jest uznawana zarówno przez środowisko naukowe, jak i regulatorów. Rozwój XAI jest krytycznie ważny dla zrozumienia zachowania, ograniczeń i społecznych konsekwencji złożonych systemów AI.
- Zaufanie i akceptacja technologii. Użytkownicy, szczególnie w obszarach krytycznych, takich jak medycyna i finanse, skłonni są ufać systemom, które potrafią uzasadnić swoje wnioski. Wyjaśnienia zwiększają przejrzystość i pewność, że model działa poprawnie i etycznie[3].
- Wykrywanie i łagodzenie stronniczości. Wyjaśnialność pomaga wykryć, czy model nie opiera się na niepożądanych lub nieetycznych korelacjach w danych (na przykład związanych z rasą, płcią lub wiekiem). Pozwala to deweloperom identyfikować i korygować algorytmiczną stronniczość[1].
- Niezawodność i solidność. Interpretowalność pomaga wykrywać podatności modelu, w tym na ataki antagonistyczne (adversarial attacks), oraz zwiększać jego odporność na niewielkie zakłócenia danych wejściowych.
- Zgodność z wymogami regulacyjnymi. Przepisy prawne, takie jak RODO w Unii Europejskiej, przyznają człowiekowi prawo do uzyskania wyjaśnienia decyzji podjętych przez zautomatyzowane systemy. Program XAI agencji DARPA (Agencja Zaawansowanych Projektów Badawczych Departamentu Obrony USA), uruchomiony w 2017 roku, był również ukierunkowany na tworzenie systemów AI zdolnych do dostarczania użytkownikom interpretowalnych wyjaśnień[4].
Podejścia do wyjaśnialności modeli
Metody XAI można umownie podzielić na dwie duże kategorie: modele interpretowalne, przejrzyste „z założenia", oraz metody post-hoc, wyjaśniające modele typu „czarna skrzynka" po ich wytrenowaniu.
Modele interpretowalne („przejrzyste skrzynki")
Są to algorytmy, których wewnętrzna struktura jest z natury prosta i zrozumiała dla człowieka. Należą do nich:
- Regresja liniowa
- Regresja logistyczna
- Drzewa decyzyjne o niewielkiej głębokości
- Modele oparte na regułach (Rule-based systems)
Takie modele są łatwe do interpretacji, jednak często ustępują pod względem dokładności bardziej złożonym modelom (na przykład głębokim sieciom neuronowym) na danych złożonych. Istnieje kompromis między dokładnością a interpretowalnością[1].
Metody wyjaśnień post-hoc („czarne skrzynki")
Metody te stosowane są do już wytrenowanych, złożonych modeli, bez zmiany ich wewnętrznej struktury. Tworzą dodatkowe informacje pomagające zrozumieć logikę predykcji. Wyjaśnienia post-hoc dzielą się na lokalne i globalne.
Wyjaśnienia lokalne
Metody lokalne wyjaśniają pojedynczą predykcję modelu dla konkretnego przykładu wejściowego.
- LIME (Local Interpretable Model-agnostic Explanations): Jedna z najpopularniejszych metod. LIME buduje prosty, interpretowalny model zastępczy (na przykład regresję liniową) w lokalnym otoczeniu konkretnej predykcji, aproksymując zachowanie złożonego modelu „czarnej skrzynki"[1].
- SHAP (SHapley Additive exPlanations): Oparty na wartościach Shapleya z kooperatywnej teorii gier. SHAP oblicza wkład każdej cechy w końcową predykcję, sprawiedliwie rozdzielając „wygraną" (różnicę między predykcją a wartością średnią) między cechy. Metoda ta zapewnia teoretycznie uzasadnione i spójne wyjaśnienia[5].
- Wyjaśnienia kontrfaktyczne: Generują scenariusze w stylu „co, jeśli?". Pokazują, jakie minimalne zmiany w danych wejściowych doprowadziłyby do innego wyniku (na przykład: „Twój kredyt zostałby zatwierdzony, gdyby Twój roczny dochód był wyższy o 5000 USD")[1].
Wyjaśnienia globalne
Metody globalne nakierowane są na wyjaśnienie ogólnej logiki modelu lub jego wiedzy jako całości. Należą do nich analiza ważności cech na całym zbiorze danych, a także wizualizacja wewnętrznych reprezentacji modelu.
Wyjaśnialność dla dużych modeli językowych (LLM)
Duże modele językowe stanowią szczególne wyzwanie, a jednocześnie nowe możliwości dla XAI. Ich gigantyczny rozmiar i złożoność utrudniają stosowanie tradycyjnych metod, jednak ich zdolność do pracy z językiem naturalnym otwiera nowe drogi do wyjaśnień.
Analiza mechanizmów uwagi (Attention Visualization)
Mechanizm self-attention w architekturze Transformer umożliwia wizualizację, na które fragmenty tekstu wejściowego (tokeny) model „zwraca uwagę" podczas generowania odpowiedzi. Choć daje to intuicyjne wyobrażenie o działaniu modelu, w środowisku naukowym toczy się dyskusja na temat tego, czy uwaga stanowi pełnoprawne wyjaśnienie, ponieważ wysoka ważność według wag attention nie zawsze oznacza związek przyczynowo-skutkowy[6].
Mechanistyczna interpretowalność
Najgłębszy poziom wyjaśnialności, nakierowany na pełną inżynierię odwrotną działania sieci neuronowej. Badacze starają się zidentyfikować i zrozumieć konkretne „obwody" (circuits) — grupy neuronów i ich połączenia, które realizują określone funkcje algorytmiczne (na przykład rozpoznawanie konstrukcji składniowej lub wyszukiwanie faktu)[7].
Wyjaśnianie przez język naturalny
Unikalną zdolnością LLM jest możliwość wyjaśniania samych siebie. Stosując techniki promptingu, takie jak Chain-of-Thought, można skłonić model do generowania rozumowania krok po kroku, które doprowadziło do jego wniosku. Czyni to proces podejmowania decyzji przejrzystym dla użytkownika. Jednak takie wyjaśnienia mogą być niewiarygodne (unfaithful) — model może wygenerować przekonujące, lecz fałszywe uzasadnienie, które nie odzwierciedla jego rzeczywistego wewnętrznego procesu[8].
Odnośniki
- Oficjalna strona programu DARPA XAI
- Przegląd Explainable AI od IBM
Przypisy
- ↑ 1.0 1.1 1.2 1.3 1.4 Arrieta, A. B. et al. «Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI». Information Fusion, 2020. [1]
- ↑ Zhao, H. et al. «Explainability for Large Language Models: A Survey». arXiv:2309.01512, 2023. [2]
- ↑ «What is Explainable AI (XAI)?». IBM. [3]
- ↑ «Explainable Artificial Intelligence». DARPA. [4]
- ↑ Linardatos, P. et al. «Explainable AI: A Review of Machine Learning Interpretability Methods». Entropy, 2021. [5]
- ↑ Jain, S. & Wallace, B. C. «Attention is not Explanation». arXiv:1902.10186, 2019. [6]
- ↑ Lan, Q. et al. «Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models». arXiv:2311.04131, 2023. [7]
- ↑ Singh, C. et al. «Rethinking Interpretability in the Era of Large Language Models». arXiv:2402.01761, 2024. [8]