Kecerdasan Buatan yang Dapat Dijelaskan
Kecerdasan buatan yang dapat dijelaskan (Explainable AI, XAI) adalah bidang penelitian dan sekumpulan metode dalam kecerdasan buatan yang memungkinkan keputusan dan perilaku model Machine Learning menjadi dapat dipahami oleh manusia[1]. Tujuan utama XAI adalah mengubah model yang kompleks dan tidak transparan — yang sering disebut "kotak hitam" — menjadi "kotak transparan" atau "kotak kaca" yang dapat menjelaskan bagaimana mereka mengambil keputusan.
Kebutuhan akan kemampuan penjelasan meningkat tajam seiring berkembangnya model-model kompleks, khususnya Large Language Model (LLM), yang meskipun memiliki akurasi tinggi, memiliki mekanisme internal yang tidak jelas bagi para pengembang maupun pengguna. Ketiadaan transparansi membawa risiko, karena model dapat membuat kesalahan tersembunyi, menunjukkan bias, atau menghasilkan informasi yang tidak akurat, dan penyebabnya tidak dapat dipahami tanpa penjelasan yang memadai[2].
Signifikansi dan Kebutuhan XAI
Kebutuhan akan AI yang dapat dijelaskan diakui oleh komunitas ilmiah maupun para regulator. Pengembangan XAI sangat penting untuk memahami perilaku, keterbatasan, dan dampak sosial dari sistem AI yang kompleks.
- Kepercayaan dan penerimaan teknologi. Pengguna, terutama di bidang-bidang kritis seperti kedokteran dan keuangan, cenderung mempercayai sistem yang dapat membenarkan kesimpulannya. Penjelasan meningkatkan transparansi dan keyakinan bahwa model bekerja secara benar dan etis[3].
- Deteksi dan mitigasi bias. Kemampuan penjelasan membantu mendeteksi apakah model bergantung pada korelasi yang tidak diinginkan atau tidak etis dalam data (misalnya, yang berkaitan dengan ras, jenis kelamin, atau usia). Hal ini memungkinkan para pengembang untuk mengidentifikasi dan memperbaiki bias algoritmik[1].
- Keandalan dan robustness. Interpretabilitas membantu mengidentifikasi kerentanan model, termasuk terhadap adversarial attacks, dan meningkatkan ketahanannya terhadap gangguan kecil pada data masukan.
- Kepatuhan terhadap persyaratan regulasi. Perundang-undangan seperti GDPR di Uni Eropa menetapkan hak seseorang untuk mendapatkan penjelasan atas keputusan yang dibuat oleh sistem otomatis. Program XAI dari DARPA (Badan Proyek Penelitian Lanjutan Pertahanan Amerika Serikat), yang diluncurkan pada tahun 2017, juga ditujukan untuk menciptakan sistem AI yang mampu memberikan penjelasan yang dapat diinterpretasikan kepada pengguna[4].
Pendekatan terhadap Kemampuan Penjelasan Model
Metode XAI secara umum dapat dibagi menjadi dua kategori besar: model yang dapat diinterpretasikan yang transparan "berdasarkan desain", dan metode pasca-hoc yang menjelaskan model bertipe "kotak hitam" setelah pelatihannya.
Model yang Dapat Diinterpretasikan ("Kotak Transparan")
Ini adalah algoritma yang struktur internalnya secara alami sederhana dan mudah dipahami manusia. Termasuk di antaranya:
- Regresi linear
- Regresi logistik
- Pohon keputusan dengan kedalaman kecil
- Model berbasis aturan (Rule-based systems)
Model-model tersebut mudah diinterpretasikan, namun sering kali kalah dalam hal akurasi dibandingkan model yang lebih kompleks (misalnya, Neural Network dalam) pada data yang rumit. Terdapat kompromi antara akurasi dan interpretabilitas[1].
Metode Penjelasan Pasca-Hoc ("Kotak Hitam")
Metode-metode ini diterapkan pada model yang sudah dilatih dan kompleks, tanpa mengubah struktur internalnya. Metode ini menghasilkan informasi tambahan yang membantu memahami logika prediksi. Penjelasan pasca-hoc dibagi menjadi lokal dan global.
Penjelasan Lokal
Metode lokal menjelaskan prediksi tunggal model untuk contoh masukan tertentu.
- LIME (Local Interpretable Model-agnostic Explanations): Salah satu metode yang paling populer. LIME membangun model surrogate yang sederhana dan dapat diinterpretasikan (misalnya, regresi linear) di lingkungan lokal dari prediksi tertentu, dengan mengaproksimasi perilaku model kompleks bertipe "kotak hitam"[1].
- SHAP (SHapley Additive exPlanations): Didasarkan pada nilai Shapley dari teori permainan kooperatif. SHAP menghitung kontribusi setiap fitur terhadap prediksi akhir, dengan mendistribusikan "keuntungan" (selisih antara prediksi dan nilai rata-rata) secara adil di antara fitur-fitur. Metode ini memberikan penjelasan yang terbukti secara teoretis dan konsisten[5].
- Penjelasan kontrafaktual: Menghasilkan skenario "bagaimana jika?". Metode ini menunjukkan perubahan minimal apa pada data masukan yang akan menghasilkan hasil yang berbeda (misalnya, "Kredit Anda akan disetujui jika pendapatan tahunan Anda lebih tinggi $5000")[1].
Penjelasan Global
Metode global bertujuan untuk menjelaskan logika umum model atau pengetahuannya secara keseluruhan. Termasuk di antaranya adalah analisis kepentingan fitur di seluruh dataset, serta visualisasi representasi internal model.
Kemampuan Penjelasan untuk Large Language Model (LLM)
Large Language Model menghadirkan tantangan khusus sekaligus peluang baru bagi XAI. Ukuran dan kompleksitasnya yang sangat besar menyulitkan penerapan metode tradisional, namun kemampuannya bekerja dengan bahasa alami membuka jalur baru untuk penjelasan.
Analisis Mekanisme Perhatian (Attention Visualization)
Mekanisme self-attention dalam arsitektur Transformer memungkinkan visualisasi bagian mana dari teks masukan (token) yang menjadi "perhatian" model saat menghasilkan jawaban. Meskipun hal ini memberikan gambaran intuitif tentang cara kerja model, terdapat perdebatan di komunitas ilmiah tentang apakah perhatian merupakan penjelasan yang memadai, karena bobot attention yang tinggi tidak selalu berarti adanya hubungan sebab-akibat[6].
Interpretabilitas Mekanistik
Tingkat kemampuan penjelasan yang paling mendalam, yang bertujuan untuk melakukan rekayasa balik penuh terhadap cara kerja Neural Network. Para peneliti berusaha mengidentifikasi dan memahami "rangkaian" (circuits) tertentu — kelompok neuron dan koneksinya yang mengimplementasikan fungsi algoritmik tertentu (misalnya, pengenalan konstruksi sintaksis atau pencarian fakta)[7].
Penjelasan melalui Bahasa Alami
Kemampuan unik LLM adalah menjelaskan dirinya sendiri. Dengan menggunakan teknik prompting seperti Chain-of-Thought, model dapat dipaksa untuk menghasilkan penalaran bertahap yang mengarah pada kesimpulannya. Hal ini membuat proses pengambilan keputusan menjadi transparan bagi pengguna. Namun, penjelasan semacam itu bisa tidak dapat dipercaya (unfaithful) — model dapat menghasilkan pembenaran yang meyakinkan namun keliru, yang tidak mencerminkan proses internalnya yang sesungguhnya[8].
Pranala Luar
- Halaman resmi program DARPA XAI
- Tinjauan Explainable AI dari IBM
Catatan
- ↑ 1.0 1.1 1.2 1.3 1.4 Arrieta, A. B. et al. «Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI». Information Fusion, 2020. [1]
- ↑ Zhao, H. et al. «Explainability for Large Language Models: A Survey». arXiv:2309.01512, 2023. [2]
- ↑ «What is Explainable AI (XAI)?». IBM. [3]
- ↑ «Explainable Artificial Intelligence». DARPA. [4]
- ↑ Linardatos, P. et al. «Explainable AI: A Review of Machine Learning Interpretability Methods». Entropy, 2021. [5]
- ↑ Jain, S. & Wallace, B. C. «Attention is not Explanation». arXiv:1902.10186, 2019. [6]
- ↑ Lan, Q. et al. «Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models». arXiv:2311.04131, 2023. [7]
- ↑ Singh, C. et al. «Rethinking Interpretability in the Era of Large Language Models». arXiv:2402.01761, 2024. [8]