Halusinasi dan Jawaban Tidak Akurat LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Halusinasi (Ingg. hallucination) dalam konteks model bahasa besar (LLM) adalah fenomena di mana model dengan penuh keyakinan menghasilkan jawaban yang tampak masuk akal (plausible), namun sebenarnya tidak sesuai dengan kenyataan, tidak sesuai dengan konteks yang diberikan, atau secara internal saling bertentangan[1][2]. Model tersebut «mengarang» fakta, detail, atau kesimpulan logis yang tidak ada dalam data asal.

Penting untuk dicatat bahwa halusinasi bukanlah kegagalan atau bug dalam pengertian tradisional. Model bekerja sebagaimana dirancang: ia memprediksi kelanjutan teks yang paling mungkin berdasarkan pola yang diekstrak dari data pelatihan. Model tidak memiliki mekanisme bawaan untuk memverifikasi kebenaran[3]. Halusinasi berbeda dari kesalahan biasa karena merupakan informasi yang disampaikan dengan penuh keyakinan namun palsu, sering kali mencakup fakta, referensi, atau peristiwa yang tidak ada[4]. Fenomena ini menjadi begitu signifikan sehingga pada tahun 2023, Kamus Cambridge menambahkan makna baru untuk istilah «hallucination» yang berkaitan dengan kecerdasan buatan[5].

Definisi dan Klasifikasi Halusinasi

Meskipun berbagai istilah digunakan (misalnya, «konfabulasi», «rekayasa»), halusinasi dalam LLM dapat dibagi menjadi dua kategori besar: yang berkaitan dengan keakuratan faktual dan yang berkaitan dengan kesetiaan terhadap sumber (konsistensi kontekstual)[6].

Halusinasi Faktual

Ini adalah kasus di mana model menyajikan informasi yang secara faktual salah tentang dunia nyata. Model menegaskan «fakta» yang salah sebagai kebenaran[1].

  • Contoh: «Charles Lindbergh adalah manusia pertama yang menginjakkan kaki di permukaan Bulan» — fakta yang sepenuhnya dikarang.
  • Kutipan dan referensi palsu: Model dapat mengarang referensi ke karya ilmiah atau undang-undang yang tidak ada, meniru format referensi nyata[2]. Hal ini merusak kepercayaan pada model, terutama dalam aplikasi yang memerlukan akurasi tinggi (pendidikan, berita, konsultasi)[7].

Kesalahan Logis

Model membuat inkonsistensi atau kesalahan dalam penalaran. Fakta-fakta individual dalam jawaban mungkin benar, tetapi kesimpulannya tidak logis atau bertentangan dengan logika dasar[2]. Hal ini sering terjadi dalam penalaran kompleks atau tugas matematika dan kausalitas, di mana model beroperasi berdasarkan hubungan probabilistik antar kata, bukan logika formal[2][2].

  • Contoh: «Karena burung dapat terbang, para astronot tidak merasakan gravitasi» — teks terlihat koheren, namun secara logis salah.

Halusinasi Kontekstual

Jawaban model tidak sesuai dengan konteks atau instruksi yang diberikan. Model «keluar» dari konteks, menambahkan informasi yang tidak perlu atau mengabaikan informasi yang diperlukan[1].

  • Pelanggaran instruksi: Atas permintaan «terjemahkan teks ke bahasa Spanyol», model menjawab dalam bahasa Inggris[1].
  • Informasi di luar sumber: Dalam tugas peringkasan, model «menambahkan» fakta yang tidak ada dalam dokumen asli, atau memutarbalikkannya[1].
  • Pencampuran konteks: Di tengah jawaban, model tiba-tiba mulai membicarakan sesuatu dari bidang lain. Misalnya, sebagai respons atas pertanyaan tentang komisioner NBA Adam Silver, model dapat beralih ke pendahulunya David Stern, mencampurkan dua konteks yang berbeda[6].

Inkonsistensi

Varian halusinasi di mana model bertentangan dengan dirinya sendiri dalam satu jawaban atau serangkaian jawaban[6]. Dalam sebuah penelitian ditemukan bahwa tingkat kontradiksi diri pada jawaban ChatGPT mencapai sekitar 14%[6][6].

  • Contoh: «Perusahaan X didirikan pada tahun 1990... dan beberapa kalimat kemudian ...Perusahaan X, yang dibentuk pada tahun 2000...»

Halusinasi dalam Kode

LLM yang dilatih pada kode dapat menghasilkan potongan kode yang secara sintaksis benar namun tidak berfungsi, menggunakan fungsi, pustaka, atau parameter yang tidak ada[2]. Misalnya, model dapat menghasilkan `import quantum` dalam Python, padahal modul standar seperti itu tidak ada. Pada tahun 2024, istilah «code hallucination» diusulkan dan benchmark CodeMirage dibuat untuk mensistematisasi masalah ini[8].

Penyebab Kemunculan

Fenomena halusinasi disebabkan oleh kombinasi faktor, mulai dari arsitektur model hingga kualitas data.

  • Arsitektur dan prinsip pelatihan: Sebagian besar LLM (misalnya, GPT) adalah transformer autoregresif yang dilatih untuk memprediksi token berikutnya. Tujuan mereka adalah memaksimalkan kemungkinan teks, bukan memverifikasi kebenaran pernyataan[2]. Model tidak membedakan fakta dan fiksi dalam data pelatihan, memperlakukan semuanya sebagai pola teks[2].
  • Kualitas data pelatihan: LLM dilatih pada korpus teks yang sangat besar dari Internet, yang mengandung banyak ketidakakuratan, mitos, dan informasi yang sudah usang[1]. Model menghafal dan mereproduksi kesalahan-kesalahan ini. Juga penting adalah knowledge cutoff — batas waktu hingga mana model memiliki informasi.
  • Cara menghasilkan teks: Sifat stokastik dari proses generasi (pengambilan sampel dengan temperatur) memungkinkan model menghasilkan jawaban yang lebih «kreatif», namun kurang akurat. Panjang konteks yang terbatas dapat menyebabkan model «melupakan» detail awal percakapan dan mulai bertentangan dengan dirinya sendiri[6].

Metode Evaluasi dan Pengukuran

Untuk mendeteksi dan mengukur halusinasi, digunakan metrik otomatis, evaluasi manusia, dan benchmark khusus.

  • Metrik otomatis: Mencakup pendekatan di mana LLM lain berperan sebagai «juri» (LLM-as-a-judge) untuk menilai kebenaran jawaban[9], atau analisis entropi (ketidakpastian) model saat proses generasi[10].
  • Anotasi manusia: Dianggap sebagai «standar emas». Para ahli atau asesor daring secara manual mengevaluasi jawaban, menandai kesalahan. Metode ini digunakan dalam pelatihan model dengan RLHF[11].
  • Benchmark dan uji stres: Dibuat kumpulan data khusus, seperti TruthfulQA, yang berisi pertanyaan-pertanyaan yang mendorong model untuk mereproduksi mitos-mitos umum[12]. Ada pula papan peringkat, misalnya Hugging Face Hallucination Leaderboard, di mana model dibandingkan berdasarkan tingkat halusinasi[13].

Cara Mitigasi dan Pencegahan

  • Retrieval-Augmented Generation (RAG): Pendekatan paling berhasil yang «mengikat» model pada pengetahuan eksternal. Sebelum menghasilkan jawaban, model menerima informasi relevan dari basis data, mesin pencari, atau API. Hal ini memungkinkan model mendasarkan jawabannya pada data yang telah diverifikasi, bukan pada dugaan[2].
  • Chain-of-Thought dan verifikasi diri: Model pertama-tama menghasilkan penalaran langkah demi langkah sebelum memberikan jawaban akhir, yang meningkatkan akurasi. Dalam metode yang lebih canggih, seperti Self-Verification, model menghasilkan jawaban draf, lalu mendapatkan tugas untuk memeriksanya dan memperbaikinya[14].
  • Aturan dan filter bawaan: Model dilatih untuk menolak menjawab jika tidak yakin. Misalnya, model Claude dari Anthropic mengikuti prinsip «kejujuran» dan sering menjawab «Saya tidak mengetahui secara pasti...», alih-alih mengarang fakta[11].
  • Integrasi dengan alat eksternal: Model seperti Gemini dapat secara otomatis mengenali kapan mereka memerlukan alat eksternal (misalnya, kalkulator untuk perhitungan atau pencarian untuk berita terkini), dan menggunakannya, yang secara signifikan mengurangi jumlah halusinasi[11].

Risiko dan Konsekuensi

  • Risiko hukum dan reputasi: Di bidang hukum, halusinasi dapat memiliki konsekuensi serius. Kasus yang mendapat perhatian luas adalah Mata v. Avianca (2023), di mana seorang pengacara menggunakan ChatGPT untuk mencari preseden hukum, dan model tersebut mengarang beberapa kasus yang tidak ada. Para pengacara didenda, dan insiden tersebut menjadi pelajaran tentang tidak dapat diterimanya kepercayaan pada AI tanpa verifikasi[1].
  • Penyebaran disinformasi: Pada skala masyarakat, LLM dapat memperburuk masalah berita palsu. Terkenal adalah kasus model Galactica dari Meta, yang dibuat untuk membantu para ilmuwan, namun mulai menghasilkan teks pseudosaintifik dengan eksperimen dan referensi yang dikarang. Tiga hari kemudian, akses publik ke model tersebut ditutup[15].
  • Pengambilan keputusan yang salah: Pengguna, terutama yang tidak berpengalaman, cenderung mempercayai jawaban AI yang disampaikan dengan penuh keyakinan, yang dapat menyebabkan pengambilan keputusan yang salah dalam bidang keuangan, kedokteran, dan area kritis lainnya[7].

Contoh dari Praktik

  • Kasus Air Canada (2023): Chatbot maskapai penerbangan tersebut mengarang kebijakan pengembalian tiket yang tidak ada. Ketika pelanggan menuntut penerapannya, perusahaan menolak. Tribunal Transportasi Kanada mewajibkan Air Canada bertanggung jawab atas informasi yang diberikan oleh chatbot-nya dan memberikan kompensasi kepada pelanggan[9].
  • Gugatan defamasi terhadap OpenAI (2023): Penyiar radio Mark Walters mengajukan gugatan terhadap OpenAI karena ChatGPT, dalam merespons permintaan seorang jurnalis, secara keliru menuduhnya melakukan penipuan. Kasus ini menegaskan tanggung jawab hukum perusahaan atas konten yang dihasilkan oleh model mereka[6].

Tautan

  • The Beginner's Guide to Hallucinations in Large Language Models — panduan lengkap dari Lakera
  • Survey of Hallucination in Natural Language Generation — tinjauan ilmiah tentang fenomena ini di arXiv

Daftar Pustaka

  • Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
  • Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
  • Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
  • Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
  • Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
  • O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
  • Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
  • Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
  • Yu, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
  • Chen, S. J. et al. (2024). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.

Catatan

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 «The Beginner's Guide to Hallucinations in Large Language Models». Lakera. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 «What Is LLM Hallucination and How To Prevent It». Astera. [2]
  3. ↑ «Hallucination (artificial intelligence)». In Wikipedia. [3]
  4. ↑ «OpenAI describes LLM hallucinations as 'making up facts' in moments of uncertainty'». [источник не указан в тексте].
  5. ↑ «Cambridge Dictionary adds new definition for 'hallucinate'». [источник не указан в тексте].
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 6.6 «LLM Hallucination—Types, Causes, and Solutions». Nexla. [4]
  7. ↑ 7.0 7.1 «Effective Tips to Prevent AI Hallucinations in Generative AI». QuickCreator. [5]
  8. ↑ [2408.08333] CodeMirage: Hallucinations in Code Generated by Large Language Models. arXiv. [6]
  9. ↑ 9.0 9.1 «LLM hallucinations and failures: lessons from 4 examples». Evidently AI Blog. [7]
  10. ↑ «How to Perform Hallucination Detection for LLMs». Kolena. [8]
  11. ↑ 11.0 11.1 11.2 «ChatGPT vs Google Gemini vs Anthropic Claude: Comprehensive Comparison & Report». DataStudios. [9]
  12. ↑ «Mastering LLM Accuracy: How to Test, Detect, and Fix Hallucinations in AI Models». Stephen Weber on Medium. [10]
  13. ↑ «LLM Benchmarks and Leaderboards: Avoiding Foundation Model Mistakes». Arize Blog. [11]
  14. ↑ «Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation». arXiv. [12]
  15. ↑ «Why Meta Took Down its 'Hallucinating' AI Model Galactica?». Analytics India Magazine. [13]
Retrieved from "https://systems-analysis.info/int/index.php?title=Halusinasi_dan_Jawaban_Tidak_Akurat_LLM&oldid=2825"