Pengurangan Kesalahan LLM

Pengurangan kesalahan pada large language model (LLM) adalah sekumpulan metode dan teknologi yang bertujuan meningkatkan akurasi, keandalan, dan keamanan sistem kecerdasan buatan berbasis arsitektur transformer. Masalah kesalahan, khususnya halusinasi, merupakan salah satu hambatan utama bagi penerapan LLM secara luas di bidang-bidang yang kritis. Berdasarkan penelitian tahun 2024–2025, frekuensi halusinasi pada LLM yang tersedia secara publik berkisar antara 3% hingga 16%.

Tipologi Kesalahan

Klasifikasi kesalahan LLM modern mencakup beberapa kategori utama, yang masing-masing memerlukan pendekatan mitigasi (pengurangan dampak) yang spesifik.

Halusinasi

Halusinasi merupakan generasi konten yang tampak masuk akal namun secara faktual tidak benar. Menurut penelitian Huang dkk. (2023), terdapat dua jenis utama:

• Halusinasi faktual — ketidaksesuaian dengan fakta yang dapat diverifikasi, termasuk penciptaan fakta yang tidak ada (fabrikasi). Dalam penelitian tahun 2024, Universitas Stanford menemukan bahwa LLM menciptakan lebih dari 120 kasus pengadilan yang tidak ada.
• Halusinasi logis — gangguan pada urutan logis dalam penalaran.

Statistik tahun 2024 menunjukkan bahwa chatbot berhalusinasi dalam 27% kasus, dengan 46% teks yang dihasilkan mengandung kesalahan faktual.

Bias Sistematis (Bias)

Bias pada LLM termanifestasi dalam bentuk prasangka sosial (misalnya, asosiasi profesi dengan jenis kelamin tertentu) dan perbedaan performa antar kelompok demografis. Penelitian tahun 2024 menunjukkan bahwa di antara 10 model yang diuji, selisih skor untuk kelompok demografis yang berbeda dapat mencapai 4 poin dari 10.

Toksisitas

Toksisitas didefinisikan sebagai generasi konten yang bersifat ofensif, berbahaya, atau diskriminatif. Metrik toksisitas bervariasi dalam rentang yang luas tergantung pada model dan konteks penggunaan.

Metode Pengurangan Kesalahan

Strategi untuk mengatasi kesalahan dapat dibagi menjadi dua kelompok besar: metode yang memodifikasi model dan proses pelatihan, serta metode yang diterapkan pada tahap inferensi.

Modifikasi Model dan Proses Pelatihan

Fine-tuning dan Instruction Tuning

Supervised Fine-Tuning (SFT) memungkinkan adaptasi model yang telah dilatih sebelumnya untuk tugas-tugas spesifik. Untuk mengurangi biaya komputasi, digunakan metode Parameter-Efficient Fine-Tuning (PEFT), seperti LoRA dan QLoRA, yang dapat mengurangi biaya fine-tuning hingga 99% dengan tetap mempertahankan efektivitasnya.

Reinforcement Learning from Human Feedback (RLHF)

RLHF adalah proses dua tahap di mana pertama-tama model reward dilatih berdasarkan preferensi manusia, kemudian LLM utama dioptimalkan untuk menghasilkan respons yang memaksimalkan reward tersebut. Metode ini telah terbukti efektif pada model InstructGPT dan GPT-4, yang secara signifikan meningkatkan kesesuaiannya dengan ekspektasi pengguna.

Constitutional AI

Dikembangkan oleh perusahaan Anthropic, metode Constitutional AI merupakan alternatif dari RLHF. Alih-alih umpan balik langsung dari manusia, model dilatih untuk mengikuti seperangkat prinsip («konstitusi»). Ini mengurangi kebutuhan pengawasan manusia sebesar 80–90% dan secara efektif mencegah generasi konten berbahaya.

Solusi Arsitektur

• Mixture of Experts (MoE): Arsitektur dengan aktivasi jarang yang memungkinkan peningkatan kapasitas model secara signifikan tanpa peningkatan biaya komputasi yang proporsional. Diperkirakan GPT-4 menggunakan 8 ahli dengan masing-masing 220 miliar parameter.
• Modifikasi mekanisme attention: Teknik seperti Grouped Query Attention (GQA) (pada model Llama 3) dan Sparse Attention mengurangi kompleksitas komputasi dan kebutuhan memori, sehingga memungkinkan pemrosesan konteks yang lebih panjang.

Metode pada Tahap Inferensi

Retrieval-Augmented Generation (RAG)

RAG adalah salah satu metode paling efektif untuk mengurangi kesalahan faktual. Sebelum menghasilkan jawaban, sistem mengakses basis pengetahuan eksternal (misalnya, Wikipedia, dokumentasi perusahaan, artikel ilmiah), mengambil informasi yang relevan, dan meneruskannya ke model bersama dengan kueri asli. Hal ini «mendasarkan» jawaban pada fakta yang telah terverifikasi. Sistem RAG mencapai 56,8% exact match pada benchmark TriviaQA dan mengungguli model tradisional sebesar 60–80% dalam mengurangi kesalahan faktual.

Teknik Prompting Lanjutan

• Chain-of-Thought (CoT): Teknik prompting yang mendorong model untuk menghasilkan rantai penalaran langkah demi langkah sebelum memberikan jawaban akhir. Ini secara signifikan meningkatkan hasil pada tugas-tugas yang memerlukan penalaran logis dan perhitungan matematis.
• Chain of Draft (CoD): Evolusi dari CoT, di mana model secara iteratif merevisi草案 jawabannya, yang memungkinkan pencapaian akurasi setara dengan CoT dengan menggunakan jumlah token yang jauh lebih sedikit.

Koreksi Diri Internal (Intrinsic Self-Correction)

Penelitian TACL tahun 2024 menunjukkan bahwa kemampuan LLM untuk melakukan koreksi diri tanpa informasi eksternal sangat terbatas. Koreksi diri yang efektif pada umumnya memerlukan penggunaan alat eksternal, seperti interpreter kode untuk memverifikasi perhitungan atau mesin pencari untuk validasi fakta.

Metode Evaluasi Kesalahan

Untuk mengukur kemajuan dalam pengurangan kesalahan, digunakan metrik dan benchmark khusus.

• Metrik tradisional: Perplexity, BLEU, dan ROUGE. Metrik ini berguna untuk mengevaluasi kelancaran dan kecocokan n-gram, namun kurang mampu menilai akurasi faktual.
• Pendekatan modern:
  • FactScore menguraikan teks panjang menjadi fakta-fakta atomik dan mengevaluasi persentase fakta yang dikonfirmasi oleh basis pengetahuan.
  • SAFE (Search-Augmented Factuality Evaluator) — metode dari Google yang menggunakan pencarian untuk memverifikasi fakta dan mencapai 72% konsistensi dengan penilaian manusia, dengan biaya 20 kali lebih murah.
  • TruthfulQA — benchmark yang berfokus pada kemampuan model untuk menghindari generasi kesalahpahaman yang umum.

Daftar Pustaka

• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. arXiv:2311.05232.
• Min, S. et al. (2023). FActScore: Fine-Grained Atomic Evaluation of Factual Precision in Long-Form Text Generation. arXiv:2305.14251.
• Wei, J. et al. (2024). Long-Form Factuality in Large Language Models (SAFE). arXiv:2403.18802.
• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401.
• Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Anthropic (2024). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Maslej, N. et al. (2024). Artificial Intelligence Index Report 2024. arXiv:2405.19522.