Chain-of-Verification (ID)

Chain-of-Verification (CoVe) — adalah metode yang diusulkan untuk mengurangi jumlah halusinasi (pembangkitan jawaban yang secara faktual salah namun terkesan meyakinkan) pada large language model (LLM). Pendekatan yang dikembangkan oleh sekelompok peneliti dari Meta AI di bawah pimpinan Shehzaad Dhuliawala dan dipresentasikan dalam makalah «Chain-of-Verification Reduces Hallucination in Large Language Models» (2023) ini termasuk ke dalam kelas metode pemeriksaan mandiri dan koreksi mandiri (self-verification) LLM. Ide utama CoVe adalah verifikasi bertahap terhadap jawaban yang dihasilkan oleh model itu sendiri tanpa melibatkan sumber eksternal. Hal ini mendorong sistem untuk mengerahkan lebih banyak upaya "nalar" dalam melakukan introspeksi terhadap jawaban dan memperbaiki kesalahannya sendiri sebelum menyajikan jawaban kepada pengguna.

Latar Belakang: Halusinasi dalam Model Bahasa

Large language model (LLM) kerap mengalami fenomena "halusinasi" — pembangkitan jawaban yang tampak meyakinkan, tetapi secara faktual tidak benar. Masalah ini diakui secara luas sebagai isu yang belum terpecahkan di bidang NLP: bahkan model-model mutakhir pun dapat menyajikan informasi yang salah dengan tingkat keyakinan tinggi, sehingga menyesatkan pengguna. Misalnya, sebuah model dapat dengan meyakinkan "mengarang" fakta yang tidak ada atau mencampuradukkan data biografis seseorang yang terkenal. Karena kesalahan faktual semacam itu sulit dideteksi tanpa pemeriksaan mendalam, para peneliti aktif mengembangkan metode untuk mengurangi jumlah halusinasi dalam jawaban LLM.

Tahapan Metode CoVe

Metode Chain-of-Verification diimplementasikan melalui empat langkah berurutan:

1. Pembangkitan jawaban dasar. Model tanpa instruksi khusus menghasilkan jawaban awal atas pertanyaan asal (hipotesis jawaban dasar). Jawaban draf ini menjadi titik tolak dan mungkin mengandung halusinasi yang akan dideteksi pada langkah-langkah berikutnya.
2. Perencanaan pertanyaan verifikasi. Dengan menggunakan pertanyaan asal dan jawaban yang telah dihasilkan, model merumuskan daftar pertanyaan klarifikasi yang memeriksa kebenaran faktual dari pernyataan-pernyataan dalam jawaban dasar. Verification questions ini menargetkan fakta-fakta kunci dalam jawaban dan membantu mengungkap kemungkinan kesalahan atau ketidakakuratan.
3. Pelaksanaan verifikasi. Selanjutnya, model secara berurutan dan independen menjawab setiap pertanyaan verifikasi yang telah dirumuskan, dengan berusaha tidak bersandar pada jawaban awal agar terhindar dari bias. Jawaban yang diperoleh dibandingkan dengan jawaban asal untuk mendeteksi kontradiksi atau kesalahan: dengan demikian, bagian-bagian dari jawaban asal yang tidak didukung oleh fakta dapat diidentifikasi.
4. Pembentukan jawaban final. Akhirnya, berdasarkan perbedaan yang ditemukan, model menghasilkan jawaban final yang telah diperbaiki. Dalam jawaban ini diterapkan koreksi sesuai hasil verifikasi, sehingga meningkatkan akurasi faktualnya dan mengurangi kemungkinan halusinasi.

Setiap tahapan ini dilaksanakan melalui permintaan tambahan kepada LLM yang sama, namun dengan instruksi yang berbeda. Artinya, model secara bergantian berperan sebagai penjawab, kemudian sebagai pemeriksa (mengajukan dan menjawab pertanyaan), lalu sebagai editor keluaran final.

Variasi Implementasi Verifikasi

Para penulis metode ini mencoba beberapa mode implementasi langkah verifikasi, yang berbeda dalam cara mengajukan dan mendapatkan jawaban atas pertanyaan verifikasi:

• Pendekatan gabungan (Joint). Model menghasilkan pertanyaan verifikasi sekaligus jawabannya dalam satu permintaan tunggal. Varian ini kurang disukai karena model, saat menjawab sekaligus, dapat berhalusinasi dan mengulang kesalahan dari jawaban asal akibat bias.
• Pendekatan dua tahap (2-Step). Pertanyaan verifikasi pertama-tama dihasilkan melalui permintaan terpisah, kemudian dalam permintaan berikutnya model menjawab daftar pertanyaan yang telah terbentuk. Pemisahan tahapan ini membantu menghindari pengaruh jawaban asal saat membangkitkan pertanyaan.
• Verifikasi terpisah (Factored). Model menjawab setiap pertanyaan verifikasi secara individual, menggunakan beberapa permintaan berurutan (satu per pertanyaan). Pendekatan ini mencegah penyalinan sederhana fragmen dari jawaban asal: jawaban atas pertanyaan verifikasi dirumuskan secara otonom, sehingga mengurangi risiko pengulangan halusinasi awal. Kelemahannya adalah meningkatnya biaya komputasi karena jumlah permintaan bertambah sebanding dengan jumlah pertanyaan.
• Verifikasi terpisah dengan revisi (Factored + Revise). Setelah mendapatkan jawaban atas semua pertanyaan verifikasi, model melaksanakan tahap perbandingan dan revisi tambahan. Melalui permintaan terpisah, model membandingkan fakta-fakta yang diperoleh dengan jawaban asal dan secara eksplisit mencatat ketidaksesuaian, setelah itu menghasilkan jawaban final dengan koreksi. Langkah tambahan ini memaksa sistem untuk menganalisis perbedaan secara lebih cermat dan mengintegrasikan informasi yang telah diperbaiki ke dalam keluaran akhir.

Hasil Eksperimen

Metode Chain-of-Verification diuji pada sejumlah tugas yang sensitif terhadap akurasi faktual jawaban. Di antaranya adalah: pertanyaan pencacahan fakta dari basis pengetahuan (daftar dari Wikidata dan kategori Wikipedia), pertanyaan dengan beberapa jawaban dari berbagai bagian teks (MultiSpanQA), serta tugas pembangkitan teks panjang (misalnya, biografi).

Hasilnya menunjukkan penurunan halusinasi yang signifikan di semua jenis tugas saat menggunakan CoVe dibandingkan dengan model asal tanpa pemeriksaan mandiri. Varian factored + revise — verifikasi terpisah dengan pemeriksaan fakta final — terbukti paling efektif. Pendekatan ini memberikan nilai akurasi terbaik: misalnya, dalam tugas pembangkitan teks biografi, penerapan CoVe pada model LLaMA-65B (LLM berukuran 65 miliar parameter) meningkatkan metrik faktualnya yaitu FactScore dari ~63,7 menjadi ~71,4 poin. Peningkatan FactScore menunjukkan bahwa jawaban final menjadi mengandung lebih banyak fakta yang terverifikasi dan lebih sedikit informasi yang dikarang.

Lebih jauh lagi, LLM yang dilengkapi rantai verifikasi bahkan mampu melampaui beberapa sistem yang lebih kuat atau yang dilengkapi secara khusus. Misalnya, LLaMA-65B dengan CoVe menunjukkan FactScore yang lebih tinggi dibandingkan ChatGPT (model OpenAI) dan mengungguli Perplexity.ai — model yang diperkuat dengan pencarian internet untuk dukungan faktual jawaban. Hal ini patut dicatat karena Perplexity menggunakan sumber eksternal untuk mencari informasi, sedangkan CoVe mencapai peningkatan kualitas hanya dengan mengandalkan kemampuan internal model itu sendiri untuk bernalar dan melakukan pemeriksaan mandiri. Memang, untuk fakta-fakta yang paling langka (ketika dibutuhkan pengetahuan yang sangat spesifik), sistem berbasis retrieval seperti Perplexity masih mempertahankan keunggulan, namun untuk sebagian besar pertanyaan, CoVe memberikan jawaban yang lebih akurat.

Keterbatasan dan Prospek

Perlu dicatat bahwa meskipun Chain-of-Verification secara nyata mengurangi proporsi halusinasi, metode ini tidak mampu menghilangkannya sepenuhnya. Model masih dapat melakukan kesalahan apabila pertanyaan verifikasi tidak mencakup suatu detail yang salah, atau apabila LLM itu sendiri tidak mengetahui fakta yang benar. Selain itu, CoVe meningkatkan beban komputasi: untuk satu permintaan pengguna diperlukan beberapa pemanggilan berurutan ke model (pembangkitan jawaban, pembangkitan pertanyaan, menjawab pertanyaan, perakitan final), sementara model biasa menjawab dalam satu langkah. Namun demikian, para penulis menunjukkan bahwa dari segi total biaya, CoVe sebanding dengan pendekatan multi-tahap lainnya untuk mendeteksi halusinasi dan tetap merupakan solusi yang praktis.

Dalam karyanya, para peneliti Meta AI menunjukkan kemungkinan arah pengembangan metode ini. Salah satu jalur yang jelas adalah menggabungkan CoVe dengan penggunaan alat eksternal, misalnya menghubungkan modul pencarian internet atau basis pengetahuan pada tahap verifikasi. Hal ini akan memungkinkan perolehan informasi terpercaya dari luar dan konfirmasi atau penolakan fakta dari jawaban asal secara lebih andal. Dengan demikian, Chain-of-Verification berfungsi sebagai langkah menuju sistem AI yang lebih bertanggung jawab dan akurat: metode ini menunjukkan bahwa dengan memaksa model untuk meninjau kembali jawabannya sendiri secara kritis, kualitas jawaban tersebut dapat ditingkatkan secara substansial dan penyebaran fakta yang dikarang dalam teks yang dihasilkan dapat dikurangi.

Tautan

• Artikel asli «Chain-of-Verification Reduces Hallucination in Large Language Models» di arXiv
• Artikel «Chain-of-Verification Reduces Hallucination in Large Language Models» di ACL Anthology
• Chain of Verification (CoVe) — Understanding & Implementation — artikel di Medium

Daftar Pustaka

• Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495.
• Manakul, P. et al. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896.
• Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
• Ling, Z. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
• Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.