Self-consistency prompting (ID)

Dekoding mandiri-konsisten (Ingg. Self-Consistency Prompting, SC) — adalah metode atau strategi dekoding dalam prompt engineering yang dirancang untuk meningkatkan akurasi dan keandalan large language model (LLM) dalam menyelesaikan tugas yang memerlukan penalaran multi-langkah, seperti teka-teki aritmetika dan logika. Metode ini diusulkan oleh para peneliti dari Google Research pada tahun 2022 sebagai penyempurnaan teknik "rantai pikiran" (Chain-of-Thought, CoT).

Gagasan utamanya adalah tidak membatasi diri pada satu inferensi "serakah" saja, melainkan menghasilkan berbagai jalur penalaran yang berbeda untuk pertanyaan yang sama, lalu memilih jawaban akhir yang paling sering muncul di antara jalur-jalur tersebut. Pendekatan ini didasarkan pada prinsip intuitif: jika model, dengan bernalar melalui berbagai cara, berulang kali sampai pada hasil yang sama, maka hasil tersebut dengan probabilitas tinggi adalah jawaban yang benar.

Konteks dan Latar Belakang

Metode Self-Consistency merupakan pengembangan langsung dari teknik Chain-of-Thought (CoT). Teknik CoT yang diusulkan oleh Wei dkk. (2022) secara signifikan meningkatkan kemampuan LLM dalam menyelesaikan tugas-tugas kompleks dengan mendorong model untuk secara eksplisit menjabarkan langkah-langkah penyelesaian. Namun, dalam implementasi dasar CoT digunakan "greedy decoding", di mana pada setiap langkah dipilih token berikutnya yang paling mungkin. Hal ini menciptakan keterbatasan: jika model membuat kesalahan pada tahap awal, ia tidak dapat menyimpang dari jalur yang salah tersebut dan memperbaikinya. Self-Consistency diusulkan untuk mengatasi masalah inilah.

Mekanisme Kerja

Algoritma Self-Consistency menggantikan pendekatan deterministik yang serakah dengan prosedur "sampling diikuti agregasi" dan terdiri dari langkah-langkah berikut:

1. Pembangkitan beberapa jalur penalaran: Alih-alih satu jawaban, model beberapa kali (misalnya, hingga 40 kali) menghasilkan solusi untuk permintaan yang sama menggunakan metode rantai pikiran. Untuk mendapatkan jalur penalaran yang beragam, digunakan metode dekoding stokastik seperti temperature sampling (dengan parameter temperatur > 0).
2. Agregasi dan pemilihan jawaban: Dari semua rantai penalaran yang dihasilkan, hanya jawaban akhir yang diekstrak (misalnya, nilai numerik). Kemudian di antara jawaban-jawaban tersebut dipilih yang paling sering muncul. Jawaban inilah yang dikeluarkan sebagai hasil akhir.

Pendekatan ini meniru prinsip "self-ensembling", di mana banyak inferensi dari model yang sama digunakan untuk meningkatkan keandalan dan memperhalus kesalahan acak.

Efektivitas dan Hasil

Dalam penelitian orisinalnya, Self-Consistency menunjukkan peningkatan akurasi yang signifikan pada sejumlah benchmark populer, terutama dalam tugas yang memerlukan penalaran aritmatika dan logika.

• Pada benchmark soal matematika GSM8K, akurasi model PaLM-540B meningkat dari 56,6% (dengan CoT) menjadi 74,4% (dengan Self-Consistency), yang merupakan peningkatan sebesar 17,8%.
• Pada tugas aritmatika lainnya seperti SVAMP dan AQuA, peningkatannya masing-masing sebesar +11,0% dan +12,2%.
• Pada tugas yang memerlukan logika dan akal sehat, seperti StrategyQA, peningkatannya sebesar +6,4%.

Penerapan Self-Consistency memungkinkan pencapaian rekor kinerja baru (state-of-the-art) pada banyak benchmark dengan menggunakan model-model besar seperti GPT-3 175B dan PaLM 540B.

Kelebihan dan Keterbatasan

Kelebihan

• Peningkatan akurasi: Secara signifikan meningkatkan hasil pada tugas yang memerlukan penalaran multi-langkah yang kompleks.
• Keandalan: Metode ini lebih tahan terhadap kesalahan yang mungkin muncul dalam satu rantai penalaran tunggal.
• Kemudahan implementasi: Tidak memerlukan pelatihan tambahan atau perubahan arsitektur model. Metode ini dapat diimplementasikan sebagai "pembungkus" sederhana di atas model yang sudah ada.

Keterbatasan

• Biaya komputasi tinggi: Kelemahan utama adalah perlunya pembangkitan jawaban berulang kali (misalnya, 10, 20, atau 40 kali) untuk satu permintaan, yang secara proporsional meningkatkan biaya dan waktu inferensi.
• Keterbatasan penerapan: Metode standar paling efektif untuk tugas dengan format jawaban yang terdefinisi jelas (misalnya, angka, "ya/tidak", pilihan dari daftar), di mana pemungutan suara mayoritas mudah dilakukan. Metode ini kurang cocok untuk tugas dengan generasi terbuka (penulisan esai, peringkasan), di mana jawaban-jawabannya unik dalam bentuknya.
• Risiko kesalahan sistematis: Jika model secara sistematis menghasilkan penalaran yang salah yang secara kebetulan konvergen ke jawaban yang sama-sama keliru, Self-Consistency tidak hanya tidak akan memperbaiki kesalahan tersebut, tetapi justru akan memperkuat keyakinan terhadapnya.

Pengembangan Metode: Universal Self-Consistency

Keterbatasan metode dasar pada tugas dengan format jawaban bebas ditangani dalam penelitian-penelitian selanjutnya. Pada akhir tahun 2023, sekelompok peneliti dari Google DeepMind mengusulkan pendekatan Universal Self-Consistency (USC).

Dalam USC, alih-alih pemungutan suara sederhana berdasarkan jawaban akhir, LLM itu sendiri digunakan sebagai "juri" untuk agregasi. Model menghasilkan beberapa varian solusi lengkap, lalu menerima prompt baru yang meminta untuk memilih di antara mereka yang "paling konsisten" atau "paling berkualitas". Pendekatan ini memungkinkan penerapan prinsip-prinsip mandiri-konsisten pada tugas dengan format jawaban terbuka dan kreatif.

Tautan

• Self-Consistency Improves Chain of Thought Reasoning in Language Models — makalah ilmiah orisinal dari Google Research.
• Self-Consistency — panduan di Prompt Engineering Guide.

Daftar Pustaka

• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Aggarwal, P. et al. (2023). Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
• Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
• Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
• Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
• Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
• Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.