Self-consistency prompting (HI)

स्व-संगत डिकोडिंग (अंग्रेज़ी: Self-Consistency Prompting, SC) — यह prompt engineering में एक विधि या डिकोडिंग रणनीति है, जो बड़े भाषा मॉडलों (LLM) की सटीकता और विश्वसनीयता बढ़ाने के लिए बनाई गई है — विशेष रूप से उन कार्यों में जिनमें बहु-चरणीय तर्क की आवश्यकता होती है, जैसे कि अंकगणितीय और तार्किक पहेलियाँ। यह विधि 2022 में Google Research के शोधकर्ताओं द्वारा Chain-of-Thought (CoT) तकनीक के सुधार के रूप में प्रस्तावित की गई थी।

मूल विचार यह है कि केवल एक "लालची" (greedy) निष्कर्ष तक सीमित न रहें, बल्कि एक ही प्रश्न पर अनेक विभिन्न तर्क-पथ उत्पन्न किए जाएँ, और फिर उन सभी विकल्पों में सबसे अधिक बार आने वाला उत्तर अंतिम उत्तर के रूप में चुना जाए। यह दृष्टिकोण एक सहज सिद्धांत पर आधारित है: यदि मॉडल अलग-अलग रास्तों से सोचते हुए बार-बार एक ही परिणाम पर पहुँचता है, तो उस परिणाम के सही होने की संभावना अधिक होती है।

संदर्भ और पृष्ठभूमि

Self-Consistency विधि Chain-of-Thought (CoT) तकनीक का प्रत्यक्ष विकास है। CoT तकनीक, जिसे Wei और सहलेखकों (2022) ने प्रस्तावित किया था, ने LLM की जटिल कार्यों को हल करने की क्षमता में काफी सुधार किया — मॉडल को समाधान के चरणों को स्पष्ट रूप से लिखने के लिए प्रेरित करके। हालाँकि, CoT के मूल कार्यान्वयन में "greedy decoding" का उपयोग होता है, जिसमें प्रत्येक चरण पर सबसे अधिक संभावित अगले token को चुना जाता है। इससे एक सीमा उत्पन्न होती है: यदि मॉडल प्रारंभिक चरण में गलती करता है, तो वह उस गलत दिशा से हट नहीं सकता और उसे सुधार नहीं सकता। Self-Consistency को ठीक इसी समस्या के समाधान के लिए प्रस्तावित किया गया था।

कार्य-प्रणाली

Self-Consistency का एल्गोरिदम निर्धारक (deterministic) greedy दृष्टिकोण को "सैंपलिंग और फिर एकत्रीकरण" की प्रक्रिया से प्रतिस्थापित करता है और इसमें निम्नलिखित चरण होते हैं:

1. अनेक तर्क-पथों का उत्पादन: एक उत्तर की बजाय, मॉडल एक ही प्रश्न के लिए कई बार (उदाहरण के लिए, 40 बार तक) Chain-of-Thought विधि का उपयोग करते हुए समाधान उत्पन्न करता है। विविध तर्क-पथ पाने के लिए तापमान सैंपलिंग (temperature > 0 के साथ) जैसी stochastic डिकोडिंग विधियों का उपयोग किया जाता है।
2. एकत्रीकरण और उत्तर चयन: सभी उत्पन्न तर्क-श्रृंखलाओं से केवल अंतिम उत्तर (जैसे कि संख्यात्मक मान) निकाले जाते हैं। फिर इन उत्तरों में से सबसे अधिक बार आने वाले उत्तर को चुना जाता है। यही उत्तर अंतिम उत्तर के रूप में प्रस्तुत किया जाता है।

यह दृष्टिकोण "स्व-एन्सेम्बलिंग" के सिद्धांत की नकल करता है, जहाँ एक ही मॉडल के अनेक निष्कर्षों का उपयोग विश्वसनीयता बढ़ाने और यादृच्छिक त्रुटियों को कम करने के लिए किया जाता है।

प्रभावशीलता और परिणाम

मूल शोध में Self-Consistency ने कई लोकप्रिय benchmark पर सटीकता में महत्वपूर्ण वृद्धि दिखाई, विशेष रूप से अंकगणितीय और तार्किक तर्क वाले कार्यों में।

• गणितीय समस्याओं के benchmark GSM8K पर PaLM-540B मॉडल की सटीकता 56.6% (CoT के साथ) से बढ़कर 74.4% (Self-Consistency के साथ) हो गई, जो 17.8% की वृद्धि है।
• अन्य अंकगणितीय कार्यों जैसे SVAMP और AQuA पर वृद्धि क्रमशः +11.0% और +12.2% रही।
• तर्क और सामान्य बोध वाले कार्यों जैसे StrategyQA पर सुधार +6.4% रहा।

Self-Consistency के उपयोग से GPT-3 175B और PaLM 540B जैसे बड़े मॉडलों के साथ कई benchmark पर नए प्रदर्शन रिकॉर्ड (state-of-the-art) स्थापित हुए।

लाभ और सीमाएँ

लाभ

• सटीकता में वृद्धि: जटिल बहु-चरणीय तर्क वाले कार्यों पर परिणामों में काफी सुधार होता है।
• विश्वसनीयता: यह विधि उन त्रुटियों के प्रति अधिक सहनशील है जो एकल तर्क-श्रृंखला में उत्पन्न हो सकती हैं।
• कार्यान्वयन की सरलता: इसके लिए अतिरिक्त प्रशिक्षण या मॉडल आर्किटेक्चर में बदलाव की आवश्यकता नहीं है। इस विधि को किसी मौजूदा मॉडल के चारों ओर एक साधारण "रैपर" के रूप में लागू किया जा सकता है।

सीमाएँ

• उच्च कम्प्यूटेशनल लागत: मुख्य कमी — एक ही प्रश्न के लिए बार-बार उत्तर उत्पन्न करने की आवश्यकता (जैसे 10, 20 या 40 बार), जिससे लागत और अनुमान समय आनुपातिक रूप से बढ़ जाता है।
• सीमित उपयोगिता: मानक विधि उन कार्यों के लिए सबसे प्रभावी है जिनमें उत्तर का स्पष्ट रूप से परिभाषित प्रारूप हो (जैसे संख्या, "हाँ/नहीं", सूची से विकल्प), जहाँ बहुमत मतदान आसानी से किया जा सकता है। यह खुली उत्पत्ति (open-ended generation) वाले कार्यों के लिए कम उपयुक्त है (निबंध लेखन, सारांशीकरण), जहाँ उत्तर अपने स्वरूप में अद्वितीय होते हैं।
• व्यवस्थित त्रुटि का जोखिम: यदि मॉडल व्यवस्थित रूप से गलत तर्क उत्पन्न करता है जो संयोगवश एक ही गलत उत्तर पर अभिसरित होते हैं, तो Self-Consistency त्रुटि को सुधारने की बजाय उस पर विश्वास को और मजबूत कर देगा।

विधि का विकास: Universal Self-Consistency

मुक्त-स्वरूप उत्तर वाले कार्यों पर मूल विधि की सीमाओं को बाद के शोधों में संबोधित किया गया। 2023 के अंत में Google DeepMind के शोधकर्ताओं के एक समूह ने Universal Self-Consistency (USC) दृष्टिकोण प्रस्तावित किया।

USC में अंतिम उत्तरों पर साधारण मतदान की बजाय एकत्रीकरण के लिए स्वयं LLM को "न्यायाधीश" के रूप में उपयोग किया जाता है। मॉडल कई पूर्ण समाधान विकल्प उत्पन्न करता है, और फिर उसे एक नया prompt दिया जाता है जिसमें उनमें से "सबसे संगत" या "सबसे उच्च गुणवत्ता" वाले को चुनने का अनुरोध होता है। यह दृष्टिकोण खुले और रचनात्मक उत्तर प्रारूप वाले कार्यों पर स्व-संगति के सिद्धांतों को लागू करने की अनुमति देता है।

सन्दर्भ

• Self-Consistency Improves Chain of Thought Reasoning in Language Models — Google Research की मूल वैज्ञानिक शोध पत्रिका।
• Self-Consistency — Prompt Engineering Guide पर मार्गदर्शिका।

साहित्य

• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Aggarwal, P. et al. (2023). Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
• Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
• Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
• Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
• Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
• Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.