Self-consistency prompting (BN)

স্ব-সামঞ্জস্যপূর্ণ ডিকোডিং (ইংরেজি: Self-Consistency Prompting, SC) — এটি prompt engineering-এর একটি পদ্ধতি বা ডিকোডিং কৌশল, যা বহু-ধাপের যুক্তিতর্ক প্রয়োজন এমন কাজে, যেমন গাণিতিক ও যৌক্তিক ধাঁধায়, বৃহৎ ভাষা মডেলের (LLM) নির্ভুলতা ও নির্ভরযোগ্যতা বৃদ্ধির জন্য ডিজাইন করা হয়েছে। পদ্ধতিটি ২০২২ সালে Google Research-এর গবেষকরা Chain-of-Thought (CoT) কৌশলের উন্নতি হিসেবে প্রস্তাব করেছিলেন।

মূল ধারণা হলো একটিমাত্র "লোভী" (greedy) আউটপুটের মধ্যে সীমাবদ্ধ না থেকে একই প্রশ্নের জন্য বিভিন্ন ধরনের যুক্তিতর্কের একাধিক রূপ তৈরি করা, এবং তারপর সেই রূপগুলোর মধ্যে যে উত্তরটি সবচেয়ে বেশিবার আসে সেটিকে চূড়ান্ত উত্তর হিসেবে বেছে নেওয়া। এই পদ্ধতিটি একটি স্বজ্ঞাত নীতির উপর ভিত্তি করে গড়ে উঠেছে: যদি মডেলটি ভিন্ন ভিন্ন পথে যুক্তি দিয়ে বারবার একই ফলাফলে পৌঁছায়, তাহলে সেই ফলাফলটি সঠিক হওয়ার সম্ভাবনা অনেক বেশি।

প্রেক্ষাপট ও পূর্বশর্ত

Self-Consistency পদ্ধতিটি Chain-of-Thought (CoT) কৌশলের সরাসরি বিকাশ। Wei এবং সহলেখকদের (২০২২) দ্বারা প্রস্তাবিত CoT কৌশল মডেলকে সমাধানের ধাপগুলো স্পষ্টভাবে লিখতে উৎসাহিত করে জটিল সমস্যা সমাধানে LLM-এর সক্ষমতা উল্লেখযোগ্যভাবে উন্নত করেছিল। তবে CoT-এর মূল বাস্তবায়নে "greedy decoding" ব্যবহার করা হয়, যেখানে প্রতিটি ধাপে সবচেয়ে সম্ভাব্য পরবর্তী token বেছে নেওয়া হয়। এতে একটি সীমাবদ্ধতা তৈরি হয়: মডেল প্রাথমিক পর্যায়ে ভুল করলে সেই ভুল পথ থেকে সরে এসে তা সংশোধন করতে পারে না। ঠিক এই সমস্যাটি সমাধানের জন্য Self-Consistency প্রস্তাব করা হয়েছিল।

কার্যপদ্ধতি

Self-Consistency অ্যালগরিদম নির্ধারণবাদী greedy পদ্ধতিকে "স্যাম্পলিং এবং পরবর্তী সমষ্টিকরণ" প্রক্রিয়া দিয়ে প্রতিস্থাপন করে এবং নিচের ধাপগুলো নিয়ে গঠিত:

1. একাধিক যুক্তিতর্কের পথ তৈরি: একটি উত্তরের পরিবর্তে মডেলটি একই প্রশ্নের জন্য একাধিকবার (যেমন ৪০ বার পর্যন্ত) chain-of-thought পদ্ধতি ব্যবহার করে সমাধান তৈরি করে। বৈচিত্র্যময় যুক্তিতর্কের পথ পেতে তাপমাত্রা স্যাম্পলিং (temperature > 0 প্যারামিটার সহ) এর মতো stochastic ডিকোডিং পদ্ধতি ব্যবহার করা হয়।
2. সমষ্টিকরণ ও উত্তর বাছাই: সমস্ত তৈরি করা যুক্তিতর্কের শৃঙ্খল থেকে কেবল চূড়ান্ত উত্তরগুলো (যেমন সংখ্যাসূচক মান) বের করা হয়। তারপর সেই উত্তরগুলোর মধ্যে যেটি সবচেয়ে বেশিবার আসে সেটিকে বেছে নেওয়া হয়। এই উত্তরটিই চূড়ান্ত উত্তর হিসেবে প্রদান করা হয়।

এই পদ্ধতিটি "স্ব-সমষ্টিকরণ" (self-ensembling) নীতি অনুকরণ করে, যেখানে একই মডেলের একাধিক আউটপুট নির্ভরযোগ্যতা বৃদ্ধি ও এলোমেলো ত্রুটি মসৃণ করতে ব্যবহার করা হয়।

কার্যকারিতা ও ফলাফল

মূল গবেষণায় Self-Consistency বেশ কিছু জনপ্রিয় benchmark-এ, বিশেষত গাণিতিক ও যৌক্তিক যুক্তিতর্কের প্রয়োজন এমন কাজে, নির্ভুলতায় উল্লেখযোগ্য বৃদ্ধি প্রদর্শন করেছে।

• গণিত সমস্যার benchmark GSM8K-এ PaLM-540B মডেলের নির্ভুলতা ৫৬.৬% (CoT সহ) থেকে বেড়ে ৭৪.৪% (Self-Consistency সহ) হয়েছে, যা ১৭.৮% বৃদ্ধি।
• অন্যান্য গাণিতিক কাজে, যেমন SVAMP এবং AQuA-তে, বৃদ্ধি ছিল যথাক্রমে +১১.০% এবং +১২.২%।
• যুক্তি ও সাধারণ জ্ঞানের প্রয়োজন এমন কাজে, যেমন StrategyQA-তে, উন্নতি ছিল +৬.৪%।

Self-Consistency প্রয়োগ করে GPT-3 175B এবং PaLM 540B-এর মতো বড় মডেল ব্যবহার করে অনেক benchmark-এ নতুন কর্মক্ষমতার রেকর্ড (state-of-the-art) স্থাপিত হয়েছে।

সুবিধা ও সীমাবদ্ধতা

সুবিধা

• নির্ভুলতা বৃদ্ধি: জটিল বহু-ধাপের যুক্তিতর্কের প্রয়োজন এমন কাজে ফলাফল উল্লেখযোগ্যভাবে উন্নত করে।
• নির্ভরযোগ্যতা: পদ্ধতিটি একটিমাত্র যুক্তিতর্কের শৃঙ্খলে যে ত্রুটি হতে পারে তার বিরুদ্ধে আরও টেকসই।
• বাস্তবায়নের সহজতা: অতিরিক্ত প্রশিক্ষণ বা মডেলের আর্কিটেকচার পরিবর্তন প্রয়োজন নেই। পদ্ধতিটি বিদ্যমান মডেলের চারপাশে একটি সহজ "মোড়ক" হিসেবে বাস্তবায়ন করা যায়।

সীমাবদ্ধতা

• উচ্চ কম্পিউটেশনাল খরচ: প্রধান অসুবিধা হলো একটি প্রশ্নের জন্য বারবার (যেমন ১০, ২০ বা ৪০ বার) উত্তর তৈরির প্রয়োজনীয়তা, যা আনুপাতিকভাবে খরচ ও আউটপুটের সময় বাড়িয়ে দেয়।
• সীমিত প্রযোজ্যতা: মানক পদ্ধতিটি স্পষ্টভাবে সংজ্ঞায়িত উত্তর বিন্যাসের (যেমন সংখ্যা, "হ্যাঁ/না", তালিকা থেকে বিকল্প) কাজে সবচেয়ে কার্যকর, যেখানে সংখ্যাগরিষ্ঠতার ভোট সহজে করা যায়। উন্মুক্ত উত্তরের (প্রবন্ধ রচনা, সারসংক্ষেপ) কাজে এটি কম উপযোগী, কারণ সেখানে উত্তরগুলো প্রকৃতিগতভাবে অনন্য।
• পদ্ধতিগত ত্রুটির ঝুঁকি: যদি মডেলটি পদ্ধতিগতভাবে ভুল যুক্তিতর্ক তৈরি করে যেগুলো ঘটনাক্রমে একই ভুল উত্তরে একত্রিত হয়, তাহলে Self-Consistency শুধু ত্রুটি সংশোধন করবে না, বরং সেই ত্রুটির উপর আস্থা আরও বাড়িয়ে দেবে।

পদ্ধতির বিকাশ: Universal Self-Consistency

মুক্ত-রূপ উত্তরের কাজে মূল পদ্ধতির সীমাবদ্ধতা পরবর্তী গবেষণায় মোকাবেলা করা হয়েছে। ২০২৩ সালের শেষের দিকে Google DeepMind-এর একদল গবেষক Universal Self-Consistency (USC) পদ্ধতি প্রস্তাব করেন।

USC-তে চূড়ান্ত উত্তরে সাধারণ ভোটের পরিবর্তে সমষ্টিকরণের জন্য LLM-কেই "বিচারক" হিসেবে ব্যবহার করা হয়। মডেলটি কয়েকটি সম্পূর্ণ সমাধানের রূপ তৈরি করে, তারপর একটি নতুন prompt পায় যেখানে সেগুলোর মধ্য থেকে "সবচেয়ে সামঞ্জস্যপূর্ণ" বা "সর্বোচ্চ মানের" উত্তরটি বেছে নিতে বলা হয়। এই পদ্ধতি উন্মুক্ত ও সৃজনশীল উত্তর বিন্যাসের কাজে স্ব-সামঞ্জস্যতার নীতি প্রয়োগ করতে দেয়।

তথ্যসূত্র

• Self-Consistency Improves Chain of Thought Reasoning in Language Models — Google Research-এর মূল বৈজ্ঞানিক নিবন্ধ।
• Self-Consistency — Prompt Engineering Guide-এ নির্দেশিকা।

সাহিত্য

• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Aggarwal, P. et al. (2023). Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs. arXiv:2305.11860.
• Chen, X. et al. (2023). Universal Self-Consistency with Large Language Models. arXiv:2311.17311.
• Knappe, T. et al. (2024). Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting. arXiv:2410.07839.
• Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
• Li, T. et al. (2024). Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency. arXiv:2407.21443.
• Byerly, A.; Khashabi, D. (2024). How Effective Is Self-Consistency for Long-Context Problems?. arXiv:2411.01101.
• Novikova, J. et al. (2025). Consistency in Language Models: Current Landscape, Challenges, and Future Directions. arXiv:2505.00268.
• Admoni, S. et al. (2025). Towards Large Language Models with Self-Consistent Natural Language Explanations. arXiv:2506.07523.