Least-to-most Prompting (HI)
Least-to-Most Prompting (LtM) — बड़े भाषा मॉडलों (LLM) के लिए प्रॉम्प्ट विकास की एक विधि है, जो जटिल कार्यों को सरल चरणों में विघटित (decompose) करके और फिर उन उपकार्यों को क्रमिक रूप से हल करके कठिन समस्याओं को सुलझाने में सक्षम बनाती है[1]। यह दृष्टिकोण 2022 में Google Brain के शोधकर्ताओं के एक समूह द्वारा डेनी झोउ के नेतृत्व में प्रस्तावित किया गया था और ICLR 2023 सम्मेलन में प्रस्तुत किया गया[2]। इस विधि का मुख्य उद्देश्य Chain-of-Thought प्रॉम्प्ट की उस सीमा को पार करना है, जिसके अनुसार मॉडल उन कार्यों में कमज़ोर पड़ जाता है जो प्रॉम्प्ट-आधारित सीखने के दौरान दिखाए गए उदाहरणों से अधिक जटिल होते हैं[2]। Least-to-Most Prompting मॉडल को अधिक जटिल कार्यों पर सामान्यीकरण (generalization) करने में सक्षम बनाती है, साथ ही यह व्याख्येय बनी रहती है और इसमें neural network के अतिरिक्त प्रशिक्षण की आवश्यकता नहीं होती[2]। इस विधि का नाम शैक्षणिक मनोविज्ञान से लिया गया है, जहाँ «least to most prompting» का अर्थ है किसी छात्र को नया कौशल सीखने के लिए क्रमशः बढ़ते स्तर की सहायता वाले संकेतों की श्रृंखला देना[3]।
विधि का विवरण
Least-to-Most Prompting विधि दो चरणों[2] में लागू की जाती है, जिनमें से प्रत्येक चरण स्वयं भाषा मॉडल को carefully-crafted prompts के माध्यम से निर्दिष्ट किया जाता है (मॉडल के अतिरिक्त fine-tuning के बिना):
- कार्य का विघटन। पहले चरण में मॉडल को निर्देश और उदाहरण दिए जाते हैं जो यह प्रदर्शित करते हैं कि किसी जटिल कार्य को सरल उपकार्यों के अनुक्रम में कैसे विभाजित किया जाए। इसके बाद मॉडल के समक्ष एक विशेष जटिल प्रश्न प्रस्तुत किया जाता है और उसे सरलीकृत मध्यवर्ती प्रश्नों की एक सूची तैयार करनी होती है[2]। उदाहरण के लिए, किसी जटिल कार्य के लिए मॉडल स्वयं एक स्पष्टीकरण उप-प्रश्न तैयार कर सकता है जो मूल समस्या के किसी भाग को संबोधित करता हो।
- उपकार्यों का क्रमिक समाधान। दूसरे चरण में मॉडल प्राप्त उपकार्यों को एक-एक करके — सबसे सरल से सबसे जटिल की ओर — हल करता है। इसके लिए प्रत्येक उपकार्य से पहले संदर्भ दिया जाता है: ऐसी उप-समस्याओं के समाधान के उदाहरण, और (यदि उपलब्ध हो) पहले से हल किए गए पिछले उपकार्य और उनके उत्तर[4]। पहला उपकार्य हल करने के बाद, मॉडल उसका उत्तर प्रॉम्प्ट के पाठ में जोड़ता है और पिछले समाधानों को संदर्भ के रूप में उपयोग करते हुए अगला उपकार्य प्राप्त करता है[4]। यह तब तक जारी रहता है जब तक अंतिम, सबसे जटिल उपकार्य हल नहीं हो जाता, जो सीधे मूल प्रश्न का उत्तर देता है।
उदाहरण: मूल पाठ्य-समस्या को Least-to-Most विधि की सहायता से दो चरणों में विभाजित किया जाता है। पहले मॉडल एक मध्यवर्ती प्रश्न तैयार करता और हल करता है («How long does each trip take?» — «प्रत्येक यात्रा में कितना समय लगता है?»), जिसका उत्तर मिलता है «each trip takes 5 minutes» («प्रत्येक यात्रा में 5 मिनट लगते हैं»)। यह उत्तर अगले उपकार्य — मूल प्रश्न («How many times can she slide before it closes?» — «बंद होने से पहले वह कितनी बार फिसल सकती है?») — के साथ नए प्रॉम्प्ट में शामिल किया जाता है। पिछले परिणाम का उपयोग करते हुए, मॉडल अंतिम उत्तर की गणना करता है (इस उदाहरण में: 3 बार)।
सिद्धांततः, Least-to-Most Prompting मानक chain-of-thought दृष्टिकोण से इस प्रकार भिन्न है कि यह तर्क-प्रक्रिया को एक ही उत्तर में एकल निरंतर «विचारों की श्रृंखला» उत्पन्न करने के बजाय ज्ञान के संचय के साथ अलग-अलग अनुरोधों में विभाजित करती है[3]। यह चरणबद्ध, पुनरावर्ती दृष्टिकोण मॉडल को कार्य के अधिकाधिक जटिल पहलुओं की ओर क्रमशः बढ़ने देता है और easy-to-hard generalization की समस्या को प्रभावी ढंग से दूर करता है (जब मॉडल को प्रशिक्षण उदाहरणों से अधिक कठिन कार्य का सामना करना पड़ता है)[2][3]। उल्लेखनीय है कि LtM-विधि के दोनों चरण few-shot prompting (कुछ उदाहरणों के प्रदर्शन) के माध्यम से लागू होते हैं और मॉडल के अतिरिक्त प्रशिक्षण या नए डेटा पर fine-tuning की आवश्यकता नहीं होती[2]। इसके अलावा, यह विधि LLM के तर्क-सुधार की अन्य तकनीकों के साथ संगत है — उदाहरण के लिए, उत्तर उत्पन्न करते समय इसे chain-of-thought और self-consistency (कई समाधानों का अनुक्रमिक नमूनाकरण) के साथ जोड़ा जा सकता है, हालाँकि यह अनिवार्य नहीं है[1]।
प्रयोगात्मक परिणाम और अनुप्रयोग
Least-to-Most Prompting को प्रस्तावित करने वाले शोध-पत्र में दिखाया गया कि यह विधि बहु-चरणीय तर्क की आवश्यकता वाले कई कार्यों पर मानक प्रॉम्प्टिंग विधियों (chain-of-thought सहित) से बेहतर प्रदर्शन करती है[1]। इसने तीन प्रमुख कार्य-श्रेणियों में अपनी श्रेष्ठता सफलतापूर्वक प्रदर्शित की:
- प्रतीकात्मक और एल्गोरिदमिक कार्य। उदाहरण के लिए, शब्दों के अंतिम अक्षरों की संयोजन (concatenation) की समस्या में (सूची के प्रत्येक शब्द का अंतिम अक्षर क्रमशः लेकर नया शब्द बनाना) LtM विधि ने लंबे शब्द-अनुक्रमों पर मॉडल की सामान्यीकरण क्षमता में उल्लेखनीय सुधार किया। विशेष प्रशिक्षण के बिना, chain-of-thought प्रॉम्प्ट के साथ GPT-3 (code-davinci-002) मॉडल 12 शब्दों की सूची के लिए ऐसे कार्य केवल लगभग 32% मामलों में सही ढंग से हल करता था, जबकि Least-to-Most Prompting के साथ सटीकता ~74% तक पहुँच गई[1]। छोटी सूचियों (उदाहरणों में आई लंबाई) के लिए दोनों रणनीतियाँ अच्छा प्रदर्शन करती थीं, परंतु अनुक्रम की लंबाई बढ़ने पर chain-of-thought की गुणवत्ता तेज़ी से गिर जाती थी, जबकि Least-to-Most अधिक क्रमिक गिरावट के साथ उच्च सटीकता बनाए रखता था[1]। यह LtM-विधि की समाधान-तर्क को अधिक जटिल (लंबे) इनपुट डेटा पर सामान्यीकृत करने की क्षमता को दर्शाता है।
- संरचनात्मक सामान्यीकरण (compositional generalization)। इस श्रेणी के कार्यों में शामिल हैं, उदाहरण के लिए, पाठ्य निर्देशों का क्रियाओं के अनुक्रम में अनुवाद (जैसे benchmark SCAN में, जो «jump twice and run» जैसे आदेशों को निष्पादित करने और लंबे संयोजनों पर सामान्यीकरण करने की माँग करता है)[4]। LtM विधि ने LLM को ऐसे कार्यों के सबसे जटिल रूपों को भी सफलतापूर्वक हल करने में सक्षम बनाया। विशेष रूप से, LtM-प्रॉम्प्ट के साथ GPT-3 ने SCAN डेटासेट के सभी डेटा-विभाजन प्रकारों पर (सबसे कठिन length split सहित, जहाँ परीक्षण अनुक्रम प्रशिक्षण से लंबे होते हैं) 99% सटीकता प्राप्त की, केवल 14 उदाहरणों का उपयोग करके[2]। तुलनात्मक रूप से, मानक chain-of-thought दृष्टिकोण समान परिस्थितियों में केवल लगभग 16% सटीकता देता था[2]। इससे भी अधिक महत्त्वपूर्ण, यह बिना मॉडल के प्रशिक्षण डेटा पर सीखे हासिल किया गया, जबकि SCAN के पूर्व सर्वश्रेष्ठ समाधान विशेष न्यूरो-सांकेतिक (neuro-symbolic) वास्तुकलाओं या डेटा-विस्तार विधियों पर आधारित थे जो >15,000 उदाहरणों वाले पूरे प्रशिक्षण सेट का उपयोग करते थे[2][2]। इस प्रकार, Least-to-Most Prompting ने बिना fine-tuning वाले मॉडलों के लिए अभूतपूर्व संरचनात्मक सामान्यीकरण क्षमता प्रदर्शित की।
- गणितीय पाठ्य-समस्याएँ। विधि का परीक्षण पाठ्य अंकगणित की समस्याओं पर किया गया, उदाहरण के लिए, dataset GSM8K (जोड़/घटाव और तर्क की जटिल पाठ्य-समस्याएँ)[2] और dataset DROP के कुछ प्रश्न (जो पाठ से संख्यात्मक जानकारी निकालने और गणना करने की क्षमता परखते हैं)[2]। यहाँ भी Least-to-Most Prompting ने chain-of-thought की तुलना में सटीकता में सुधार दिखाया। GSM8K के लिए, code-davinci-002 मॉडल का उपयोग करते हुए उत्तरों की सटीकता ~60.9% से बढ़कर ~62.4% हो गई[2]। DROP उपकार्यों पर लाभ और भी स्पष्ट था: उदाहरण के लिए, «फ़ुटबॉल» तथ्यों के बारे में प्रश्नों के एक भाग पर सटीकता chain-of-thought के ~59.6% से बढ़कर LtM के साथ ~73.4% हो गई[2]। यद्यपि गणितीय कार्यों पर गुणवत्ता में वृद्धि SCAN जितनी नाटकीय नहीं थी, लेखक एक महत्त्वपूर्ण बात रेखांकित करते हैं: GSM8K का लगभग कोई भी कार्य तब सही ढंग से हल किया जा सकता है जब मॉडल को सही समस्या विघटन मिले[2]। यह संकेत देता है कि सफल समाधान की कुंजी अच्छी तरह से तैयार किए गए मध्यवर्ती प्रश्न हैं; LtM-दृष्टिकोण का लक्ष्य ऐसे प्रश्नों का स्वत: निर्माण और उनका क्रमिक समाधान करना है।
समग्र रूप से, प्रयोग इस बात की पुष्टि करते हैं कि Least-to-Most Prompting बहु-चरणीय निष्कर्ष की आवश्यकता वाले अनेक प्रकार के कार्यों पर बिना तर्क के सरल few-shot प्रॉम्प्टिंग और chain-of-thought विधि दोनों से काफ़ी बेहतर है[1]। यह विधि LLM को उन समस्याओं को हल करने में सक्षम बनाती है जो उन समस्याओं से अधिक जटिल हैं जिनसे मॉडल मूल रूप से उदाहरणों के माध्यम से परिचित हुआ था, और in-context learning (प्रॉम्प्ट के माध्यम से तत्काल सीखना) की सीमाओं को विस्तारित करती है।
सीमाएँ और आगे की दिशाएँ
सफलताओं के बावजूद, Least-to-Most Prompting विधि में कुछ सीमाएँ हैं। सबसे पहले, विभिन्न प्रकार के कार्यों के लिए विघटन के अलग-अलग दृष्टिकोण आवश्यक होते हैं। जो प्रॉम्प्ट टेम्पलेट किसी गणितीय समस्या को प्रभावी ढंग से विभाजित करता है, वह किसी तार्किक या सामान्य-बोध की समस्या के लिए बिल्कुल उपयुक्त नहीं हो सकता[2]। उदाहरण के लिए, जिन प्रॉम्प्ट ने मॉडल को गणित की पाठ्य-समस्याओं को चरणों में विभाजित करना सिखाया, वे «क्या अरस्तू ने लैपटॉप का उपयोग किया?» जैसे सामान्य-बोध प्रश्न के लिए निरर्थक साबित हुए — ऐसे कार्य के लिए एक बिल्कुल अलग विभाजन-रणनीति की आवश्यकता है[2]। इसलिए, प्रत्येक नई डोमेन या समस्या के प्रकार के लिए कार्य-विघटन के उदाहरणों का नए सिरे से चयन करना और संबंधित prompt तैयार करना पड़ता है जो समाधान की संरचना को स्पष्ट करे[3]। दूसरे शब्दों में, कार्य को सही ढंग से विघटित करने का ज्ञान स्वयं LLM द्वारा सार्वभौमिक रूप से सामान्यीकृत नहीं होता — इसे उदाहरणों के माध्यम से विशिष्ट कार्य-वर्ग के अनुसार निर्दिष्ट करना होता है।
इसके अलावा, LtM की प्रभावशीलता इस बात पर काफ़ी निर्भर करती है कि कार्य को स्वतंत्र उप-लक्ष्यों में कितनी सफलतापूर्वक विभाजित किया जा सकता है। यदि मॉडल मध्यवर्ती चरणों को सही ढंग से तैयार नहीं कर पाता या कोई आवश्यक उपकार्य छूट जाता है, तो अंतिम समाधान भी गलत होगा। फिर भी, स्वयं डेवलपर्स ध्यान दिलाते हैं कि कई मामलों में असफलता को सफलता में बदला जा सकता है यदि कोई मानव सही विघटन का सुझाव दे — तब मॉडल आसानी से प्रत्येक भाग को हल कर लेता है और उत्तरों को सफलतापूर्वक संयुक्त कर देता है[2]। यह दृष्टिकोण के आगे के विकास की संभावना को रेखांकित करता है: उपकार्यों के स्वत: निर्माण की गुणवत्ता में सुधार और संभवतः मॉडलों के इंटरेक्टिव प्रशिक्षण में। अपने निष्कर्ष में, LtM के लेखक यह सुझाव देते हैं कि प्रॉम्प्टिंग विधियों का भविष्य मॉडल के साथ पूर्ण द्विपक्षीय संवाद की दिशा में हो सकता है, जहाँ मॉडल को अपने मध्यवर्ती चरणों पर तत्काल प्रतिक्रिया और सुधार मिले[2]। Least-to-Most Prompting विधि को इस दिशा में एक क़दम माना जा सकता है, जो यह दर्शाती है कि कार्यों के विभाजन और चरणबद्ध समाधान के माध्यम से मॉडल के साथ क्रमिक संवाद नए डेटा पर प्रशिक्षण के बिना उसकी तर्क-क्षमताओं को उल्लेखनीय रूप से विस्तारित करने में सक्षम है[1]।
संदर्भ
- मूल लेख «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» arXiv पर
- मूल लेख का HTML संस्करण
- Least-to-Most Prompting क्या है? — AI Safety Info का लेख
- Medium पर विधि का अवलोकन
- arXiv पर prompt engineering विधियों का व्यापक अवलोकन
साहित्य
- Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
- Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
- Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
- Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
- Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
- Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
- Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
टिप्पणियाँ
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». ar5iv.org. [१]
- ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». arXiv. [२]
- ↑ 3.0 3.1 3.2 3.3 «What is least-to-most prompting?». AI Safety Info. [३]
- ↑ 4.0 4.1 4.2 OXEN AI. «Arxiv Dives Toolformer: Language models can teach themselves to use tools». Medium. [४]