Meta Prompting (HI)

मेटा-प्रॉम्प्टिंग (अंग्रेज़ी: meta-prompting) — यह prompt engineering की एक उन्नत विधि है, जिसमें बड़े भाषा मॉडल (LLM) का उपयोग अपने स्वयं के निर्देशों (prompt) को बनाने, सुधारने और अनुकूलित करने के लिए किया जाता है। पारंपरिक तरीकों के विपरीत, जहाँ मनुष्य स्वयं विस्तृत निर्देश लिखता है, मेटा-प्रॉम्प्टिंग कार्य-समाधान की संरचना और उन भूमिकाओं को परिभाषित करने पर केंद्रित है जो मॉडल को निभानी होती हैं। दूसरे शब्दों में, यह बताता है कि कार्य कैसे हल किया जाए, न कि प्रत्येक विशेष स्थिति में क्या किया जाए।

यह दृष्टिकोण LLM को स्वतंत्र रूप से जटिल समस्याओं को विखंडित करने, प्रश्नों को स्पष्ट करने और अपने उत्तरों को पुनरावृत्तिपूर्वक बेहतर बनाने की क्षमता देता है, जो अधिक स्वायत्त और अनुकूलनशील कृत्रिम बुद्धिमत्ता प्रणालियों के निर्माण का मार्ग खोलता है।

मुख्य विधियाँ और दृष्टिकोण

«मेटा-प्रॉम्प्टिंग» शब्द 2023 के अंत और 2024 की शुरुआत में वैज्ञानिक साहित्य में प्रचलित हुआ, जब कई शोध दलों ने LLM प्रबंधन के लिए समान दृष्टिकोण प्रस्तुत किए।

«ढाँचा-निर्माण» (Scaffolding) विधि

एक प्रमुख दृष्टिकोण स्टैनफोर्ड विश्वविद्यालय और OpenAI के शोधकर्ताओं द्वारा प्रस्तावित किया गया था। इस योजना में, जिसे scaffolding कहा गया, एक ही भाषा मॉडल (प्रयोगों में GPT-4) एक साथ कई भूमिकाएँ निभाता है:

• संचालक (Conductor): उच्च-स्तरीय मेटा-संकेत प्राप्त करता है और जटिल कार्य को कई सरल उप-कार्यों में विभाजित करता है।
• विशेषज्ञ (Experts): «संचालक» अपने कई «विशेषज्ञ» उदाहरण प्रारंभ करता है, जिनमें से प्रत्येक विशेष रूप से निर्धारित निर्देशों के अनुसार एक अलग उप-कार्य हल करता है।
• एकीकरण: «संचालक» «विशेषज्ञों» के कार्य का समन्वय करता है और उनके उत्तरों को अंतिम समाधान में एकीकृत करता है।

इस ऑर्केस्ट्रेशन दृष्टिकोण ने जटिल कार्यों को हल करने की दक्षता में उल्लेखनीय वृद्धि की। उदाहरण के लिए, प्रयोगों में मेटा-प्रॉम्प्टिंग ने सामान्य एकल-चरण अनुरोधों को 17.1% से और अन्य उन्नत विधियों को बहु-घटक तर्क की आवश्यकता वाले कार्य-समूहों पर 15–17% से पीछे छोड़ दिया (जैसे «24» का खेल, शतरंज की पहेलियाँ)। महत्वपूर्ण बात यह है कि यह विधि कार्य-स्वतंत्र प्रकृति की है और zero-shot मोड में कार्य करती है, जिसके लिए प्रत्येक नए कार्य के लिए विशेष उदाहरणों की आवश्यकता नहीं होती।

सैद्धांतिक दृष्टिकोण और संरचनात्मक टेम्पलेट

समानांतर रूप से, सिंघुआ विश्वविद्यालय के शोधकर्ताओं के एक समूह ने मेटा-प्रॉम्प्टिंग की अपनी अवधारणा प्रस्तुत की, जिसमें ध्यान कार्य की विषयवस्तु से हटाकर डेटा प्रस्तुति के वाक्य-रचना और रूप पर केंद्रित किया गया। श्रेणीबद्ध मॉडल पर आधारित होते हुए, उन्होंने प्रदर्शित किया कि समस्या की संरचना का अमूर्त विवरण मॉडल को मानवीय गहराई के करीब तर्क बनाने और जटिल प्रश्नों को सरल चरणों में प्रभावी ढंग से विखंडित करने में सक्षम बनाता है।

संबंधित अवधारणाएँ

मेटा-प्रॉम्प्टिंग के विचार अन्य विधियों में भी प्रकट होते हैं:

• Automatic Prompt Engineer (APE): एक ऐसी विधि जिसमें LLM स्वयं के लिए प्रभावी निर्देश स्वचालित रूप से उत्पन्न और चुनता है, उन्हें प्राप्त परिणामों की गुणवत्ता के आधार पर मूल्यांकन करता है।
• Self-Refine: एक दृष्टिकोण जिसमें मॉडल पिछले संस्करण का आलोचनात्मक विश्लेषण करके और उस आलोचना के आधार पर सुधार उत्पन्न करके अपने उत्तर को पुनरावृत्तिपूर्वक बेहतर बनाता है।

उपयोग और लाभ

मेटा-प्रॉम्प्टिंग ने उन कार्यों में उच्च प्रभावशीलता दिखाई है जिनमें जटिल बहु-घटक तर्क की आवश्यकता होती है, जैसे गणितीय प्रमाण, प्रोग्रामिंग और पहेलियों का चरण-दर-चरण समाधान। इस विधि के प्रमुख लाभ:

• Token-दक्षता: कई उदाहरणों की गणना के बजाय कार्य की सामान्य संरचना पर ध्यान केंद्रित करने से prompt का आकार कम होता है। मेटा-संकेत एक सार्वभौमिक टेम्पलेट है जिसके लिए कम token की आवश्यकता होती है।
• स्थिरता और निष्पक्षता: यह विधि विशिष्ट उदाहरणों पर निर्भरता से बचती है, जिससे मॉडल प्रशिक्षण नमूनों की विशिष्टताओं की ओर पक्षपात के प्रति कम संवेदनशील होता है।
• गतिशील अनुकूलन: स्थिर prompt के विपरीत, मेटा-प्रॉम्प्टिंग पुनरावृत्तिपूर्ण सुधार की अनुमति देता है। मॉडल समाधान के दौरान निर्देशों को स्पष्ट कर सकता है, अनुपलब्ध जानकारी का अनुरोध कर सकता है और रणनीति को समायोजित कर सकता है।
• नए कार्यों पर सामान्यीकरण: उच्च-स्तरीय निर्देश नए, पहले न देखे गए कार्यों में अधिक आसानी से स्थानांतरित होते हैं, जो मेटा-प्रॉम्प्टिंग को zero-shot दृष्टिकोण का एक उन्नत रूप बनाता है।

सीमाएँ और जोखिम

• लागत और कम्प्यूटेशनल जटिलता: इस विधि के लिए एक कार्य के लिए मॉडल से कई बार संपर्क की आवश्यकता होती है, जिससे समय और API-अनुरोधों की लागत बढ़ जाती है। वर्तमान कार्यान्वयन क्रमिक रूप से कार्य करते हैं, जिससे समानांतरीकरण कठिन हो जाता है।
• मॉडल की क्षमताओं पर निर्भरता: मेटा-प्रॉम्प्टिंग की प्रभावशीलता आधार LLM की गुणवत्ता पर बहुत अधिक निर्भर करती है। शोध से पता चला है कि GPT-3.5 को इस विधि से लगभग कोई लाभ नहीं होता, जबकि GPT-4 और बाद के मॉडलों के लिए लाभ काफी अधिक है।
• LLM की मौलिक सीमाएँ: मेटा-प्रॉम्प्टिंग कोई सर्वरामबाण नहीं है। यदि कार्य आधार मॉडल के ज्ञान से परे है, तो आदर्श रूप से तैयार मेटा-संकेत भी सही परिणाम की गारंटी नहीं देता। ऐसे मामलों में fine-tuning या बाहरी उपकरणों के साथ एकीकरण (जैसे इंटरनेट खोज या कोड इंटरप्रेटर) की आवश्यकता होती है।

संदर्भ

• OpenAI Cookbook में मेटा-प्रॉम्प्टिंग का उदाहरण
• Prompt Engineering Guide में विधि का विवरण

साहित्य

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.