Generated Knowledge Prompting (HI)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, ज्ञान-जनन के साथ प्रॉम्प्टिंग) — यह prompt engineering की एक विधि है जिसे बड़े भाषा मॉडलों (LLM) की तर्क-आधारित और तथ्यात्मक ज्ञान पर निर्भर कार्यों को हल करने की क्षमता में सुधार के लिए विकसित किया गया है[1]। GKP का मूल विचार यह है कि मॉडल को कार्य दो चरणों में करने के लिए बाध्य किया जाए: पहले प्रश्न के विषय पर प्रासंगिक तथ्यों का एक समूह उत्पन्न करना, और फिर उन ज्ञानों के आधार पर अंतिम उत्तर तैयार करना[2]।

यह दृष्टिकोण LLM को अपने आंतरिक, पैरामीट्राइज़्ड ज्ञान को सक्रिय और उपयोग करने में सक्षम बनाता है, जो अरबों पैरामीटर में अप्रत्यक्ष रूप से एन्कोड होता है, परंतु मानक प्रश्नों के दौरान अक्सर अनुपलब्ध रहता है। GKP उस समस्या का समाधान करता है जब मॉडल «यह नहीं जानते कि वे क्या जानते हैं», और उन्हें सही निष्कर्ष निकालने के लिए बिखरे हुए तथ्यों को जोड़ने में मदद करता है[2]।

इतिहास और उत्पत्ति

Generated Knowledge Prompting विधि को पहली बार Jiacheng Liu के नेतृत्व में शोधकर्ताओं के एक समूह द्वारा तैयार किए गए वैज्ञानिक लेख «Generated Knowledge Prompting for Commonsense Reasoning» में प्रस्तुत किया गया था। इस कार्य का प्रारंभिक संस्करण 15 अक्टूबर 2021 को प्रीप्रिंट संग्रह arXiv में प्रकाशित हुआ था, और अंतिम संस्करण 2022 में प्रतिष्ठित सम्मेलन Association for Computational Linguistics (ACL) में प्रस्तुत किया गया[1]।

GKP उन पहले और सबसे महत्त्वपूर्ण तरीकों में से एक बन गया जिसने LLM के साथ संवाद की प्रतिमान को बदलने का प्रस्ताव दिया — एकमुश्त उत्तर-जनन से ध्यान हटाकर दो-चरणीय संज्ञानात्मक प्रक्रिया की ओर ले जाना।

कार्य का द्विचरणीय तंत्र

GKP का तंत्र किसी जटिल कार्य को दो सरल उप-प्रक्रियाओं में विभाजित करता है: प्रासंगिक जानकारी का निष्कर्षण और फिर निष्कर्ष निकालने के लिए उसका उपयोग।

चरण 1: ज्ञान-जनन (Knowledge Generation)

पहले चरण में एक भाषा मॉडल («ज्ञान-जनक») का उपयोग मूल प्रश्न के लिए प्रासंगिक कई (M) ज्ञान-खंड बनाने के लिए किया जाता है। यह प्रक्रिया few-shot prompting तकनीक के माध्यम से आरंभ की जाती है, जहाँ मॉडल को «संदर्भ में» सीखने के लिए कुछ उदाहरण प्रदान किए जाते हैं।

ज्ञान-जनन के लिए prompt की एक सुनिश्चित संरचना होती है:

  1. निर्देश: सामान्य संकेत, उदाहरण के लिए: «विषय पर कुछ तथ्य उत्पन्न करें»।
  2. प्रदर्शन उदाहरण: मनुष्य द्वारा लिखे गए कुछ «प्रश्न-ज्ञान» युग्म। ये उदाहरण अत्यंत महत्त्वपूर्ण भूमिका निभाते हैं, क्योंकि ये मॉडल को यह सिखाते हैं कि किस प्रकार की जानकारी उपयोगी मानी जाती है। इसमें उत्पन्न ज्ञान में सीधे उत्तर नहीं होना चाहिए।
  3. नया प्रश्न: उपयोगकर्ता का मूल प्रश्न, जिसके लिए ज्ञान उत्पन्न करना आवश्यक है।

एक प्रश्न के लिए M ज्ञान-विकल्प उत्पन्न किए जाते हैं (मूल कार्य में M=20), ताकि दूसरे चरण के लिए विविध तथ्यों का एक समूह प्राप्त हो[1]।

चरण 2: ज्ञान-एकीकरण और उत्तर-निर्माण (Knowledge Integration)

दूसरे चरण में एक अन्य भाषा मॉडल («निष्कर्ष-मॉडल») का उपयोग किया जाता है, जो zero-shot मोड में काम कर सकता है या किसी विशिष्ट कार्य के लिए fine-tuning किया गया हो सकता है।

एकीकरण की प्रक्रिया इस प्रकार होती है:

  1. प्रश्न-संवर्धन: मूल प्रश्न (q) को क्रमशः M उत्पन्न ज्ञान-खंडों (km) में से प्रत्येक के साथ जोड़ा जाता है। परिणामस्वरूप M+1 संवर्धित प्रश्न बनते हैं (मूल प्रश्न बिना ज्ञान के सहित)।
  2. उत्तर का मूल्यांकन और चयन: निष्कर्ष-मॉडल प्रत्येक संवर्धित प्रश्न के लिए प्रत्येक संभावित उत्तर-विकल्प (a) की सशर्त प्रायिकता का मूल्यांकन करता है। अंतिम उत्तर वह विकल्प बनता है जिसे कम से कम एक प्रश्न पर सर्वाधिक प्रायिकता मूल्यांकन प्राप्त हुआ हो।

यह द्विचरणीय तंत्र एक प्रकार की मेटा-संज्ञानात्मक प्रक्रिया प्रस्तुत करता है: «उत्तर देने से पहले, सोचें और तैयार करें कि आप इस विषय पर क्या जानते हैं»।

प्रभावशीलता और परीक्षण के परिणाम

GKP की प्रभावशीलता को सामान्य बोध-आधारित तर्क के मूल्यांकन के लिए कुछ अकादमिक benchmark पर परखा गया। इस विधि ने आधारभूत दृष्टिकोणों की तुलना में प्रदर्शन में उल्लेखनीय सुधार दिखाया।

प्रमुख benchmark पर GKP के परिणामों का सारांश (Liu et al., 2022 के आंकड़े)[1]
Benchmark का नाम कार्य आधारभूत मॉडल की सटीकता (%) GKP के साथ सटीकता (%) वृद्धि (%)
NumerSense संख्यात्मक सामान्य बोध 64.05 72.47 +8.42
CommonsenseQA सामान्य सामान्य बोध 39.89 47.26 +7.37
CommonsenseQA 2.0 सामान्य सामान्य बोध 70.20 73.03 +2.83
QASC वैज्ञानिक सामान्य बोध 76.74 80.33 +3.59

सबसे अधिक वृद्धि zero-shot मोड में देखी जाती है, जो यह सिद्ध करती है कि GKP अतिरिक्त fine-tuning के बिना मॉडल के आंतरिक ज्ञान को प्रभावी ढंग से सक्रिय कर सकता है।

अन्य तकनीकों के साथ तुलनात्मक विश्लेषण

GKP vs. Chain-of-Thought (CoT)

GKP और Chain-of-Thought (CoT) के बीच मुख्य अंतर उत्पन्न जानकारी के प्रकार में है:

  • GKP घोषणात्मक ज्ञान उत्पन्न करता है — तथ्य, परिभाषाएँ, दुनिया के बारे में कथन («क्या»). यह मॉडल को अतिरिक्त संदर्भ प्रदान करता है।
  • CoT प्रक्रियात्मक ज्ञान उत्पन्न करता है — तार्किक चरण, गणनाएँ, निष्कर्षों का क्रम («कैसे»). यह मॉडल को तर्क का मार्ग प्रदान करता है।

इस प्रकार, GKP तथ्यात्मक आधार प्रदान करता है, जबकि CoT निष्कर्ष की तार्किक संरचना प्रदान करता है[3]।

GKP vs. Retrieval-Augmented Generation (RAG)

GKP के विपरीत, Retrieval-Augmented Generation (RAG) विधि बाह्य, गैर-पैरामीट्रिक ज्ञान स्रोतों का उपयोग करती है।

  • GKP आंतरिक ज्ञान का उपयोग करता है जो मॉडल ने प्रशिक्षण के दौरान अर्जित किया है। यह मॉडल को वह «याद दिलाता» है जो वह पहले से जानता है।
  • RAG डेटाबेस, दस्तावेज़ों या इंटरनेट से बाह्य ज्ञान का उपयोग करता है। यह मॉडल को बाहरी दुनिया में जानकारी «खोजने» के लिए प्रेरित करता है।

GKP और RAG के बीच चुनाव कार्य पर निर्भर करता है: GKP तब प्रभावी है जब आवश्यक ज्ञान सामान्य रूप से ज्ञात हो और प्रशिक्षण डेटा में अच्छी तरह प्रतिनिधित्व हो, जबकि RAG अत्यंत विशिष्ट, नवीन या स्वामित्व वाले डेटा के लिए अपरिहार्य है।

सीमाएँ और जोखिम

  • «हैलुसिनेशन» की समस्या: GKP का मुख्य जोखिम गलत तथ्यों के उत्पन्न होने की संभावना है। यदि पहले चरण में मॉडल कोई असत्य कथन उत्पन्न करता है, तो दूसरे चरण में उसे सत्य मान लिया जाएगा, जिससे आत्मविश्वासपूर्ण परंतु पूरी तरह गलत उत्तर मिलेगा।
  • कम्प्यूटेशनल लागत: इस विधि में LLM से बार-बार अनुरोध करना पड़ता है (एक प्रश्न के लिए M+1 कॉल), जिससे मानक prompting की तुलना में प्रतिक्रिया समय (latency) और उपयोग लागत में उल्लेखनीय वृद्धि होती है।
  • Prompt विकास की जटिलता: GKP की प्रभावशीलता काफी हद तक few-shot उदाहरणों की गुणवत्ता पर निर्भर करती है, जिनका निर्माण एक गैर-तुच्छ और श्रमसाध्य कार्य है।

विकास और हाइब्रिड दृष्टिकोण

GKP में निहित विचारों ने prompting की अधिक जटिल और विश्वसनीय तकनीकों के विकास के लिए उत्प्रेरक का काम किया, जैसे:

  • Hint-before-Solving (HSP): GKP का प्रत्यक्ष वैचारिक उत्तराधिकारी, जो द्विचरणीय सिद्धांत («पहले ज्ञान, फिर कार्य») को साधारण उत्तर पर नहीं, बल्कि CoT में अधिक जटिल तर्क-प्रक्रिया पर लागू करता है[4]।
  • Verify-and-Edit (VE): एक हाइब्रिड framework जो GKP और CoT में «हैलुसिनेशन» की समस्या का उत्तर है। VE पहले तर्क-शृंखला उत्पन्न करता है (जैसे CoT), फिर बाह्य खोज की सहायता से मुख्य तथ्यों को स्वतः सत्यापित करता है (जैसे RAG) और अंतिम उत्तर उत्पन्न करने से पहले तर्क को संपादित करता है[5]।

संदर्भ

  • Generated Knowledge Prompting, Prompt Engineering Guide में

साहित्य

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

टिप्पणियाँ

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [१]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [२]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [३]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [४]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [५]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(HI)&oldid=2586"