Generated Knowledge Prompting (UR)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP، جنریٹڈ نالج پرامپٹنگ) — یہ prompt engineering کا ایک طریقہ ہے جو بڑے لسانی ماڈلوں (LLM) کی استدلال اور حقیقی معلومات پر مبنی مسائل حل کرنے کی صلاحیت کو بہتر بنانے کے لیے تیار کیا گیا ہے[1]۔ GKP کا بنیادی خیال یہ ہے کہ ماڈل کو کام دو مرحلوں میں انجام دینے پر مجبور کیا جائے: پہلے سوال کے موضوع سے متعلق حقائق کا ایک مجموعہ تیار کیا جائے، پھر انہی معلومات کی بنیاد پر حتمی جواب مرتب کیا جائے[2]۔

یہ طریقہ LLM کو اپنی اندرونی، پیرامیٹرائزڈ معلومات کو فعال کرنے اور استعمال کرنے کے قابل بناتا ہے، جو اربوں پیرامیٹرز میں ضمنی طور پر محفوظ ہوتی ہیں لیکن عام سوالات میں اکثر ناقابلِ رسائی رہتی ہیں۔ GKP اس مسئلے کو حل کرتا ہے کہ ماڈل «یہ نہیں جانتے کہ وہ کیا جانتے ہیں»، اور انہیں بکھرے ہوئے حقائق کو جوڑ کر درست نتیجہ اخذ کرنے میں مدد کرتا ہے[2]۔

تاریخ اور آغاز

Generated Knowledge Prompting کا طریقہ سب سے پہلے «Generated Knowledge Prompting for Commonsense Reasoning» کے عنوان سے ایک علمی مقالے میں پیش کیا گیا، جو Jiacheng Liu کی قیادت میں محققین کے ایک گروپ نے تیار کیا۔ مقالے کا ابتدائی ورژن arXiv پری پرنٹ آرکائیو میں 15 اکتوبر 2021 کو شائع ہوا، اور حتمی ورژن 2022 میں معتبر کانفرنس Association for Computational Linguistics (ACL) میں پیش کیا گیا[1]۔

GKP ان پہلے اور سب سے اہم طریقوں میں سے ایک بنا جس نے LLM کے ساتھ تعامل کے انداز کو بدلنے کی تجویز دی — یک لمحی جواب کی تیاری کی بجائے دو مرحلاتی علمی عمل پر توجہ مرکوز کی۔

دو مرحلاتی طریقہ کار

GKP کا طریقہ کار ایک پیچیدہ کام کو دو آسان ذیلی عمل میں تقسیم کرتا ہے: متعلقہ معلومات کا اخراج اور پھر اسے نتیجہ اخذ کرنے کے لیے استعمال کرنا۔

مرحلہ 1: معلومات کی تیاری (Knowledge Generation)

پہلے مرحلے میں ایک لسانی ماڈل («نالج جنریٹر») کو اصل سوال سے متعلق کئی (M) معلوماتی ٹکڑے تیار کرنے کے لیے استعمال کیا جاتا ہے۔ یہ عمل few-shot prompting کی تکنیک سے شروع کیا جاتا ہے، جہاں ماڈل کو «سیاق میں» سیکھنے کے لیے چند مثالیں فراہم کی جاتی ہیں۔

معلومات کی تیاری کے لیے prompt کی ایک مخصوص ساخت ہوتی ہے:

  1. ہدایت: ایک عمومی رہنمائی، مثلاً: «موضوع پر چند حقائق بیان کریں»۔
  2. مظاہراتی مثالیں: انسان کے لکھے ہوئے چند «سوال-معلومات» کے جوڑے۔ یہ مثالیں انتہائی اہم کردار ادا کرتی ہیں کیونکہ یہ ماڈل کو سکھاتی ہیں کہ کس قسم کی معلومات مفید سمجھی جاتی ہیں۔ اس میں تیار کردہ معلومات میں خود جواب براہِ راست شامل نہیں ہونا چاہیے۔
  3. نیا سوال: صارف کا اصل سوال جس کے لیے معلومات تیار کرنی ہیں۔

ایک سوال کے لیے M معلوماتی متبادل تیار کیے جاتے ہیں (اصل مقالے میں M=20)، تاکہ دوسرے مرحلے کے لیے متنوع حقائق کا مجموعہ حاصل ہو[1]۔

مرحلہ 2: معلومات کا انضمام اور جواب کی تشکیل (Knowledge Integration)

دوسرے مرحلے میں ایک اور لسانی ماڈل («استنتاج ماڈل») استعمال کیا جاتا ہے، جو zero-shot موڈ میں کام کر سکتا ہے یا کسی مخصوص کام کے لیے fine-tuned ہو سکتا ہے۔

انضمام کا عمل درج ذیل طریقے سے ہوتا ہے:

  1. سوال کی بڑھوتری: اصل سوال (q) کو M میں سے ہر تیار کردہ معلوماتی ٹکڑے (km) کے ساتھ یکے بعد دیگرے ملایا جاتا ہے۔ اس کے نتیجے میں M+1 بڑھے ہوئے سوالات بنتے ہیں (جن میں بغیر معلومات کے اصل سوال بھی شامل ہے)۔
  2. جواب کی جانچ اور انتخاب: استنتاج ماڈل ہر بڑھے ہوئے سوال کے لیے ہر ممکنہ جواب (a) کے مشروط امکان کا اندازہ لگاتا ہے۔ حتمی جواب وہ متبادل ہوتا ہے جسے کم از کم ایک سوال پر سب سے زیادہ امکانی اسکور ملا ہو۔

یہ دو مرحلاتی طریقہ کار ایک قسم کا میٹا کاگنیٹو عمل متعارف کراتا ہے: «جواب دینے سے پہلے سوچو اور بیان کرو کہ تم اس موضوع کے بارے میں کیا جانتے ہو»۔

کارکردگی اور جانچ کے نتائج

GKP کی کارکردگی کو commonsense reasoning کی جانچ کے لیے متعدد علمی benchmarks پر پرکھا گیا۔ اس طریقے نے بنیادی طریقوں کے مقابلے میں نمایاں بہتری دکھائی۔

اہم benchmarks پر GKP کے نتائج کا خلاصہ (Liu et al., 2022 سے ماخوذ)[1]
Benchmark کا نام کام بنیادی ماڈل کی درستگی (%) GKP کے ساتھ درستگی (%) اضافہ (%)
NumerSense عددی common sense 64.05 72.47 +8.42
CommonsenseQA عمومی common sense 39.89 47.26 +7.37
CommonsenseQA 2.0 عمومی common sense 70.20 73.03 +2.83
QASC سائنسی common sense 76.74 80.33 +3.59

سب سے زیادہ بہتری zero-shot موڈ میں دیکھی گئی، جو یہ ثابت کرتی ہے کہ GKP اضافی fine-tuning کے بغیر ماڈل کی اندرونی معلومات کو مؤثر طریقے سے فعال کر سکتا ہے۔

دیگر تکنیکوں کے ساتھ تقابلی تجزیہ

GKP vs. Chain-of-Thought (CoT)

GKP اور Chain-of-Thought (CoT) کے درمیان بنیادی فرق تیار کی جانے والی معلومات کی نوعیت میں ہے:

  • GKP اعلانیہ معلومات تیار کرتا ہے — دنیا کے بارے میں حقائق، تعریفیں، دعوے («کیا»)۔ یہ ماڈل کو اضافی سیاق فراہم کرتا ہے۔
  • CoT طریقہ کاری معلومات تیار کرتا ہے — منطقی اقدامات، حسابات، استنتاج کی ترتیب («کیسے»)۔ یہ ماڈل کو استدلال کا راستہ فراہم کرتا ہے۔

اس طرح، GKP حقائق پر مبنی بنیاد فراہم کرتا ہے، جبکہ CoT استنتاج کی منطقی ساخت فراہم کرتا ہے[3]۔

GKP vs. Retrieval-Augmented Generation (RAG)

GKP کے برعکس، Retrieval-Augmented Generation (RAG) کا طریقہ بیرونی، غیر پیرامیٹرک علمی ذرائع استعمال کرتا ہے۔

  • GKP اندرونی معلومات استعمال کرتا ہے جو ماڈل نے تربیت کے دوران حاصل کی ہیں۔ یہ ماڈل کو وہ چیز «یاد کرنے» پر مجبور کرتا ہے جو وہ پہلے سے جانتا ہے۔
  • RAG ڈیٹا بیسز، دستاویزات یا انٹرنیٹ سے بیرونی معلومات استعمال کرتا ہے۔ یہ ماڈل کو بیرونی دنیا میں معلومات «تلاش کرنے» پر مجبور کرتا ہے۔

GKP اور RAG کے درمیان انتخاب کام کی نوعیت پر منحصر ہے: GKP اس وقت مؤثر ہے جب مطلوبہ معلومات عام فہم ہوں اور تربیتی ڈیٹا میں اچھی طرح موجود ہوں، جبکہ RAG انتہائی خصوصی، تازہ یا ملکیتی ڈیٹا کے لیے ناگزیر ہے۔

حدود اور خطرات

  • «ہیلوسی نیشن» کا مسئلہ: GKP کا سب سے بڑا خطرہ غلط حقائق کی تیاری کا امکان ہے۔ اگر پہلے مرحلے میں ماڈل ایک غلط دعویٰ تیار کرے، تو دوسرے مرحلے میں اسے سچ سمجھ لیا جائے گا، جس کے نتیجے میں پُراعتماد لیکن بالکل غلط جواب ملے گا۔
  • حسابی اخراجات: یہ طریقہ LLM سے متعدد بار رجوع کرنے کا تقاضا کرتا ہے (ایک سوال کے لیے M+1 کالز)، جو معیاری prompting کے مقابلے میں جواب کا وقت (latency) اور استعمال کی لاگت نمایاں طور پر بڑھا دیتا ہے۔
  • Prompt تیاری کی پیچیدگی: GKP کی کارکردگی بڑی حد تک few-shot مثالوں کے معیار پر منحصر ہے، اور انہیں تیار کرنا ایک غیر معمولی اور محنت طلب کام ہے۔

ارتقاء اور ہائبرڈ طریقے

GKP میں سمائے ہوئے خیالات نے prompting کی زیادہ پیچیدہ اور قابلِ بھروسہ تکنیکوں کی ترقی کے لیے محرک کا کام کیا، جیسے:

  • Hint-before-Solving (HSP): GKP کا براہِ راست فکری وارث، جو دو مرحلاتی اصول («پہلے معلومات، پھر عمل») کو سادہ جواب کی بجائے CoT میں زیادہ پیچیدہ استدلال کے عمل پر لاگو کرتا ہے[4]۔
  • Verify-and-Edit (VE): ایک ہائبرڈ فریم ورک جو GKP اور CoT میں «ہیلوسی نیشن» کے مسئلے کا جواب ہے۔ VE پہلے استدلال کی زنجیر تیار کرتا ہے (CoT کی طرح)، پھر بیرونی تلاش سے اہم حقائق کی خودکار جانچ کرتا ہے (RAG کی طرح)، اور حتمی جواب تیار کرنے سے پہلے استدلال میں ترمیم کرتا ہے[5]۔

روابط

  • Generated Knowledge Prompting در Prompt Engineering Guide

کتابیات

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

حواشی

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(UR)&oldid=2599"