Least-to-most Prompting (UR)
Least-to-Most Prompting (LtM) — بڑے language models (LLM) کے لیے prompts تیار کرنے کا ایک طریقہ ہے جو پیچیدہ مسائل کو آسان مراحل میں تقسیم (decomposition) کر کے ان ذیلی مسائل کو یکے بعد دیگرے حل کرنے کی اجازت دیتا ہے[1]۔ یہ طریقہ 2022 میں Google Brain کے محققین کی ایک ٹیم نے Denny Zhou کی قیادت میں تجویز کیا اور ICLR 2023 کانفرنس میں پیش کیا گیا[2]۔ اس طریقے کا بنیادی مقصد Chain-of-Thought prompts کی اس کمزوری کو دور کرنا ہے جن کی کارکردگی ان مسائل پر خراب ہوتی ہے جو prompt learning کے دوران ماڈل کو دکھائے گئے نمونوں سے زیادہ پیچیدہ ہوں[2]۔ Least-to-Most Prompting ماڈل کو زیادہ مشکل مسائل پر تعمیم (generalization) کرنے کی صلاحیت دیتا ہے اور ساتھ ہی قابلِ فہم رہتا ہے اور neural network کی اضافی training کی ضرورت نہیں پڑتی[2]۔ اس طریقے کا نام تعلیمی نفسیات سے لیا گیا ہے، جہاں «least to most prompting» سے مراد طالب علم کو نئی مہارت سیکھنے کے لیے بتدریج بڑھتی ہوئی مدد کے ساتھ prompts کا ایک سلسلہ دینا ہے[3]۔
طریقے کی تفصیل
Least-to-Most Prompting طریقہ دو مراحل میں نافذ ہوتا ہے[2]، جن میں سے ہر ایک کو language model کو carefully-crafted prompts کے ذریعے (بغیر کسی اضافی fine-tuning کے) دیا جاتا ہے:
- مسئلے کی تقسیم (Decomposition)۔ پہلے مرحلے میں ماڈل کو ہدایات اور ایسی مثالیں دی جاتی ہیں جو یہ ظاہر کرتی ہیں کہ پیچیدہ مسئلے کو آسان ذیلی مسائل کی ترتیب میں کیسے تقسیم کیا جائے۔ پھر ماڈل کے سامنے ایک مخصوص پیچیدہ سوال رکھا جاتا ہے اور اسے آسان درمیانی سوالات کی فہرست پیش کرنی ہوتی ہے[2]۔ مثلاً کسی پیچیدہ مسئلے کے لیے ماڈل خود سے ایک وضاحتی ذیلی سوال تشکیل دے سکتا ہے جو اصل مسئلے کے ایک حصے کو حل کرتا ہو۔
- ذیلی مسائل کا یکے بعد دیگرے حل۔ دوسرے مرحلے میں ماڈل حاصل شدہ ذیلی مسائل کو باری باری حل کرتا ہے — سب سے آسان سے سب سے پیچیدہ کی طرف۔ اس کے لیے ہر ذیلی مسئلے سے پہلے سیاق و سباق دیا جاتا ہے: ایسے ہی ذیلی مسائل کے حل کی مثالیں، اور (اگر موجود ہوں تو) پہلے سے حل شدہ ذیلی مسائل اور ان کے جوابات[4]۔ پہلے ذیلی مسئلے کا حل کر کے ماڈل اس کا جواب prompt کے متن میں شامل کرتا ہے اور اگلا ذیلی مسئلہ حل کرتے وقت پچھلے حلوں کو سیاق کے طور پر استعمال کرتا ہے[4]۔ یہ سلسلہ اس وقت تک جاری رہتا ہے جب تک آخری اور سب سے پیچیدہ ذیلی مسئلہ حل نہ ہو جائے جو براہ راست اصل سوال کا جواب دیتا ہے۔
مثال: اصل متنی مسئلے کو Least-to-Most طریقے سے دو مراحل میں تقسیم کیا جاتا ہے۔ پہلے ماڈل ایک درمیانی سوال تشکیل دے کر حل کرتا ہے («How long does each trip take?» — «ہر سواری میں کتنا وقت لگتا ہے؟»)، اور جواب حاصل کرتا ہے «each trip takes 5 minutes» («ہر سواری میں 5 منٹ لگتے ہیں»)۔ یہ جواب اگلے ذیلی مسئلے کے ساتھ نئے prompt میں شامل کیا جاتا ہے — یعنی اصل سوال («How many times can she slide before it closes?» — «وہ بند ہونے سے پہلے کتنی بار پھسل سکتی ہے؟»)۔ پچھلے نتیجے کا استعمال کرتے ہوئے ماڈل حتمی جواب نکالتا ہے (اس مثال میں: 3 بار)۔
بنیادی طور پر، Least-to-Most Prompting معیاری chain-of-thought طریقے سے اس لحاظ سے مختلف ہے کہ یہ استدلال کے عمل کو ایک ہی جواب میں مسلسل «خیالات کی زنجیر» بنانے کی بجائے علم کے تراکم کے ساتھ الگ الگ queries میں تقسیم کرتا ہے[3]۔ یہ مرحلہ وار، بازگشتی (recursive) طریقہ ماڈل کو آہستہ آہستہ مسئلے کے زیادہ پیچیدہ پہلوؤں کی طرف بڑھنے دیتا ہے اور easy-to-hard generalization کے مسئلے کو مؤثر طریقے سے حل کرتا ہے (جب ماڈل کو ایسے مسائل کا سامنا ہو جو training کی مثالوں سے زیادہ پیچیدہ ہوں)[2][3]۔ یہ قابل ذکر ہے کہ LtM طریقے کے دونوں مراحل few-shot prompting (چند مثالوں کا مظاہرہ) کے ذریعے نافذ ہوتے ہیں اور ماڈل کی اضافی training یا نئے ڈیٹا پر fine-tuning کی ضرورت نہیں پڑتی[2]۔ اس کے علاوہ، یہ طریقہ LLM کے استدلال کو بہتر بنانے کی دیگر تکنیکوں کے ساتھ بھی ہم آہنگ ہے، مثلاً اسے chain-of-thought اور self-consistency (کئی حلوں کا یکے بعد دیگرے نمونہ) کے ساتھ جوڑا جا سکتا ہے، حالانکہ یہ ضروری نہیں[1]۔
تجرباتی نتائج اور اطلاقات
Least-to-Most Prompting پیش کرنے والی تحقیق میں یہ ثابت کیا گیا کہ یہ طریقہ کئی ایسے مسائل میں معیاری prompting طریقوں (بشمول chain-of-thought) کو پیچھے چھوڑ دیتا ہے جن کے لیے پیچیدہ کثیر مرحلاتی استدلال درکار ہو[1]۔ اس نے تین اہم قسم کے مسائل میں اپنی برتری ثابت کی:
- علامتی اور الگورتھمی مسائل۔ مثلاً الفاظ کے آخری حروف کو جوڑنے کے مسئلے میں (فہرست کے ہر لفظ کا آخری حرف باری باری لے کر نیا لفظ بنانا) LtM طریقے نے ماڈل کی صلاحیت کو الفاظ کی لمبی ترتیبوں پر تعمیم کرنے کے لیے نمایاں طور پر بہتر کیا۔ خصوصی training کے بغیر، GPT-3 ماڈل (code-davinci-002) chain-of-thought prompts کے ساتھ 12 الفاظ کی فہرست پر ایسے مسائل صرف تقریباً 32% درست حل کرتا تھا، جبکہ Least-to-Most Prompting کے استعمال سے درستگی ~74% تک پہنچ گئی[1]۔ مختصر فہرستوں (جن کی لمبائی مثالوں میں موجود تھی) پر دونوں حکمت عملیاں اچھی کارکردگی دکھاتی تھیں، لیکن ترتیب کی لمبائی بڑھنے پر chain-of-thought کا معیار تیزی سے گرتا تھا، جبکہ Least-to-Most زیادہ تدریجی کمی کے ساتھ اعلیٰ درستگی برقرار رکھتا تھا[1]۔ یہ LtM طریقے کی صلاحیت کو ظاہر کرتا ہے کہ وہ حل کی منطق کو زیادہ پیچیدہ (لمبے) ان پٹ ڈیٹا پر تعمیم کر سکتا ہے۔
- مرکبی تعمیم (Compositional Generalization)۔ اس قسم کے مسائل میں مثلاً متنی ہدایات کا افعال کی ترتیب میں ترجمہ شامل ہے (جیسے benchmark SCAN میں، جس میں «jump twice and run» جیسی کمانڈیں چلانی ہوتی ہیں اور لمبے مرکبات پر تعمیم کرنی ہوتی ہے)[4]۔ LtM طریقے نے LLM کو ایسے مسائل کی سخت ترین شکلیں بھی کامیابی سے حل کرنے دیں۔ خاص طور پر، LtM prompts کے ساتھ GPT-3 ماڈل نے SCAN ڈیٹاسیٹ کے تمام data splitting کے طریقوں میں (بشمول سب سے مشکل length split جہاں test sequences، training سے لمبے ہیں) صرف 14 مثالوں کو prompt میں استعمال کرتے ہوئے 99% درستگی حاصل کی[2]۔ بطور موازنہ، معیاری chain-of-thought طریقہ ایسے ہی حالات میں صرف تقریباً 16% درستگی دیتا تھا[2]۔ مزید یہ کہ یہ ماڈل کو training ڈیٹا پر بغیر تربیت دیے حاصل ہوا، جبکہ SCAN کے پچھلے بہترین حل خصوصی neuro-symbolic architectures یا data augmentation کے طریقوں پر انحصار کرتے تھے جن کے لیے >15,000 مثالوں پر مشتمل پورا training set استعمال کرنا پڑتا تھا[2][2]۔ اس طرح Least-to-Most Prompting نے fine-tuning کے بغیر ماڈلوں کے لیے بے مثال compositional generalization کی صلاحیت کا مظاہرہ کیا۔
- ریاضی کے متنی مسائل۔ طریقے کو ریاضی کے متنی مسائل پر آزمایا گیا، مثلاً dataset GSM8K سے (جمع/تفریق اور منطق کے پیچیدہ متنی مسائل)[2]، نیز dataset DROP کے کچھ سوالات پر (جو متن میں عددی معلومات نکالنے اور شمار کرنے کی صلاحیت جانچتے ہیں)[2]۔ یہاں بھی Least-to-Most Prompting نے chain-of-thought کے مقابلے میں درستگی میں بہتری دکھائی۔ GSM8K کے لیے code-davinci-002 ماڈل کے ساتھ جوابات کی درستگی ~60.9% سے بڑھ کر ~62.4% ہو گئی[2]۔ DROP کے ذیلی مسائل میں فائدہ اور بھی نمایاں تھا: مثلاً «فٹ بال» سے متعلق سوالات کے ایک حصے پر درستگی chain-of-thought کے ~59.6% سے بڑھ کر LtM کے ساتھ ~73.4% ہو گئی[2]۔ اگرچہ ریاضی کے مسائل میں معیار میں اضافہ SCAN کے مقابلے میں کم劇ڈرامائی تھا، مگر مصنفین ایک اہم بات نوٹ کرتے ہیں: GSM8K کے تقریباً کسی بھی مسئلے کو درست حل کیا جا سکتا ہے اگر ماڈل کو صحیح مسئلے کی تقسیم مل جائے[2]۔ یہ اس بات کا ثبوت ہے کہ کامیابی کی کلید درمیانی سوالات کی بہترین تشکیل ہے؛ اور LtM طریقہ بالکل اسی کے لیے ان سوالات کی خودکار تخلیق اور ان کے یکے بعد دیگرے حل کی طرف مائل ہے۔
مجموعی طور پر، تجربات اس بات کی تصدیق کرتے ہیں کہ Least-to-Most Prompting کثیر مرحلاتی استنتاج کی ضرورت والے بہت سے مسائل میں استدلال کے بغیر محض few-shot prompting اور chain-of-thought دونوں طریقوں کو نمایاں طور پر پیچھے چھوڑ دیتا ہے[1]۔ یہ طریقہ LLM کو ایسے مسائل حل کرنے کی صلاحیت دیتا ہے جو ماڈل نے ابتدائی طور پر مثالوں کے ذریعے دیکھے ہوئے مسائل سے زیادہ پیچیدہ ہوں، اور in-context learning (prompts کے ذریعے فوری تعلم) کی حدود کو وسعت دیتا ہے۔
حدود اور آگے کی سمتیں
کامیابیوں کے باوجود، Least-to-Most Prompting طریقے کی کچھ حدود ہیں۔ سب سے پہلے، مختلف قسم کے مسائل کے لیے تقسیم کے مختلف طریقے درکار ہوتے ہیں۔ ریاضی کے مسئلے کو مؤثر طریقے سے تقسیم کرنے والا prompt template منطقی یا روزمرہ کے عقل کے مسئلے کے لیے بالکل بھی موزوں نہیں ہو سکتا[2]۔ مثلاً وہ prompts جنہوں نے ماڈل کو ریاضی کے متنی مسائل کو مراحل میں تقسیم کرنا سکھایا، وہ «کیا ارسطو نے laptop استعمال کیا؟» جیسے عقل کے سوال کے لیے بیکار ثابت ہوئے — ایسے مسئلے کے لیے بالکل مختلف تقسیم کی حکمت عملی درکار ہے[2]۔ اس لیے ہر نئے domain یا مسئلے کی قسم کے لیے مسئلے کو ذیلی مسائل میں تقسیم کرنے کی مثالیں نئے سرے سے منتخب کرنی پڑتی ہیں اور ایسا prompt تیار کرنا پڑتا ہے جو حل کی ساخت کو واضح کرے[3]۔ دوسرے الفاظ میں، مسئلے کو صحیح طریقے سے تقسیم کرنے کا علم LLM کی طرف سے عالمگیر طور پر تعمیم نہیں ہوتا؛ اسے مخصوص قسم کے مسائل کے لیے مثالوں کے ذریعے دینا ضروری ہے۔
مزید یہ کہ LtM کی تاثیر اس بات پر بھی کافی حد تک منحصر ہے کہ مسئلہ آزادانہ ذیلی مقاصد میں تقسیم کے لیے کتنا موزوں ہے۔ اگر ماڈل درمیانی مراحل کو درست طریقے سے تشکیل نہ دے سکے، یا کچھ ضروری ذیلی مسائل چھوٹ جائیں، تو حتمی حل بھی غلط ہو گا۔ تاہم خود ڈویلپرز نوٹ کرتے ہیں کہ بہت سے معاملات میں ناکامی کو کامیابی میں تبدیل کیا جا سکتا ہے اگر کوئی انسان دستی طور پر درست تقسیم بتا دے — تب ماڈل ہر حصے کو آسانی سے حل کر کے جوابات کو کامیابی سے یکجا کر لیتا ہے[2]۔ یہ اس نقطہ نظر کی مزید ترقی کی صلاحیت کو اجاگر کرتا ہے: ذیلی مسائل کی خودکار تخلیق کے معیار کو بہتر بنانا اور ممکنہ طور پر ماڈلوں کی تفاعلی تربیت۔ اختتام میں LtM کے مصنفین اندازہ لگاتے ہیں کہ prompting طریقوں کا مستقبل ماڈل کے ساتھ مکمل دو طرفہ مکالمے کی سمت میں ہو سکتا ہے، جہاں ماڈل کو اپنے درمیانی مراحل پر فوری رائے اور اصلاح ملتی رہے[2]۔ Least-to-Most Prompting کو اس سمت میں ایک قدم کے طور پر دیکھا جا سکتا ہے، جو یہ ظاہر کرتا ہے کہ مسائل کی تقسیم اور مرحلہ وار حل کے ذریعے ماڈل کے ساتھ تسلسل سے تعامل اسے نئے ڈیٹا پر training کے بغیر اس کی فکری صلاحیتوں کو نمایاں طور پر وسعت دینے کی اجازت دیتا ہے[1]۔
حوالہ جات
- اصل مقالہ «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» بر روی arXiv
- اصل مقالے کا HTML نسخہ
- Least-to-Most Prompting کیا ہے؟ — AI Safety Info کا مضمون
- Medium پر طریقے کا جائزہ
- prompt engineering کے طریقوں کا جامع جائزہ بر روی arXiv
کتابیات
- Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
- Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
- Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
- Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
- Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
- Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
- Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
حواشی
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». ar5iv.org. [1]
- ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». arXiv. [2]
- ↑ 3.0 3.1 3.2 3.3 «What is least-to-most prompting?». AI Safety Info. [3]
- ↑ 4.0 4.1 4.2 OXEN AI. «Arxiv Dives Toolformer: Language models can teach themselves to use tools». Medium. [4]