In-Context Learning (UR)
سیاق و سباق میں سیکھنا (انگریزی: In-Context Learning، ICL) — یہ بڑے لسانی ماڈلز (LLM) کی ایک بنیادی صلاحیت ہے جس کے ذریعے وہ نئی کاموں کو «فوری طور پر» سیکھتے ہیں، صرف ان مثالوں (مظاہروں) کو استعمال کرتے ہوئے جو سوال کے سیاق (prompt) میں فراہم کی گئی ہوں۔ اس کی کلیدی خصوصیت یہ ہے کہ یہ موافقت کا عمل ماڈل کے وزن (پیرامیٹرز) کو اپ ڈیٹ کیے بغیر، یعنی روایتی fine-tuning کے بغیر انجام پاتا ہے[1][2]۔
یہ طریقہ کار ماڈلز کو حیرت انگیز لچک دکھانے کے قابل بناتا ہے، وہ ایسے کاموں کو حل کرتے ہیں جن کے لیے انہیں خصوصی طور پر تربیت نہیں دی گئی تھی۔ ICL ان اہم کامیابیوں میں سے ایک بن گیا ہے جس نے بڑے لسانی ماڈلز کو اتنا طاقتور اور ہمہ جہت بنایا ہے[3]۔
کام کرنے کے طریقہ کار
ICL کے کام کرنے کی درست سمجھ ابھی بھی تحقیق کا ایک فعال شعبہ ہے، تاہم اس مظہر کی وضاحت کرنے والے کئی اہم نظریات موجود ہیں۔
ٹرانسفارمر بطور میٹا-آپٹیمائزر
ایک مشہور نظریہ کہتا ہے کہ Transformer کا فن تعمیر پیشگی تربیت کے دوران اپنے forward passes میں سیکھنے کے الگورتھم نافذ کرنا سیکھتا ہے۔ جب ماڈل کو مثالوں پر مشتمل prompt ملتا ہے، تو وہ پیش کردہ کام کو حل کرنے کے لیے ضمنی طور پر ایک قسم کی اصلاح انجام دیتا ہے، اپنی اندرونی کیفیتوں (activations) کو ترتیب دیتا ہے، نہ کہ وزنوں کو[4]۔
بائسین استنتاج
دوسرا نظریہ ICL کو بائسین استنتاج کی ایک شکل کے طور پر دیکھتا ہے۔ وہ ماڈل جسے ڈیٹا کے وسیع ذخائر پر پیشگی تربیت دی گئی ہو، متعدد تصورات کے بارے میں پیشین تصور رکھتا ہے۔ سیاق میں موجود مثالیں ایسے شواہد کا کام کرتی ہیں جو ماڈل کو پوشیدہ تصورات پر اپنی پسپائی احتمالاتی تقسیم کو بہتر بنانے میں مدد دیتے ہیں۔ دوسرے لفظوں میں، مثالیں ماڈل کو «سمجھنے» میں مدد کرتی ہیں کہ اس کے ہزاروں معلوم کاموں میں سے اس وقت کون سا کام حل کرنا ہے[5]۔
In-Context Learning کی اقسام
فراہم کردہ مثالوں کی تعداد کے مطابق ICL کو تین بنیادی اقسام میں تقسیم کیا جاتا ہے۔
- Few-shot Learning (چند مثالوں پر سیکھنا): یہ سب سے عام اور متوازن طریقہ ہے۔ ماڈل کو چند (عام طور پر 2 سے 10) مظاہراتی مثالیں فراہم کی جاتی ہیں۔
مثال (جذبات کی درجہ بندی):
Текст: "Какой прекрасный день!" Тональность: Позитивная Текст: "Я ненавижу стоять в пробках." Тональность: Негативная Текст: "Этот фильм был довольно средним." Тональность:
متوقع جواب:
Нейтральная
- One-shot Learning (ایک مثال پر سیکھنا): ماڈل کو صرف ایک مثال دی جاتی ہے۔ یہ اکثر جواب کی شکل متعین کرنے اور zero-shot طریقے کے مقابلے میں کارکردگی کو نمایاں طور پر بہتر بنانے کے لیے کافی ہوتی ہے۔
- Zero-shot Learning (بغیر مثال کے سیکھنا): ماڈل کو کوئی مثال نہیں دی جاتی، صرف ہدایت یا کام کی تفصیل دی جاتی ہے۔ اس صورت میں ماڈل مکمل طور پر پیشگی تربیت کے دوران حاصل کردہ علم پر انحصار کرتا ہے۔
عملی استعمال
ICL کا درست استعمال مہنگی ترقی اور fine-tuning کے بغیر کاموں کی ایک وسیع رینج حل کرنے کی اجازت دیتا ہے۔
- تخلیقی اور اسلوبیاتی کاموں کے لیے (کسی مخصوص انداز میں کوڈ بنانا، کسی مخصوص مصنف کے انداز میں متن لکھنا):
- Few-shot Learning کی سفارش کی جاتی ہے۔
- مثالیں ماڈل کو مطلوبہ اسلوب، شکل اور نتیجے کی ساخت پکڑنے میں مدد کرتی ہیں۔
- واضح ہدایات کے ساتھ سادہ کاموں کے لیے (ترجمہ، خلاصہ نویسی، سادہ سوالوں کے جوابات):
- اکثر Zero-shot Learning کافی ہوتا ہے۔
- جدید ماڈل ایسے کاموں کو کافی اچھی طرح انجام دیتے ہیں اگر وہ ان کی پیشگی تربیت کا حصہ رہے ہوں۔
- ایسے کاموں کے لیے جہاں نتیجے کی شکل اہم ہو (JSON بنانا، اداروں کا استخراج):
- One-shot یا Few-shot Learning کی سفارش کی جاتی ہے۔
- یہاں تک کہ ایک مثال بھی جواب کی مطلوبہ ساخت واضح طور پر متعین کر سکتی ہے اور فارمیٹنگ کی غلطیوں سے بچا سکتی ہے۔
فوائد اور نقصانات
| فوائد | نقصانات |
|---|---|
|
|
دیگر طریقہ کاروں سے موازنہ
ICL بمقابلہ Fine-tuning
Fine-tuning ماڈل کے وزنوں کو تبدیل کرتا ہے، اس میں نئے علم کو «نقش» کرتا ہے۔ یہ ماڈل کو ایک محدود شعبے میں ماہر بناتا ہے، لیکن اس کی عمومی لچک کو کم کرتا ہے۔ ICL، اس کے برعکس، وزنوں کو نہیں بدلتا اور زیادہ لچکدار ہے، لیکن انتہائی تخصص یافتہ کاموں میں جہاں شعبے کی گہری معلومات درکار ہوں، کارکردگی میں پیچھے رہ سکتا ہے۔
ICL بمقابلہ RAG (Retrieval-Augmented Generation)
دونوں طریقے ماڈل کے سیاق کو وسعت دیتے ہیں، لیکن مختلف مقاصد کے لیے:
- ICL مثالوں کا استعمال ماڈل کو سکھانے کے لیے کرتا ہے کہ کام کیسے انجام دیا جائے (مہارت کا مظاہرہ)۔
- RAG نکالی گئی معلومات کا استعمال ماڈل کو جواب کے لیے ضروری حقائق فراہم کرنے کے لیے کرتا ہے (علم کی فراہمی)۔
عملی طور پر ICL اور RAG کو اکثر بہترین نتائج حاصل کرنے کے لیے یکجا کیا جاتا ہے۔
کتابیات
- Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
- Dai, D. et al. (2022). Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers. arXiv:2212.10559.
- Panwar, M.; Ahuja, K.; Goyal, N. (2024). In-Context Learning through the Bayesian Prism. arXiv:2306.04891.
- Müller, S. et al. (2021). Transformers Can Do Bayesian Inference. arXiv:2112.10510.
- Garg, S. et al. (2022). What Can Transformers Learn In-Context? A Case Study of Simple Function Classes. arXiv:2208.01066.
- Min, S. et al. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?. arXiv:2202.12837.
- Wang, X. et al. (2023). Explaining and Finding Good Demonstrations for In-Context Learning. arXiv:2302.13971.
- Xie, S. et al. (2024). A Survey on In-Context Learning. arXiv:2301.00234.
- Yu, Z.; Ananiadou, S. (2024). How Do Large Language Models Learn In-Context? Query and Key Matrices of In-Context Heads Are Two Towers for Metric Learning. arXiv:2402.02872.
- Wibisono, K. C.; Wang, Y. (2024). From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When. arXiv:2406.00131.
- Chan, J. K. et al. (2022). Data Distributional Properties Drive Emergent In-Context Learning in Transformers. arXiv:2205.05055.
- Hahn, M.; Goyal, N. (2023). A Theory of Emergent In-Context Learning as Implicit Structure Induction. arXiv:2303.07971.
حوالہ جات
- ↑ What is In-Context Learning (ICL)? // Lakera.ai
- ↑ In-Context Learning (ICL) // Hopsworks.ai
- ↑ In-Context Learning, In Context // The Gradient
- ↑ Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers // arXiv, 2022.
- ↑ Understanding In-Context Learning // Stanford Human-Centered AI, 2023.