Contextual forgetting — سیاقی بھول
بڑے لسانی ماڈلز میں سیاقی بھول — یہ ایک کثیر الجہت مظہر ہے جس میں ایک بڑا لسانی ماڈل (LLM) ایک ہی تعامل کے دوران پہلے فراہم کی گئی معلومات کو کھو دیتا ہے، نظرانداز کرتا ہے، یا غیر مؤثر طریقے سے استعمال کرتا ہے[1]۔ انسانی یادداشت کے برعکس، LLM کے پاس طویل مدتی ذخیرہ حالت نہیں ہوتا اور یہ صرف سیاقی کھڑکی پر انحصار کرتے ہیں — متن کی ایک محدود مقدار (tokens میں) جسے ماڈل بیک وقت پروسیس کر سکتا ہے۔ یہ کھڑکی ماڈل کی قلیل مدتی یا فعال یادداشت کا کردار ادا کرتی ہے[2]۔
اس حد کا سب سے مشہور مظہر «وسط میں گم ہو جانا» (Lost in the Middle) کا مسئلہ ہے — یہ ماڈلز کا وہ رجحان ہے جس کے تحت وہ طویل سیاق کے شروع اور آخر میں موجود معلومات کو بہتر طریقے سے پروسیس کرتے ہیں، جبکہ درمیان میں موجود معلومات کو کمزور طریقے سے[2]۔ یہ مظہر کوئی خرابی نہیں بلکہ ایک بنیادی خاصیت ہے جو transformer کے فن تعمیر اور اس کے تربیتی اصولوں سے نکلتی ہے۔
دو قسم کی بھول: سیاقی اور تباہ کن
LLM میں دو بنیادی طور پر مختلف قسم کی «بھول» میں فرق کرنا ضروری ہے: داخل سیاقی اور تباہ کن۔
داخل سیاقی بھول (وسط میں گم ہونا)
اس قسم کی بھول ایک ہی تعامل کے سیشن (inference) کے دوران پہلے سے تربیت یافتہ ماڈل کے ساتھ ہوتی ہے۔ اس کا تعلق سیاقی کھڑکی کی حدود سے ہے۔ جب مکالمے یا دستاویز کا حجم کھڑکی کے سائز سے تجاوز کر جائے تو ماڈل نئی چیزوں کے لیے جگہ بنانے کی خاطر سب سے پرانے حصوں کو «بھول» جاتا ہے۔ یہاں تک کہ کھڑکی کی حدود میں بھی سیاق کے درمیانی حصے کی معلومات کم مؤثر طریقے سے استعمال ہو سکتی ہیں۔ یہ ماڈل کی فعال یادداشت کی حد ہے[3]۔ صحافتی زبان میں اس مظہر کو «سیاق تنزل کا سنڈروم» (Context Degradation Syndrome, CDS) بھی کہا جاتا ہے[1]۔
تباہ کن بھول (ماڈل بہاؤ)
اس قسم کی بھول، جسے «ماڈل بہاؤ» (model drift) بھی کہا جاتا ہے، ماڈل کو نئے ڈیٹا پر fine-tuning کے عمل کے دوران پیش آتی ہے۔ جب ایک ماڈل جسے عمومی علم کے وسیع ذخیرے پر پہلے سے تربیت دی گئی ہو، اسے کسی انتہائی مخصوص ڈیٹاسیٹ (مثلاً طبی متون) پر fine-tune کیا جاتا ہے، تو اس کے weights تبدیل ہو جاتے ہیں۔ اس سے پہلے سے سیکھے گئے وہ علم و مہارت جن کا نئے کام سے تعلق نہ ہو، ان کے تنزل یا «مٹ جانے» کا خطرہ پیدا ہو سکتا ہے[4]۔
وجوہات اور طریقہ کار
سیاقی بھول transformer کے فن تعمیر اور ویکٹر فضاؤں کی ہندسیات کا براہ راست نتیجہ ہے۔
«وسط میں گم ہونے» کا اثر (Lost in the Middle)
سٹینفورڈ یونیورسٹی کی 2023 کی تحقیق بعنوان «Lost in the Middle» نے واضح طور پر ظاہر کیا کہ طویل سیاق سے معلومات نکالنے میں LLM کی کارکردگی ایک U-شکل کا منحنی خط بناتی ہے[2]۔ جوابات کی درستگی سب سے زیادہ ہوتی ہے جب متعلقہ معلومات سیاق کے بالکل شروع میں ہوں (ابتدائیت کا اثر) یا بالکل آخر میں (تازگی کا اثر)، اور نمایاں طور پر کم ہو جاتی ہے جب وہ «درمیان میں چھپی» ہو۔ اس مظہر کی وجوہات:
- توجہ کا طریقہ کار: transformer کا فن تعمیر فطری طور پر شروعاتی tokens پر غیر متناسب توجہ دیتا ہے (جنہیں «توجہ کی لنگرگاہیں» یا attention sinks کہا جاتا ہے) تاکہ عالمی ہم آہنگی برقرار رہے، اور ساتھ ہی مقامی سیاق پر بھی، جو درمیان پر «توجہ کی کمزوری» کا سبب بنتا ہے[5]۔
- تربیت سے پہلے کا ڈیٹا: ماڈلز کو اکثر نسبتاً مختصر متون پر تربیت دی جاتی ہے جہاں اہم معلومات شاذ ہی ابتدا سے دسیوں ہزار tokens کے فاصلے پر ہوتی ہیں، جو انہیں انتہائی طویل سیاق کو مؤثر طریقے سے استعمال کرنے سے روکتا ہے[6]۔
مظاہر اور نتائج
- سیاق تنزل کا سنڈروم: طویل مکالموں کے دوران ماڈل «بات کا سرا کھونے» لگتا ہے، جوابات دہراتا ہے، پہلے سے طے شدہ حقائق کی مخالفت کرتا ہے اور روز بروز زیادہ عمومی و مبہم جوابات دیتا ہے[1]۔
- کثیر مرحلہ کاموں میں ناکامی: ایسے کاموں میں جہاں شرائط کئی مکالماتی مراحل میں وضاحت پاتی ہیں، ماڈل غلط ابتدائی مفروضے میں «الجھ» سکتا ہے اور بعد کی وضاحتوں کو نظرانداز کر سکتا ہے، جس سے مسئلہ حل کرنے میں مکمل ناکامی ہو جاتی ہے[7]۔
- دستاویز تجزیہ میں ناقابل اعتماد ہونا: طویل رپورٹوں یا قانونی دستاویزات کے تجزیہ کے دوران LLM مرکزی حصوں میں موجود اہم حقائق سے چوک سکتا ہے، جو اسے ایسے کاموں کے لیے ناقابل اعتماد آلہ بنا دیتا ہے۔
تخفیف اور روک تھام کی حکمت عملیاں
محققین اور ڈویلپرز سیاقی بھول کے مسئلے کے حل کے لیے کئی طریقے استعمال کرتے ہیں۔
سیاقی کھڑکی کا وسعت
سب سے سیدھا طریقہ سیاقی کھڑکی کے سائز میں اضافہ ہے۔ جدید ماڈلز جیسے Claude 3 (2 لاکھ tokens) اور Gemini 1.5 Pro (20 لاکھ tokens تک) نے اس حد کو نمایاں طور پر بڑھا دیا ہے[8][9]۔ تاہم تحقیق سے پتہ چلتا ہے کہ کھڑکی کا محض بڑا ہونا اس کے مؤثر استعمال کی ضمانت نہیں دیتا، اور «وسط میں گم ہونے» کا مسئلہ برقرار رہتا ہے[2]۔
prompt انجینیئرنگ کی جدید تکنیکیں
prompts کی ذہانت سے ساخت بندی کارکردگی میں نمایاں بہتری لا سکتی ہے۔ کمپنی Anthropic درج ذیل طریقے تجویز کرتی ہے[10]:
- دستاویزات کو شروع میں رکھنا: طویل متون کو prompt کے بالکل شروع میں، ہدایات اور سوال سے پہلے رکھیں۔
- XML tags کا استعمال: واضح علیحدگی کے لیے دستاویزات کو `<document>` tags میں لپیٹیں۔
- حوالہ جات کے ذریعے جوابات کا جواز: ماڈل کو پہلے متعلقہ اقتباسات نکالنے اور پھر ان کی بنیاد پر جواب تیار کرنے کی ہدایت دیں۔
یادداشت کی بیرونی کاری: Retrieval-Augmented Generation (RAG)
ایک بنیادی طور پر مختلف طریقہ یہ ہے کہ تمام معلومات کو سیاقی کھڑکی میں رکھنے کے بجائے، انہیں ایک بیرونی نظام (ویکٹر ڈیٹا بیس) میں رکھا جائے اور ضرورت پر فراہم کیا جائے۔
- بازیابی (Retrieve): جب کوئی سوال آئے تو نظام بیرونی ڈیٹا بیس میں متعلقہ معلومات تلاش کرے۔
- تکمیل (Augment): ملے ہوئے حصوں کو اصل سوال میں شامل کیا جائے۔
- تخلیق (Generate): LLM فراہم کردہ سیاق کی بنیاد پر جواب تیار کرے۔
RAG عملاً لامحدود ڈیٹا کے ساتھ کام کرنے، تازہ اور تصدیق شدہ معلومات تک رسائی کو ممکن بناتا ہے، جو hallucinations کے خطرے کو کم کرتا ہے اور آج کے دور میں سب سے قابل اعتماد حل ہے[11]۔
روابط
- Lost in the Middle: How Language Models Use Long Contexts — سٹینفورڈ یونیورسٹی کی اصل تحقیق۔
- Anthropic کی جانب سے 100K tokens کی سیاقی کھڑکی کے ساتھ Claude کا اعلان۔
ادبیات
- Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
- An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
- Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
- Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
- Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
- Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
- Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
- Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
- Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
- Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
- Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.
حواشی
- ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [1]
- ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [2]
- ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [3]
- ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [4]
- ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [5]
- ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [6]
- ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [7]
- ↑ «Introducing the next generation of Claude». Anthropic. [8]
- ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [9]
- ↑ «Long context prompting tips». Anthropic Documentation. [10]
- ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [11]