Contextual forgetting — فراموشی زمینه‌ای

From Systems analysis Wiki
Jump to navigation Jump to search

فراموشی متنی در مدل‌های زبانی بزرگ پدیده‌ای چندوجهی است که در آن یک مدل زبانی بزرگ (LLM) اطلاعاتی را که پیش‌تر در چارچوب یک تعامل واحد در اختیارش قرار گرفته، از دست می‌دهد، نادیده می‌گیرد یا به‌شکلی ناکارآمد از آن استفاده می‌کند[1]. برخلاف حافظه انسانی، LLMها فاقد حافظه بلندمدت ذخیره‌سازی حالت هستند و تنها به پنجره متنی — حجم محدودی از متن (بر حسب token) که مدل می‌تواند در یک زمان پردازش کند — متکی‌اند. این پنجره نقش حافظه کوتاه‌مدت یا حافظه کاری مدل را ایفا می‌کند[2].

شناخته‌شده‌ترین تجلی این محدودیت، مسئله «گم‌شدن در میانه» (Lost in the Middle) است — گرایش مدل‌ها به پردازش بهتر اطلاعاتی که در ابتدا و انتهای یک متن طولانی قرار دارند و پردازش ضعیف‌تر اطلاعات موجود در میانه آن[2]. این پدیده یک نقص نیست، بلکه خاصیتی بنیادین است که از معماری transformer و اصول آموزش آن‌ها ناشی می‌شود.

دو نوع فراموشی: متنی و فاجعه‌آمیز

تمایز میان دو نوع اساساً متفاوت «فراموشی» در LLMها اهمیت دارد: فراموشی درون‌متنی و فراموشی فاجعه‌آمیز.

فراموشی درون‌متنی (گم‌شدن در میانه)

این نوع فراموشی در طول یک نشست تعامل واحد (inference) با مدلی که پیش‌تر آموزش دیده رخ می‌دهد. این نوع با محدودیت‌های پنجره متنی مرتبط است. هنگامی که حجم گفتگو یا سند از اندازه پنجره فراتر می‌رود، مدل قدیمی‌ترین بخش‌ها را «فراموش» می‌کند تا جا برای محتوای جدید باز شود. حتی در محدوده پنجره نیز اطلاعات موجود در میانه متن ممکن است کمتر مورد استفاده مؤثر قرار گیرند. این محدودیت حافظه کاری مدل است[3]. در ادبیات تخصصی، این پدیده را همچنین «سندرم تخریب متن» (Context Degradation Syndrome, CDS) نیز می‌نامند[1].

فراموشی فاجعه‌آمیز (انحراف مدل)

این نوع فراموشی که با نام «انحراف مدل» (model drift) نیز شناخته می‌شود، در فرآیند fine-tuning مدل روی داده‌های جدید رخ می‌دهد. هنگامی که مدلی که از پیش روی حجم عظیمی از دانش عمومی آموزش دیده، بر روی یک مجموعه داده بسیار تخصصی (مانند متون پزشکی) دوباره آموزش می‌بیند، وزن‌های آن تغییر می‌کنند. این می‌تواند به تخریب یا «پاک شدن» دانش و مهارت‌های پیشین که به وظیفه جدید مرتبط نیستند منجر شود[4].

علل و مکانیسم‌ها

فراموشی متنی پیامد مستقیم معماری transformer و هندسه فضاهای برداری است.

اثر «گم‌شدن در میانه» (Lost in the Middle)

پژوهش دانشگاه استنفورد در سال ۲۰۲۳ با عنوان «Lost in the Middle» به‌روشنی نشان داد که عملکرد LLMها در بازیابی اطلاعات از یک متن طولانی دارای منحنی U-شکل است[2]. دقت پاسخ‌ها زمانی بیشترین مقدار را دارد که اطلاعات مرتبط در ابتدا (اثر اولیه‌بودن) یا انتهای (اثر تازگی) متن قرار داشته باشند، و اگر در «میانه» پنهان شده باشند به‌طور قابل‌توجهی کاهش می‌یابد. دلایل این پدیده عبارتند از:

  • مکانیسم توجه (attention): معماری transformer ذاتاً توجه نامتناسبی به token‌های ابتدایی (موسوم به «لنگرهای توجه» یا attention sinks) برای حفظ انسجام کلی، و همچنین به زمینه محلی اختصاص می‌دهد که همین امر به کاهش «تمرکز» بر روی میانه منجر می‌شود[5].
  • داده‌های پیش‌آموزش: مدل‌ها در بیشتر اوقات روی متون نسبتاً کوتاه آموزش می‌بینند که در آن‌ها اطلاعات مهم به‌ندرت در فاصله ده‌ها هزار token از ابتدا قرار دارند و همین مانع از استفاده مؤثر از متون بسیار طولانی می‌شود[6].

تجلیات و پیامدها

  • سندرم تخریب متن: در جریان گفتگوهای طولانی، مدل شروع به «گم کردن نخ گفتگو» می‌کند، پاسخ‌ها را تکرار می‌کند، با واقعیت‌های تثبیت‌شده پیشین تناقض می‌یابد و پاسخ‌هایی هرچه کلی‌تر و مبهم‌تر می‌دهد[1].
  • شکست در وظایف چندمرحله‌ای: در وظایفی که شرایط در طول چند نوبت گفتگو دقیق‌تر می‌شوند، مدل ممکن است به یک فرض اولیه نادرست «چنگ بزند» و توضیحات بعدی را نادیده بگیرد که به ناتوانی کامل در حل وظیفه منجر می‌شود[7].
  • غیرقابل‌اعتماد بودن تحلیل اسناد: در هنگام تحلیل گزارش‌های طولانی یا اسناد حقوقی، LLM ممکن است واقعیت‌های کلیدی موجود در بخش‌های مرکزی را از قلم بیندازد که آن را به ابزاری غیرقابل‌اعتماد برای چنین وظایفی تبدیل می‌کند.

راهبردهای کاهش و پیشگیری

پژوهشگران و توسعه‌دهندگان رویکردهای متعددی را برای حل مسئله فراموشی متنی به‌کار می‌برند.

افزایش پنجره متنی

مستقیم‌ترین رویکرد، افزایش اندازه پنجره متنی است. مدل‌های مدرن مانند Claude 3 (۲۰۰ هزار token) و Gemini 1.5 Pro (تا ۲ میلیون token) این حد را به‌طور قابل‌توجهی گسترش داده‌اند[8][9]. با این حال، پژوهش‌ها نشان می‌دهند که افزایش ساده پنجره تضمین‌کننده استفاده مؤثر از آن نیست و مشکل «گم‌شدن در میانه» همچنان باقی می‌ماند[2].

مهندسی پیشرفته prompt

ساختاردهی درست به prompt‌ها می‌تواند عملکرد را به‌طور قابل‌توجهی بهبود بخشد. شرکت Anthropic روش‌های زیر را پیشنهاد می‌دهد[10]:

  • قرار دادن اسناد در ابتدا: متون طولانی را در ابتدای prompt، پیش از دستورالعمل‌ها و سؤال، قرار دهید.
  • استفاده از تگ‌های XML: اسناد را در تگ‌های `<document>` برای جداسازی واضح بپیچید.
  • مستدل کردن پاسخ‌ها با نقل‌قول‌ها: به مدل دستور دهید ابتدا نقل‌قول‌های مرتبط را استخراج کند و سپس بر پایه آن‌ها پاسخ را تنظیم نماید.

برونی‌سازی حافظه: Retrieval-Augmented Generation (RAG)

رویکردی اساساً متفاوت این است که به‌جای قرار دادن تمام اطلاعات در پنجره متنی، آن‌ها را در یک سیستم خارجی (پایگاه داده برداری) ذخیره کرده و بر اساس درخواست در اختیار قرار داد.

  1. بازیابی (Retrieve): هنگامی که درخواستی دریافت می‌شود، سیستم اطلاعات مرتبط را در پایگاه خارجی جستجو می‌کند.
  2. افزودن (Augment): بخش‌های یافت‌شده به درخواست اولیه اضافه می‌شوند.
  3. تولید (Generate): LLM پاسخ را بر اساس زمینه ارائه‌شده تولید می‌کند.

RAG امکان کار با حجم‌های عملاً نامحدود داده را فراهم می‌کند و دسترسی به اطلاعات تازه و تأییدشده را تضمین می‌نماید که خطر توهم‌زایی را کاهش داده و در حال حاضر قابل‌اعتمادترین راه‌حل موجود است[11].

پیوندها

  • Lost in the Middle: How Language Models Use Long Contexts — پژوهش اصلی دانشگاه استنفورد.
  • اعلام Claude با پنجره متنی ۱۰۰ هزار token از Anthropic.

منابع

  • Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
  • An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
  • Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
  • Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
  • Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
  • Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
  • Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
  • Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
  • Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.

یادداشت‌ها

  1. ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [۱]
  2. ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [۲]
  3. ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [۳]
  4. ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [۴]
  5. ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [۵]
  6. ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [۶]
  7. ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [۷]
  8. ↑ «Introducing the next generation of Claude». Anthropic. [۸]
  9. ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [۹]
  10. ↑ «Long context prompting tips». Anthropic Documentation. [۱۰]
  11. ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [۱۱]
Retrieved from "https://systems-analysis.info/int/index.php?title=Contextual_forgetting_—_فراموشی_زمینه‌ای&oldid=1221"