Kontextuális felejtés

From Systems analysis Wiki
Jump to navigation Jump to search

A kontextuális felejtés a nagy nyelvi modellekben egy sokrétű jelenség, amelynek során egy nagy nyelvi modell (LLM) elveszíti, figyelmen kívül hagyja vagy nem hatékonyan használja fel az egyetlen interakción belül korábban számára megadott információt[1]. Az emberi memóriával ellentétben az LLM-eknek nincs hosszú távú állapottárolójuk, és kizárólag a kontextuális ablakra támaszkodnak — arra a korlátozott szövegmennyiségre (tokenekben mérve), amelyet a modell egyszerre képes feldolgozni. Ez az ablak a modell rövid távú vagy munkamemóriájaként funkcionál[2].

Ennek a korlátnak a legismertebb megnyilvánulása a „Középre veszés" (Lost in the Middle) probléma — a modellek azon hajlama, hogy a hosszú kontextus elején és végén elhelyezkedő információt jobban dolgozzák fel, míg a közepén lévőt kevésbé hatékonyan[2]. Ez a jelenség nem hiba, hanem a transformer architektúrából és a tanítási elvekből fakadó alapvető tulajdonság.

A felejtés két típusa: Kontextuális és Katasztrofális

Fontos különbséget tenni az LLM-ekben megfigyelhető két alapvetően eltérő „felejtés"-típus között: a kontextuson belüli és a katasztrofális felejtés között.

Kontextuson belüli felejtés (Középre veszés)

Ez a felejtéstípus egyetlen interakciós munkamenet során (inferencia közben) következik be egy már betanított modellnél. A kontextuális ablak korlátaihoz kapcsolódik. Amikor a párbeszéd vagy dokumentum terjedelme meghaladja az ablak méretét, a modell „elfelejti" a legrégebbi részleteket, hogy helyet adjon az újaknak. Még az ablakon belül is előfordulhat, hogy a kontextus közepéről származó információt kevésbé hatékonyan hasznosítja a modell. Ez a modell munkamemóriájának korlátozottsága[3]. A publicisztikában ezt a jelenséget „kontextusdegradációs szindrómának" (Context Degradation Syndrome, CDS) is nevezik[1].

Katasztrofális felejtés (Modelldrift)

Ez a felejtéstípus, amelyet „modelldriftnek" (model drift) is hívnak, a modell finomhangolása (fine-tuning) során következik be új adatokon. Amikor egy hatalmas általános tudáskorpuszon előre betanított modellt szűk szakterületű adatkészleten (például orvosi szövegeken) finomhangolnak, a modell súlyai megváltoznak. Ez az új feladathoz nem kapcsolódó, korábban elsajátított tudás és készségek degradálódásához vagy „törlésé"-hez vezethet[4].

Okok és mechanizmusok

A kontextuális felejtés közvetlenül a transformer architektúrából és a vektortér geometriájából következik.

A „Középre veszés" (Lost in the Middle) hatás

A Stanford Egyetem 2023-as, „Lost in the Middle" (Középre veszve) című kutatása szemléletesen megmutatta, hogy az LLM-ek teljesítménye a hosszú kontextusból való információkinyerés során U-alakú görbét követ[2]. A válaszok pontossága akkor a legmagasabb, ha a releváns információ a kontextus legelején (elsőbbségi hatás) vagy legvégén (frissességi hatás) helyezkedik el, és jelentősen csökken, ha az információ a „közepébe van rejtve". Ennek a jelenségnek az okai:

  • Figyelmi mechanizmus: A transformer architektúra természetéből adódóan aránytalanul sok figyelmet fordít a kezdeti tokenekre (ezeket „figyelmi horgonyoknak", attention sinks-nek is nevezik) a globális koherencia fenntartása érdekében, valamint a helyi kontextusra, ami a középső részre irányuló „fókusz" gyengüléséhez vezet[5].
  • Előtanítási adatok: A modelleket leggyakrabban viszonylag rövid szövegeken tanítják, ahol a fontos információ ritkán van tízezer tokennyire a kezdettől, ami gátolja őket a nagyon hosszú kontextusok hatékony kezelésében[6].

Megnyilvánulások és következmények

  • Kontextusdegradációs szindróma: Hosszú párbeszédek során a modell „elveszíti a fonalat", megismétli a válaszokat, ellentmond a korábban megállapított tényeknek, és egyre általánosabb, homályosabb válaszokat ad[1].
  • Hibák többlépéses feladatokban: Olyan feladatoknál, ahol a feltételek több megszólalás során pontosítódnak, a modell „beleakadhat" egy hibás kezdeti feltételezésbe, és figyelmen kívül hagyhatja a későbbi pontosításokat, ami a feladat teljes megoldhatatlanságához vezet[7].
  • A dokumentumelemzés megbízhatatlanná válása: Hosszú jelentések vagy jogi dokumentumok elemzésekor az LLM kihagyhatja a középső szakaszokban található kulcsfontosságú tényeket, ami megbízhatatlan eszközzé teszi az ilyen feladatokhoz.

Enyhítési és megelőzési stratégiák

A kutatók és fejlesztők több megközelítést alkalmaznak a kontextuális felejtés problémájának kezelésére.

A kontextusablak növelése

A legkézenfekvőbb megközelítés a kontextusablak méretének növelése. Az olyan modern modellek, mint a Claude 3 (200 ezer token) és a Gemini 1.5 Pro (akár 2 millió token), jelentősen kiterjesztették ezt a határt[8][9]. A kutatások azonban azt mutatják, hogy az ablak egyszerű növelése nem garantálja annak hatékony kihasználását, és a „középre veszés" problémája megmarad[2].

Fejlett prompt-tervezés

A promptok szakszerű strukturálása jelentősen javíthatja a teljesítményt. Az Anthropic a következő gyakorlatokat javasolja[10]:

  • Dokumentumok elhelyezése az elejére: A hosszú szövegeket a prompt legelejére kell helyezni, az utasítások és a kérdés elé.
  • XML-tagek használata: A dokumentumokat `<document>` tagekbe kell csomagolni az egyértelmű elkülönítés érdekében.
  • Válaszok alátámasztása idézetekkel: Utasítani a modellt, hogy először nyerje ki a releváns idézeteket, majd ezek alapján fogalmazza meg a választ.

A memória externalizálása: Retrieval-Augmented Generation (RAG)

Alapvetően eltérő megközelítés: nem az összes információt helyezi a kontextusablakba, hanem egy külső rendszerbe (vektoros adatbázisba) viszi ki, és igény szerint bocsátja rendelkezésre.

  1. Visszakeresés (Retrieve): Amikor kérés érkezik, a rendszer releváns információt keres a külső adatbázisban.
  2. Kiegészítés (Augment): A megtalált részleteket hozzáadja az eredeti kéréshez.
  3. Generálás (Generate): Az LLM a megadott kontextus alapján generál választ.

A RAG lehetővé teszi a gyakorlatilag korlátlan adatmennyiséggel való munkát, és hozzáférést biztosít friss és ellenőrzött információkhoz, ami csökkenti a hallucinációk kockázatát, és ma ez a legmegbízhatóbb megoldás[11].

Hivatkozások

  • Lost in the Middle: How Language Models Use Long Contexts — a Stanford Egyetem eredeti kutatása.
  • Az Anthropic bejelentése a 100 ezer tokenes kontextusablakkal rendelkező Claude-ról.

Irodalom

  • Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
  • An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
  • Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
  • Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
  • Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
  • Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
  • Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
  • Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
  • Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.

Jegyzetek

  1. ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [1]
  2. ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [2]
  3. ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [3]
  4. ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [4]
  5. ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [5]
  6. ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [6]
  7. ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [7]
  8. ↑ «Introducing the next generation of Claude». Anthropic. [8]
  9. ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [9]
  10. ↑ «Long context prompting tips». Anthropic Documentation. [10]
  11. ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [11]
Retrieved from "https://systems-analysis.info/int/index.php?title=Kontextuális_felejtés&oldid=3485"