--- title: "Kontextuális felejtés" source: "https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s" wiki: "systems-analysis.info/int" article: "Kontextuális_felejtés" language: "hu" categories: - "Category:Hungarian" - "Category:Large language models" - "Category:Machine learning" revision_id: 3485 wiki_created_at: 2026-09-06T23:21:31Z wiki_modified_at: 2026-09-06T23:21:31Z downloaded_at: 2026-09-07T22:57:14Z --- # Kontextuális felejtés **A kontextuális felejtés a nagy nyelvi modellekben** egy sokrétű jelenség, amelynek során egy nagy nyelvi modell (LLM) elveszíti, figyelmen kívül hagyja vagy nem hatékonyan használja fel az egyetlen interakción belül korábban számára megadott információt[\[1\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-howard-cds-1). Az emberi memóriával ellentétben az LLM-eknek nincs hosszú távú állapottárolójuk, és kizárólag a **kontextuális ablakra** támaszkodnak — arra a korlátozott szövegmennyiségre (tokenekben mérve), amelyet a modell egyszerre képes feldolgozni. Ez az ablak a modell rövid távú vagy munkamemóriájaként funkcionál[\[2\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-liu2023-lost-in-middle-2). Ennek a korlátnak a legismertebb megnyilvánulása a **„Középre veszés" (Lost in the Middle)** probléma — a modellek azon hajlama, hogy a hosszú kontextus elején és végén elhelyezkedő információt jobban dolgozzák fel, míg a közepén lévőt kevésbé hatékonyan[\[2\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-liu2023-lost-in-middle-2). Ez a jelenség nem hiba, hanem a transformer architektúrából és a tanítási elvekből fakadó alapvető tulajdonság. ## A felejtés két típusa: Kontextuális és Katasztrofális Fontos különbséget tenni az LLM-ekben megfigyelhető két alapvetően eltérő „felejtés"-típus között: a kontextuson belüli és a katasztrofális felejtés között. ### Kontextuson belüli felejtés (Középre veszés) Ez a felejtéstípus **egyetlen interakciós munkamenet során** (inferencia közben) következik be egy már betanított modellnél. A **kontextuális ablak** korlátaihoz kapcsolódik. Amikor a párbeszéd vagy dokumentum terjedelme meghaladja az ablak méretét, a modell „elfelejti" a legrégebbi részleteket, hogy helyet adjon az újaknak. Még az ablakon belül is előfordulhat, hogy a kontextus közepéről származó információt kevésbé hatékonyan hasznosítja a modell. Ez a modell munkamemóriájának korlátozottsága[\[3\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-aclanthology-lost-in-middle-3). A publicisztikában ezt a jelenséget **„kontextusdegradációs szindrómának"** (Context Degradation Syndrome, CDS) is nevezik[\[1\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-howard-cds-1). ### Katasztrofális felejtés (Modelldrift) Ez a felejtéstípus, amelyet „modelldriftnek" (*model drift*) is hívnak, a modell **finomhangolása (fine-tuning) során** következik be új adatokon. Amikor egy hatalmas általános tudáskorpuszon előre betanított modellt szűk szakterületű adatkészleten (például orvosi szövegeken) finomhangolnak, a modell súlyai megváltoznak. Ez az új feladathoz nem kapcsolódó, korábban elsajátított tudás és készségek degradálódásához vagy „törlésé"-hez vezethet[\[4\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-greyling-catastrophic-4). ## Okok és mechanizmusok A kontextuális felejtés közvetlenül a transformer architektúrából és a vektortér geometriájából következik. ### A „Középre veszés" (Lost in the Middle) hatás A Stanford Egyetem 2023-as, „Lost in the Middle" (Középre veszve) című kutatása szemléletesen megmutatta, hogy az LLM-ek teljesítménye a hosszú kontextusból való információkinyerés során **U-alakú görbét** követ[\[2\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-liu2023-lost-in-middle-2). A válaszok pontossága akkor a legmagasabb, ha a releváns információ a kontextus legelején (**elsőbbségi hatás**) vagy legvégén (**frissességi hatás**) helyezkedik el, és jelentősen csökken, ha az információ a „közepébe van rejtve". Ennek a jelenségnek az okai: - **Figyelmi mechanizmus**: A transformer architektúra természetéből adódóan aránytalanul sok figyelmet fordít a kezdeti tokenekre (ezeket „figyelmi horgonyoknak", *attention sinks*-nek is nevezik) a globális koherencia fenntartása érdekében, valamint a helyi kontextusra, ami a középső részre irányuló „fókusz" gyengüléséhez vezet[\[5\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-neurips-poster-vectors-5). - **Előtanítási adatok**: A modelleket leggyakrabban viszonylag rövid szövegeken tanítják, ahol a fontos információ ritkán van tízezer tokennyire a kezdettől, ami gátolja őket a nagyon hosszú kontextusok hatékony kezelésében[\[6\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-an2024-context-fall-short-6). ## Megnyilvánulások és következmények - **Kontextusdegradációs szindróma**: Hosszú párbeszédek során a modell „elveszíti a fonalat", megismétli a válaszokat, ellentmond a korábban megállapított tényeknek, és egyre általánosabb, homályosabb válaszokat ad[\[1\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-howard-cds-1). - **Hibák többlépéses feladatokban**: Olyan feladatoknál, ahol a feltételek több megszólalás során pontosítódnak, a modell „beleakadhat" egy hibás kezdeti feltételezésbe, és figyelmen kívül hagyhatja a későbbi pontosításokat, ami a feladat teljes megoldhatatlanságához vezet[\[7\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-arxiv-multi-turn-lost-7). - **A dokumentumelemzés megbízhatatlanná válása**: Hosszú jelentések vagy jogi dokumentumok elemzésekor az LLM kihagyhatja a középső szakaszokban található kulcsfontosságú tényeket, ami megbízhatatlan eszközzé teszi az ilyen feladatokhoz. ## Enyhítési és megelőzési stratégiák A kutatók és fejlesztők több megközelítést alkalmaznak a kontextuális felejtés problémájának kezelésére. ### A kontextusablak növelése A legkézenfekvőbb megközelítés a kontextusablak méretének növelése. Az olyan modern modellek, mint a **Claude 3** (200 ezer token) és a **Gemini 1.5 Pro** (akár 2 millió token), jelentősen kiterjesztették ezt a határt[\[8\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-anthropic-claude3-family-8)[\[9\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-google-gemini1-5-pro-9). A kutatások azonban azt mutatják, hogy az ablak egyszerű növelése nem garantálja annak hatékony kihasználását, és a „középre veszés" problémája megmarad[\[2\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-liu2023-lost-in-middle-2). ### Fejlett prompt-tervezés A promptok szakszerű strukturálása jelentősen javíthatja a teljesítményt. Az Anthropic a következő gyakorlatokat javasolja[\[10\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-anthropic-long-context-tips-10): - **Dokumentumok elhelyezése az elejére**: A hosszú szövegeket a prompt legelejére kell helyezni, az utasítások és a kérdés elé. - **XML-tagek használata**: A dokumentumokat \`\\` tagekbe kell csomagolni az egyértelmű elkülönítés érdekében. - **Válaszok alátámasztása idézetekkel**: Utasítani a modellt, hogy először nyerje ki a releváns idézeteket, majd ezek alapján fogalmazza meg a választ. ### A memória externalizálása: Retrieval-Augmented Generation (RAG) Alapvetően eltérő megközelítés: nem az összes információt helyezi a kontextusablakba, hanem egy külső rendszerbe (vektoros adatbázisba) viszi ki, és igény szerint bocsátja rendelkezésre. 1. **Visszakeresés (Retrieve)**: Amikor kérés érkezik, a rendszer releváns információt keres a külső adatbázisban. 2. **Kiegészítés (Augment)**: A megtalált részleteket hozzáadja az eredeti kéréshez. 3. **Generálás (Generate)**: Az LLM a megadott kontextus alapján generál választ. A **RAG** lehetővé teszi a gyakorlatilag korlátlan adatmennyiséggel való munkát, és hozzáférést biztosít friss és ellenőrzött információkhoz, ami csökkenti a hallucinációk kockázatát, és ma ez a legmegbízhatóbb megoldás[\[11\]](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_note-google-cloud-rag-11). ## Hivatkozások - Lost in the Middle: How Language Models Use Long Contexts — a Stanford Egyetem eredeti kutatása. - Az Anthropic bejelentése a 100 ezer tokenes kontextusablakkal rendelkező Claude-ról. ## Irodalom - Liu, N. F. et al. (2023). *Lost in the Middle: How Language Models Use Long Contexts*. arXiv:2307.03172. - An, C. et al. (2024). *Why Does the Effective Context Length of LLMs Fall Short?*. arXiv:2410.18745. - Ding, J. et al. (2023). *LongNet: Scaling Transformers to 1,000,000,000 Tokens*. arXiv:2307.02486. - Yang, A. et al. (2024). *Context Parallelism for Scalable Million-Token Inference*. arXiv:2411.01783. - Chen, S. et al. (2023). *Extending Context Window of Large Language Models via Positional Interpolation*. arXiv:2306.15595. - Ding, Y. et al. (2024). *LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens*. arXiv:2402.13753. - Li, S. et al. (2023). *Functional Interpolation for Relative Positions Improves Long Context Transformers*. arXiv:2310.04418. - Dong, Z. et al. (2024). *Exploring Context Window of Large Language Models via Decomposed Positional Vectors*. arXiv:2405.18009. - Laban, P. et al. (2025). *LLMs Get Lost in Multi-Turn Conversation*. arXiv:2505.06120. - Li, R. et al. (2024). *Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings*. *Applied Sciences*, 14(7), 3076. DOI:10.3390/app14073076. - Yang, A. & Reizenstein, J. (2024). *Exploring Context Window of LLMs via Decomposed Positional Vectors* (NeurIPS Poster). NeurIPS 2024. ## Jegyzetek 1. ↑ [1.0](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-howard-cds_1-0) [1.1](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-howard-cds_1-1) [1.2](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-howard-cds_1-2) Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». *jameshoward.us*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-liu2023-lost-in-middle_2-0) [2.1](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-liu2023-lost-in-middle_2-1) [2.2](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-liu2023-lost-in-middle_2-2) [2.3](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-liu2023-lost-in-middle_2-3) Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». *arXiv*. [2] 3. [↑](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-aclanthology-lost-in-middle_3-0) Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». *ACL Anthology*. [3] 4. [↑](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-greyling-catastrophic_4-0) Greyling, Cobus. «Catastrophic Forgetting In LLMs». *Medium*. [4] 5. [↑](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-neurips-poster-vectors_5-0) «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». *NeurIPS Proceedings*. [5] 6. [↑](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-an2024-context-fall-short_6-0) An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». *arXiv*. [6] 7. [↑](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-arxiv-multi-turn-lost_7-0) «LLMs Get Lost In Multi-Turn Conversation». *arXiv*. [7] 8. [↑](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-anthropic-claude3-family_8-0) «Introducing the next generation of Claude». *Anthropic*. [8] 9. [↑](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-google-gemini1-5-pro_9-0) «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». *Medium*. [9] 10. [↑](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-anthropic-long-context-tips_10-0) «Long context prompting tips». *Anthropic Documentation*. [10] 11. [↑](https://systems-analysis.info/int/Kontextu%C3%A1lis_felejt%C3%A9s#cite_ref-google-cloud-rag_11-0) «What is Retrieval-Augmented Generation (RAG)?». *Google Cloud*. [11]