Kontekstwal na paglimot

From Systems analysis Wiki
Jump to navigation Jump to search

Kontekstwal na Pagkalimot sa malalaking modelo ng wika — ito ay isang maraming-panig na kababalaghan kung saan ang isang malaking modelo ng wika (LLM) ay nawawala, binabalewala, o hindi epektibong ginagamit ang impormasyong ibinigay nito nang mas maaga sa loob ng iisang pakikipag-ugnayan[1]. Hindi tulad ng memorya ng tao, ang mga LLM ay walang pangmatagalang imbakan ng mga estado at umaasa lamang sa context window — isang limitadong dami ng teksto (sa mga token) na maaaring iproseso ng modelo sa isang pagkakataon. Ang window na ito ay gumaganap bilang panandalian o gumaganang memorya ng modelo[2].

Ang pinaka-kilalang pagpapakita ng limitasyong ito ay ang problema ng "Lost in the Middle" (Nawawala sa Gitna) — ang tendensiyang mas mahusay na maproseso ng mga modelo ang impormasyong matatagpuan sa simula at katapusan ng mahabang konteksto, at mas mahirap ang nasa gitna[2]. Ang kababalaghang ito ay hindi isang pagkabigo, kundi isang pundamental na katangian na nagmumula sa arkitektura ng mga transformer at sa mga prinsipyo ng kanilang pagsasanay.

Dalawang Uri ng Pagkalimot: Kontekstwal at Katastropiko

Mahalaga na makilala ang dalawang pundamental na magkaibang uri ng "pagkalimot" sa mga LLM: panloob-kontekstwal at katastropiko.

Panloob-Kontekstwal na Pagkalimot (Lost in the Middle)

Ang ganitong uri ng pagkalimot ay nagaganap sa panahon ng isang sesyon ng pakikipag-ugnayan (inference) sa isang modelong sinanay na. Ito ay nauugnay sa mga limitasyon ng context window. Kapag ang dami ng dayalogo o dokumento ay lumampas sa laki ng window, "nakakalimot" ang modelo ng pinakamatandang mga fragment upang makapagpalaya ng espasyo para sa mga bagong impormasyon. Kahit sa loob ng window, ang impormasyong mula sa gitna ng konteksto ay maaaring gamitin nang mas mababa ang kahusayan. Ito ay isang limitasyon ng gumaganang memorya ng modelo[3]. Sa popular na pagsusulat, ang kababalaghang ito ay tinatawag ding "sindrom ng pagkasira ng konteksto" (Context Degradation Syndrome, CDS)[1].

Katastropikong Pagkalimot (Paglihis ng Modelo)

Ang ganitong uri ng pagkalimot, na kilala rin bilang "paglihis ng modelo" (model drift), ay nagaganap sa proseso ng fine-tuning ng modelo sa bagong datos. Kapag ang isang modelo na paunang sinanay sa napakalaking corpus ng pangkalahatang kaalaman ay sasanay muli sa isang napaka-espesyalisadong hanay ng datos (halimbawa, sa mga medikal na teksto), nagbabago ang mga timbang nito. Maaari itong humantong sa pagkasira o "pagbubura" ng mga dating natutunan na kaalaman at kasanayan na hindi nauugnay sa bagong gawain[4].

Mga Sanhi at Mekanismo

Ang kontekstwal na pagkalimot ay isang direktang kahihinatnan ng arkitektura ng mga transformer at ng heometriya ng mga vector space.

Epekto ng "Lost in the Middle"

Ang pananaliksik ng Stanford University noong 2023 na pinamagatang "Lost in the Middle" ay malinaw na nagpakita na ang pagganap ng mga LLM sa pagkuha ng impormasyon mula sa mahabang konteksto ay may U-shaped na kurba[2]. Ang katumpakan ng mga sagot ay pinakamataas kapag ang may-kaugnayan na impormasyon ay matatagpuan sa simula (primacy effect) o sa katapusan (recency effect) ng konteksto, at makabuluhang bumababa kapag ito ay "nakatago" sa gitna. Ang mga sanhi ng kababalaghang ito:

  • Mekanismo ng Attention: Ang arkitektura ng transformer sa likas na paraan ay nagbibigay ng hindi proporsyonal na pansin sa mga paunang token (tinatawag na "attention sinks") para sa pagpapanatili ng pandaigdigang koherensiyo, gayundin sa lokal na konteksto, na siyang nagdudulot ng pagpapahina ng "pokus" sa gitna[5].
  • Datos para sa Pre-training: Ang mga modelo ay kadalasang sinasamahan ng medyo maikling mga teksto, kung saan ang mahahalagang impormasyon ay bihirang matatagpuan sa distansiyang sampung libo ng mga token mula sa simula, na pumipigil sa kanila na epektibong gamitin ang napakahaba na mga konteksto[6].

Mga Pagpapakita at Kahihinatnan

  • Sindrom ng Pagkasira ng Konteksto: Sa matagal na mga dayalogo, nagsisimulang "mawalan ng landas" ang modelo, paulit-ulit na sagot, sumasalungat sa mga dating naitatag na katotohanan, at nagbibigay ng lalong pangkalahatan at malabo na mga sagot[1].
  • Mga Pagkabigo sa Multi-Step na mga Gawain: Sa mga gawaing kung saan ang mga kundisyon ay nililinaw sa pamamagitan ng ilang mga linya, maaaring "kumapit" ang modelo sa maling unang pagpapalagay at balewalain ang mga kasunod na paglilinaw, na humahantong sa ganap na kawalan ng kakayahang malutas ang gawain[7].
  • Kawalan ng Pagiging Maaasahan sa Pagsusuri ng mga Dokumento: Sa pagsusuri ng mahahabang ulat o legal na mga dokumento, maaaring mapalampas ng LLM ang mga pangunahing katotohanan na matatagpuan sa mga sentral na seksyon, na ginagawa itong hindi mapagkakatiwalaang kasangkapan para sa gayong mga gawain.

Mga Estratehiya ng Pagpapagaan at Pag-iwas

Gumagamit ang mga mananaliksik at mga developer ng ilang mga diskarte upang matugunan ang problema ng kontekstwal na pagkalimot.

Pagpapalaki ng Context Window

Ang pinaka-direktang diskarte — ang pagpapalaki ng laki ng context window. Ang mga modernong modelo tulad ng Claude 3 (200 libo na token) at Gemini 1.5 Pro (hanggang 2 milyong token) ay makabuluhang nagpalawak ng limitasyong ito[8][9]. Gayunpaman, ipinapakita ng mga pananaliksik na ang simpleng pagpapalaki ng window ay hindi ginagarantiyahan ang epektibong paggamit nito, at nananatili ang problema ng "lost in the middle"[2].

Advanced na Prompt Engineering

Ang maingat na pagbuo ng istruktura ng mga prompt ay maaaring makabuluhang mapabuti ang pagganap. Nagmumungkahi ang kumpanyang Anthropic ng mga sumusunod na gawi[10]:

  • Paglalagay ng mga Dokumento sa Simula: Ilagay ang mahahabang teksto sa pinakasimula ng prompt, bago ang mga tagubilin at tanong.
  • Paggamit ng XML Tags: Balutin ang mga dokumento sa mga tag na `<document>` para sa malinaw na paghihiwalay.
  • Pagbibigay-katwiran sa mga Sagot Gamit ang mga Sipi: Bigyan ng tagubilin ang modelo na una munang kunin ang mga may-kaugnayan na sipi, at pagkatapos ay ibase ang sagot sa mga ito.

Eksteriyalisasyon ng Memorya: Retrieval-Augmented Generation (RAG)

Isang pundamental na naiibang diskarte — ang hindi paglalagay ng lahat ng impormasyon sa context window, kundi ang paglilipat nito sa isang panlabas na sistema (vector database) at pagbibigay nito sa kahilingan.

  1. Pagkuha (Retrieve): Kapag may dumating na kahilingan, hinahanap ng sistema ang may-kaugnayan na impormasyon sa panlabas na base.
  2. Pagdaragdag (Augment): Ang mga nahanap na fragment ay idinaragdag sa orihinal na kahilingan.
  3. Pagbuo (Generate): Ang LLM ay bumubuo ng sagot batay sa ibinigay na konteksto.

Ang RAG ay nagbibigay-daan sa pagtatrabaho sa halos walang limitasyong dami ng datos at nagbibigay ng access sa sariwa at napatunayan na impormasyon, na nagpapababa ng panganib ng mga hallucination at siyang pinaka-maaasahang solusyon sa kasalukuyan[11].

Mga Sanggunian

  • Lost in the Middle: How Language Models Use Long Contexts — orihinal na pananaliksik ng Stanford University.
  • Anunsyo ni Anthropic ng Claude na may context window na 100K token.

Literaturang Pinagkunan

  • Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
  • An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
  • Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
  • Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
  • Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
  • Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
  • Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
  • Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
  • Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.

Mga Tala

  1. ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [1]
  2. ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [2]
  3. ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [3]
  4. ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [4]
  5. ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [5]
  6. ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [6]
  7. ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [7]
  8. ↑ «Introducing the next generation of Claude». Anthropic. [8]
  9. ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [9]
  10. ↑ «Long context prompting tips». Anthropic Documentation. [10]
  11. ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [11]
Retrieved from "https://systems-analysis.info/int/index.php?title=Kontekstwal_na_paglimot&oldid=3477"