Contextual forgetting — 맥락 망각

From Systems analysis Wiki
Jump to navigation Jump to search

대형 언어 모델에서의 컨텍스트 망각(맥락 망각)은 대형 언어 모델(LLM)이 하나의 상호작용 세션 내에서 이전에 제공된 정보를 잃어버리거나, 무시하거나, 비효율적으로 활용하는 다면적인 현상이다[1]. 인간의 기억과 달리, LLM은 장기적인 상태 저장소를 갖지 않으며, 오직 컨텍스트 윈도우(context window)——모델이 한 번에 처리할 수 있는 제한된 텍스트 분량(토큰 단위)——에만 의존한다. 이 윈도우는 모델의 단기 기억 또는 작업 기억의 역할을 한다[2].

이 제약의 가장 잘 알려진 발현은 '중간 소실(Lost in the Middle)' 문제——모델이 긴 컨텍스트의 앞부분과 끝부분에 위치한 정보는 더 잘 처리하고, 중간에 위치한 정보는 더 못 처리하는 경향——이다[2]. 이 현상은 오류가 아니라 transformer 아키텍처와 학습 원리에서 비롯된 근본적인 특성이다.

두 가지 망각 유형: 컨텍스트 망각과 파국적 망각

LLM에서 나타나는 두 가지 근본적으로 다른 '망각' 유형을 구별하는 것이 중요하다: 컨텍스트 내 망각과 파국적 망각.

컨텍스트 내 망각(중간 소실)

이 유형의 망각은 이미 학습된 모델과의 단일 상호작용 세션(추론) 중에 발생한다. 이는 컨텍스트 윈도우의 제약과 관련이 있다. 대화나 문서의 분량이 윈도우 크기를 초과하면, 모델은 새로운 내용을 위한 공간을 확보하기 위해 가장 오래된 단편들을 '잊어버린다'. 윈도우 내에서도 컨텍스트 중간 부분의 정보는 덜 효율적으로 활용될 수 있다. 이것은 모델의 작업 기억 제약이다[3]. 저널리즘 분야에서는 이 현상을 '컨텍스트 저하 증후군(Context Degradation Syndrome, CDS)'이라고도 부른다[1].

파국적 망각(모델 드리프트)

모델 드리프트(model drift)라고도 알려진 이 유형의 망각은 새로운 데이터로 모델을 fine-tuning하는 과정에서 발생한다. 방대한 일반 지식 코퍼스로 사전 학습된 모델을 고도로 전문화된 데이터셋(예: 의료 텍스트)으로 추가 학습시키면 모델의 가중치가 변화한다. 이로 인해 새로운 과제와 무관한 기존에 습득된 지식과 능력이 저하되거나 '삭제'될 수 있다[4].

원인과 메커니즘

컨텍스트 망각은 transformer 아키텍처와 벡터 공간의 기하학적 특성의 직접적인 결과이다.

'중간 소실(Lost in the Middle)' 효과

2023년 스탠퍼드 대학교의 'Lost in the Middle'이라는 연구는 긴 컨텍스트에서 정보를 검색할 때 LLM의 성능이 U자형 곡선을 그린다는 것을 명확히 보여주었다[2]. 관련 정보가 컨텍스트의 맨 앞(초두 효과)이나 맨 끝(최신 효과)에 위치할 때 답변 정확도가 가장 높으며, 중간에 '숨겨져' 있을 경우 정확도가 현저히 떨어진다. 이 현상의 원인:

  • Attention 메커니즘: Transformer 아키텍처는 전체적인 일관성을 유지하기 위해 초기 토큰(소위 'attention sinks'라 불리는 '주의 앵커')과 로컬 컨텍스트에 불균형적으로 많은 주의를 기울이는 특성이 있으며, 이로 인해 중간 부분에 대한 '초점'이 약해진다[5].
  • 사전 학습 데이터: 모델은 대부분 상대적으로 짧은 텍스트로 학습되는데, 이런 텍스트에서는 중요한 정보가 시작 부분으로부터 수만 토큰 떨어진 곳에 위치하는 경우가 드물어, 매우 긴 컨텍스트를 효율적으로 활용하는 능력이 저해된다[6].

발현 양상과 결과

  • 컨텍스트 저하 증후군: 장기적인 대화 과정에서 모델은 '대화의 맥락을 잃기' 시작하여, 답변을 반복하고, 이전에 확인된 사실과 모순되며, 점점 더 일반적이고 모호한 답변을 제공한다[1].
  • 다단계 과제에서의 오류: 여러 차례의 대화를 통해 조건이 구체화되는 과제에서, 모델은 잘못된 초기 가정에 '고착'되어 이후의 수정 사항을 무시할 수 있으며, 이로 인해 과제를 완전히 해결하지 못하는 결과가 초래된다[7].
  • 문서 분석의 신뢰성 저하: 긴 보고서나 법률 문서를 분석할 때 LLM은 중앙 섹션에 위치한 핵심 사실을 놓칠 수 있으며, 이는 해당 과제에서 신뢰할 수 없는 도구로 만든다.

완화 및 예방 전략

연구자와 개발자들은 컨텍스트 망각 문제를 해결하기 위해 여러 접근 방식을 적용하고 있다.

컨텍스트 윈도우 확장

가장 직접적인 접근 방식은 컨텍스트 윈도우 크기를 늘리는 것이다. Claude 3(20만 토큰)과 Gemini 1.5 Pro(최대 200만 토큰)와 같은 최신 모델들은 이 한계를 크게 확장했다[8][9]. 그러나 연구에 따르면 윈도우를 단순히 확장하는 것만으로는 효율적인 활용이 보장되지 않으며, '중간 소실' 문제는 여전히 지속된다[2].

고급 prompt 엔지니어링

prompt를 체계적으로 구성하면 성능을 크게 향상시킬 수 있다. Anthropic은 다음과 같은 방법을 제안한다[10]:

  • 문서를 앞부분에 배치: 긴 텍스트를 지침과 질문 앞의 prompt 맨 앞에 놓는다.
  • XML 태그 활용: 명확한 구분을 위해 문서를 `<document>` 태그로 감싼다.
  • 인용으로 답변 근거 제시: 모델에게 먼저 관련 인용문을 추출한 다음, 이를 바탕으로 답변을 구성하도록 지시한다.

기억의 외부화: Retrieval-Augmented Generation (RAG)

근본적으로 다른 접근 방식은 모든 정보를 컨텍스트 윈도우에 넣는 것이 아니라, 외부 시스템(벡터 데이터베이스)에 저장하고 요청에 따라 제공하는 것이다.

  1. 검색(Retrieve): 쿼리가 들어오면 시스템이 외부 데이터베이스에서 관련 정보를 검색한다.
  2. 증강(Augment): 검색된 단편들이 원래 쿼리에 추가된다.
  3. 생성(Generate): LLM이 제공된 컨텍스트를 바탕으로 답변을 생성한다.

RAG는 사실상 무제한의 데이터 볼륨을 다룰 수 있게 해주며, 최신의 검증된 정보에 대한 접근을 보장하여 환각 위험을 줄이고, 현재로서는 가장 신뢰할 수 있는 해결책이다[11].

참고 링크

  • Lost in the Middle: How Language Models Use Long Contexts — 스탠퍼드 대학교 원본 연구.
  • Anthropic의 100K 토큰 컨텍스트 윈도우를 갖춘 Claude 발표.

참고 문헌

  • Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172.
  • An, C. et al. (2024). Why Does the Effective Context Length of LLMs Fall Short?. arXiv:2410.18745.
  • Ding, J. et al. (2023). LongNet: Scaling Transformers to 1,000,000,000 Tokens. arXiv:2307.02486.
  • Yang, A. et al. (2024). Context Parallelism for Scalable Million-Token Inference. arXiv:2411.01783.
  • Chen, S. et al. (2023). Extending Context Window of Large Language Models via Positional Interpolation. arXiv:2306.15595.
  • Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
  • Li, S. et al. (2023). Functional Interpolation for Relative Positions Improves Long Context Transformers. arXiv:2310.04418.
  • Dong, Z. et al. (2024). Exploring Context Window of Large Language Models via Decomposed Positional Vectors. arXiv:2405.18009.
  • Laban, P. et al. (2025). LLMs Get Lost in Multi-Turn Conversation. arXiv:2505.06120.
  • Li, R. et al. (2024). Extending Context Window in Large Language Models with Segmented Base Adjustment for Rotary Position Embeddings. Applied Sciences, 14(7), 3076. DOI:10.3390/app14073076.
  • Yang, A. & Reizenstein, J. (2024). Exploring Context Window of LLMs via Decomposed Positional Vectors (NeurIPS Poster). NeurIPS 2024.

각주

  1. ↑ 1.0 1.1 1.2 Howard, James. «Context Degradation Syndrome: When Large Language Models Lose the Plot». jameshoward.us. [1]
  2. ↑ 2.0 2.1 2.2 2.3 Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [2]
  3. ↑ Liu, Nelson F.; et al. «Lost in the Middle: How Language Models Use Long Contexts». ACL Anthology. [3]
  4. ↑ Greyling, Cobus. «Catastrophic Forgetting In LLMs». Medium. [4]
  5. ↑ «Exploring Context Window of Large Language Models via Decomposed Positional Vectors». NeurIPS Proceedings. [5]
  6. ↑ An, Chenxin; et al. «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [6]
  7. ↑ «LLMs Get Lost In Multi-Turn Conversation». arXiv. [7]
  8. ↑ «Introducing the next generation of Claude». Anthropic. [8]
  9. ↑ «Google's Gemini 1.5 Pro - Revolutionizing AI with a 1M Token Context Window». Medium. [9]
  10. ↑ «Long context prompting tips». Anthropic Documentation. [10]
  11. ↑ «What is Retrieval-Augmented Generation (RAG)?». Google Cloud. [11]
Retrieved from "https://systems-analysis.info/int/index.php?title=Contextual_forgetting_—_맥락_망각&oldid=1227"