Context window — 문맥 창

컨텍스트 윈도우(문맥 창)는 대형 언어 모델(LLM)에서 모델이 응답을 생성할 때 고려할 수 있는 최대 텍스트 정보량(토큰 단위)을 의미합니다. 다시 말해, 이는 모델의 일종의 '작업 메모리'로서, 사용자의 원래 요청과 모델이 이전에 생성한 문장을 포함하여 동시에 문맥 안에 유지할 수 있는 텍스트의 양을 결정합니다. 컨텍스트 윈도우의 크기는 토큰 단위로 측정됩니다. 토큰이란 모델이 처리하기 위해 입력을 분할하는 텍스트의 기본 단위(단어, 단어의 일부 또는 문자)입니다. 컨텍스트 윈도우의 길이는 생성되는 응답의 일관성과 관련성에 직접적인 영향을 미칩니다. 큰 컨텍스트는 모델이 이전 정보를 더 잘 반영하고, 긴 대화의 세부 사항을 유지하며, 긴 문서를 처리할 때 의미를 잃지 않도록 도와줍니다.

컨텍스트 윈도우 크기의 진화

초기 transformer 기반 언어 모델은 비교적 작은 컨텍스트 윈도우를 가지고 있었습니다. 예를 들어, 2018~2019년에는 최대 컨텍스트 길이가 약 512~1024 토큰 수준이었습니다. GPT-3(2020)는 한 번에 최대 2048 토큰을 처리할 수 있었습니다. ChatGPT 초기(2022년)에는 컨텍스트 한도가 약 4000 토큰(약 3000 단어)으로, 대화 길이에 제약이 있었습니다. 약 3000 단어를 초과하면 챗봇이 '방향을 잃고' 주제를 벗어난 환각을 일으키기 시작했습니다.

현재의 플래그십 모델들은 이 한계를 크게 높였습니다. GPT-4는 8192 및 32,768 토큰 버전으로 제공되며, Anthropic의 Claude 모델은 2023년 100,000 토큰(약 75,000 단어, 즉 수백 페이지 분량의 텍스트)의 컨텍스트 윈도우를 갖추게 되었습니다. 2024년에는 약 128,000 토큰 수준의 컨텍스트를 가진 모델(예: Meta의 LLaMA 3.1)과 심지어 최대 100만 토큰에 달하는 모델(Google Gemini 1.5 Pro)도 등장했습니다. 2025년에는 최대 1,000만 토큰이라는 기록적인 컨텍스트 윈도우를 가진 LLAMA 4 Scout가 발표되었으며, 이는 수만 페이지 분량의 텍스트에 해당합니다. 그러나 이처럼 극단적인 수치는 상당 부분 이론적인 것입니다. 메모리와 학습 데이터의 한계로 인해 모델이 실제로 1,000만 토큰의 컨텍스트 전체를 활용하기는 어렵습니다. 그럼에도 불구하고, 컨텍스트 윈도우 확장 경쟁은 모델 파라미터 수 증가에 맞먹는 중요성을 지닌 LLM 발전의 새로운 단계가 되었습니다.

다음은 일부 모델의 최대 컨텍스트 길이 예시입니다:

• GPT-3 – 최대 ~2048 토큰
• GPT-4 – 8192 토큰(기본 버전), 확장 버전 최대 32,768 토큰
• Anthropic Claude – 최대 100,000 토큰
• LLaMA 3.1 – 최대 128,000 토큰
• Google Gemini 1.5 Pro – 최대 1,000,000 토큰
• Meta LLAMA 4 Scout – 최대 10,000,000 토큰 발표

컨텍스트 윈도우의 성장은 모델의 능력을 근본적으로 확장합니다. 32,000 토큰이 약 50페이지 분량에 해당한다면, 100,000 토큰은 약 75,000 단어에 해당합니다. 모델은 이러한 분량을 단 몇 초 만에 처리할 수 있습니다. 예를 들어, 소설 전체나 기술 보고서를 분석하여 필요한 세부 정보를 추출하는 것이 가능합니다. 따라서 긴 컨텍스트를 가진 모델은 책 전체, 대규모 문서 세트, 또는 긴 대화를 메모리에 유지할 수 있으며, 이는 상세한 요약, 교차 문서 질의응답 분석부터 대규모 소스 코드 처리까지 새로운 활용 시나리오를 열어줍니다.

긴 컨텍스트의 한계와 문제점

컨텍스트 윈도우의 확장은 심각한 기술적·실용적 과제를 수반합니다. 가장 큰 문제는 계산 복잡도의 조합론적 증가입니다. Transformer에서 self-attention 메커니즘은 시퀀스 길이에 대해 이차(quadratic) 복잡도를 가집니다. 컨텍스트 길이가 두 배로 늘어나면 필요한 메모리와 연산량은 약 네 배로 증가합니다. 예를 들어, 컨텍스트를 1024 토큰에서 4096 토큰으로 늘리면 이론적으로 자원 소비가 약 16배 증가합니다. 이는 학습 단계(GPU 메모리 한계와 학습 시간으로 인해 매우 긴 시퀀스를 사용하기 어려움)와 추론 단계 모두에 제약을 가합니다. 긴 요청은 응답 생성을 크게 느리게 하고 상용 API 사용 비용을 높입니다. 입력 토큰 처리에는 일반적으로 비용이 부과되므로, 모델에 긴 텍스트를 제공할수록 응답 비용이 직접적으로 증가합니다.

정보 과부하는 또 다른 중요한 요소입니다. 큰 윈도우가 모델에 더 많은 데이터를 제공할 수 있게 해주지만, 세부 사항이 과도하면 모델이 '노이즈' 속에서 핵심을 파악하지 못할 수 있습니다. 연구에 따르면 현재 LLM은 관련 정보를 균일하게 인식하지 못합니다. 모델들은 긴 컨텍스트 입력의 처음이나 끝에 배치된 사실에 더 많은 주의를 기울이는 경향이 있으며(초두 효과와 최신 효과), 큰 문서의 중간에서 지식을 추출하는 능력이 훨씬 떨어집니다. 불필요한 세부 사항으로 프롬프트를 채우면 응답 정확도가 저하될 수 있습니다. 따라서 일정 한계를 넘어서면 컨텍스트 양을 늘리는 것이 역효과를 낼 수 있습니다. 이에 따른 실용적 권고사항은 긴 요청에는 실제로 필요한 데이터만 포함하고, 핵심 정보가 메시지의 시작(또는 끝) 부분에 위치하도록 컨텍스트를 구조화하는 것입니다.

또한 실제로는 명목상의 윈도우 길이와 모델이 효과적으로 활용하는 길이 사이에 괴리가 있음이 밝혀졌습니다. 많은 모델들이 사용 가능한 전체 길이에 걸쳐 균일하게 작동하지 못하며, 실질적인 유효 컨텍스트 깊이는 최대값보다 훨씬 작습니다. 예를 들어, 128k 컨텍스트로 학습된 LLaMA 3.1 모델의 경우, 테스트에서 시작 부분으로부터 ~64k 토큰을 넘는 정보는 응답에 거의 영향을 미치지 않았습니다. 대부분의 오픈소스 LLM에서 실제 유효 메모리는 지정된 컨텍스트 길이의 절반 미만으로 나타납니다. 연구자들은 이를 학습 특성과 연관짓습니다. 모델이 공식적으로 긴 시퀀스로 학습되더라도, 데이터에서 먼 위치는 초기 위치보다 훨씬 드물게 등장하기 때문에 모델이 윈도우 끝 부분에 대해 덜 학습된 상태가 됩니다. 일반적인 코퍼스에서 매우 긴 시퀀스의 등장 빈도는 지수적으로 감소합니다. 이러한 '좌편향된' 위치 분포로 인해 모델은 가까운 컨텍스트를 먼 컨텍스트보다 훨씬 잘 학습합니다. 해결책으로는 학습 데이터의 보다 신중한 선별과 레이블링, 그리고 덜 학습된 위치를 보완하는 특수한 방법론 등을 고려할 수 있습니다. 이 한계를 극복하는 것은 현재 활발하게 연구되고 있는 분야입니다.

컨텍스트 윈도우 확장 방법

LLM의 컨텍스트 윈도우를 확장하려면 아키텍처적·알고리즘적 개선을 결합해야 합니다. 현재 연구에서 적용되는 주요 방향은 다음과 같습니다:

• 긴 시퀀스로의 학습. 가장 직관적인 접근 방식은 원하는 컨텍스트 길이에 맞는 학습 예시를 모델에 제공하는 것입니다. 길이에 따른 curriculum learning, 즉 학습 과정에서 텍스트 크기를 점진적으로 늘리는 방법이 실용화되고 있습니다. 또한 gradient accumulation 및 특수한 데이터 전처리 기법도 활용됩니다.
• Attention 메커니즘 최적화. 표준 self-attention은 이차적 비용을 가지므로, sparse attention, sliding window, 다차원 컨텍스트 분할 등의 대안이 활발히 연구되고 있습니다. 예를 들어, Ring Attention은 IBM이 제안한 attention 최적화 방법으로 긴 시퀀스에서 계산 부담을 줄입니다. IBM Granite 모델에 ring attention을 추가함으로써 컨텍스트를 크게 확장할 수 있었습니다.
• 위치 인코딩 개선. Transformer의 핵심 요소 중 하나는 토큰 위치를 인코딩하는 방식입니다. 고전적인 절대 위치 인코더는 학습된 길이를 넘어서는 외삽에 취약합니다. 따라서 긴 컨텍스트에는 상대적 위치 인코딩 등 다른 방법이 사용됩니다. 예를 들어, 128k 컨텍스트 버전의 Granite 모델은 절대 위치 인코딩에서 상대적 위치 기반 토큰 인코딩으로 전환했습니다. RoPE(Rotary Position Embedding)가 널리 사용되는데, 이는 먼 토큰 간의 상대적 위치 관계를 더 잘 보존하고 컨텍스트 확장을 가능하게 합니다. 또 다른 접근 방식인 ALiBi(Attention with Linear Biases)는 attention 메커니즘에 큰 거리에 대해 선형적으로 증가하는 편향을 도입합니다. 이러한 기법들의 조합, 예를 들어 RoPE의 기저 주파수 스케일링(LLaMA 3에서 구현된 방식)은 현재 모델이 100k+ 토큰 윈도우를 지원할 수 있도록 적용되고 있습니다.
• 메모리 및 컨텍스트 압축. 대안적 접근 방식은 윈도우 길이를 직접 늘리는 대신, 긴 입력을 압축된 형태로 표현하는 것입니다. 예를 들어, IBM의 한 기술은 다른 LLM을 활용하여 긴 텍스트의 압축된 표현(요약)을 생성하는 것입니다. 또 다른 접근 방식은 외부 장기 메모리 또는 지식 베이스를 연결하는 것입니다. 모델은 컨텍스트 윈도우 밖에 중요한 사실들을 저장해두고 필요할 때 불러옵니다. 후자는 retrieval-augmented generation(RAG)으로 알려진 방법으로 발전했습니다.

이러한 전략들 각각에는 고유한 비용이 따른다는 점을 유의해야 합니다. 긴 컨텍스트로의 학습은 막대한 계산 자원과 신중하게 선별된 데이터를 필요로 합니다. 새로운 attention 메커니즘과 위치 인코딩은 모델 아키텍처를 복잡하게 만들고, 때로는 짧은 텍스트에서의 성능을 저하시키기도 합니다. 따라서 엔지니어들은 윈도우 크기, 학습 안정성, 최종 모델 성능 사이에서 신중하게 균형을 맞춰야 합니다.

대용량 컨텍스트 vs. 정보 검색(RAG)

LLM의 최대 컨텍스트가 수십만 토큰 이상으로 증가함에 따라, 이러한 모델 능력 하에서 외부 지식 베이스와 검색 알고리즘이 필요한가에 대한 논의가 생겨났습니다. 모든 관련 정보가 컨텍스트 윈도우 안에 직접 들어갈 수 있다면, 이론적으로 모델은 외부 소스에 의존하지 않고도 답변할 수 있습니다. 일부 연구자들은 컨텍스트 윈도우가 커질수록, 모델이 데이터베이스에서 추출된 텍스트를 미리 받는 retrieval-augmented generation(RAG) 방식이 그 유효성을 잃을 수 있다고 주장합니다. 이를 지지하는 근거로는 검색 단계에서의 정보 손실이 있습니다. 검색은 몇 개의 상위 문서만 반환하는 반면, '프롬프트 스터핑'(데이터를 요청에 직접 포함시키기)은 모든 컨텍스트 정보를 모델에 통째로 제공할 수 있습니다. IBM 연구원 Pin-Yu Chen은 필요한 책과 문서를 모두 모델에 바로 로드할 수 있다면 아무도 RAG 설정에 애쓰고 싶지 않을 것이라고 지적합니다.

그러나 반대 입장은 아무리 큰 컨텍스트 윈도우도 RAG의 필요성을 없애지 못한다는 것입니다. IBM 관계자들과 다른 전문가들은 데이터의 최신성과 관리가 여전히 심각한 문제로 남아 있다고 강조합니다. 방대한 컨텍스트를 가진 모델도 학습 데이터에 없던 것, 예를 들어 오늘의 뉴스는 알 수 없습니다. 요청 시 최신 정보를 즉각적으로 포함하려면 retriever 메커니즘이 필요합니다. 또한 기업용 애플리케이션에서 RAG는 접근 권한을 준수하고 불필요한 기밀 데이터를 노출하지 않으면서 보안 저장소에서 선택적으로 사실을 가져올 수 있게 해줍니다. 마지막으로 경제적 고려 사항도 중요합니다. 수백만 토큰을 '헛되이' 처리하는 것은 비용이 많이 들며, 모델이 매번 수천 페이지 분량의 입력을 읽게 하는 것보다 실제로 관련 있는 몇 개의 단락을 먼저 찾아 컨텍스트를 줄이는 것이 종종 더 합리적입니다. 이러한 이유들로 RAG는 AI 애플리케이션의 중요한 구성 요소로 남아 있으며, 대용량 컨텍스트 윈도우는 신중하게 사용할 것을 권장합니다. 확장된 컨텍스트(자주 사용하는 데이터를 캐시 형태로 저장하는 Cache-Augmented Generation)와 외부 소스로부터의 새로운 지식을 선택적으로 검색하는 방법을 결합한 하이브리드 접근 방식이 최적의 아키텍처가 될 것으로 예상됩니다.

응용 및 전망

사용 가능한 컨텍스트의 증가는 언어 모델이 해결할 수 있는 과제의 범위를 크게 확장합니다. 긴 문서의 요약 및 분석은 즉각적인 응용 분야 중 하나입니다. 100k 토큰 윈도우를 가진 모델은 단일 요청으로 방대한 보고서, 책 또는 기술 문서를 읽고 요약이나 질문에 대한 답변을 제공할 수 있습니다. 이는 법률 분야(계약서 분석 및 요약), 과학(자동 문헌 검토), 비즈니스 분석에 활용됩니다. 예를 들어, Claude는 소설 『위대한 개츠비』(~72,000 토큰) 전체를 성공적으로 처리하고 몇 초 만에 텍스트의 특정 수정 사항을 찾아낼 수 있었습니다.

장기 대화 지원. 챗봇에게 있어 큰 컨텍스트는 수십, 수백 개의 발화를 기억하는 능력을 의미합니다. 확장된 윈도우는 또한 대화에 방대한 참조 데이터를 통합하는 것을 가능하게 합니다.

프로그래밍 및 코드 작업. 소스 코드 분석과 관련된 작업에서 긴 컨텍스트는 특히 가치 있는 것으로 나타났습니다. 코드는 종종 여러 파일에 분산되어 있으며, 정확한 답변을 제공하려면 모델이 코드베이스의 최대한 많은 부분을 '볼 수' 있어야 합니다. IBM의 연구에 따르면 컨텍스트 확장은 코드 생성 작업에서 모델 품질을 눈에 띄게 향상시킵니다. 128k 토큰 윈도우를 가진 Granite 모델은 요청 시 방대한 양의 라이브러리 문서를 처리할 수 있습니다.

멀티모달 애플리케이션. 최신 모델(앞서 언급한 LLaMA 4, Gemini 등)은 멀티모달이며 텍스트뿐만 아니라 다른 유형의 데이터(오디오, 이미지, 비디오)도 입력으로 받을 수 있습니다. 큰 컨텍스트는 여기서 예를 들어 긴 오디오 녹음(대화 전사) 또는 비디오(설명이 달린 프레임 시퀀스) 전체를 분석하는 데 도움이 됩니다. 1M 토큰 윈도우를 가진 Gemini 1.5 모델은 컨텍스트 내에 최대 1시간 분량의 오디오 또는 3시간 분량의 비디오를 중요한 세부 사항 손실 없이 유지할 수 있다고 알려져 있습니다. 이는 수 시간 분량의 회의, 영화 등의 자동 전사 및 요약에 대한 전망을 열어줍니다.

인상적인 성과에도 불구하고, 전문가들은 큰 컨텍스트가 만병통치약이 아니라 올바른 사용법이 필요한 도구라고 강조합니다. 큰 컨텍스트는 인프라에 대한 요구사항(메모리, 처리 속도)을 크게 높이고 모델 배포 비용을 증가시킵니다. 따라서 LLM 기반 시스템을 개발할 때는 특정 작업에 실제로 필요한 컨텍스트 양을 신중하게 평가하고 다양한 접근 방식을 결합할 것을 권장합니다. 그럼에도 불구하고 추세는 분명합니다. 미래의 모델들은 더욱 긴 컨텍스트와 그것을 효과적으로 활용하는 것을 결합하려 할 것입니다. attention 스케일링, 긴 시퀀스 학습, '중간 망각' 문제 해결 등 현재의 문제들을 극복함으로써 차세대 LLM은 더욱 방대한 정보를 정확하고 일관되게 처리할 수 있게 될 것입니다. 이는 AI의 적용 가능성 경계를 완전한 어시스턴트에서 복잡한 분석 시스템까지 크게 확장할 것입니다.

참고 자료

• Why larger LLM context windows are all the rage - IBM Research
• Context Length in LLMs: What Is It and Why It Is Important - DataNorth
• Understanding the Impact of Increasing LLM Context Windows - Meibel
• Introducing 100K Context Windows - Anthropic
• Lost in the Middle: How Language Models Use Long Contexts (arXiv)
• Why Does the Effective Context Length of LLMs Fall Short? (arXiv)
• RAG in the Era of LLMs with 10 Million Token Context Windows - F5 Labs

각주

</references>