GPT (OpenAI) (KO)

GPT (Generative Pre-trained Transformer) — 이것은 OpenAI가 개발한 대형 언어 모델(LLM) 패밀리입니다. GPT 모델은 transformer 아키텍처를 기반으로 하며 생성적 사전 학습 패러다임을 구현합니다. 첫 번째 단계에서 모델은 명시적인 레이블 없이 방대한 텍스트 코퍼스로 학습되고, 이후 특정 작업에 대해 fine-tuning될 수 있습니다. 후기 세대(GPT‑5부터)에 대해 OpenAI는 통합 시스템(unified system)이라는 표현도 사용하는데, 이는 해당 제품이 빠른 응답 모드, 심층 추론(reasoning) 모드 및 라우터를 결합하고 있기 때문입니다.

명칭

약어 GPT는 Generative Pre-trained Transformer(생성형 사전 학습 트랜스포머)의 약자입니다.

• 생성형(Generative): 모델이 텍스트와 같은 새로운 콘텐츠를 생성할 수 있음을 의미합니다.
• 사전 학습(Pre-trained): 모델이 대규모 데이터(예: 인터넷 텍스트)로 광범위한 초기 학습 단계를 거친다는 것을 나타냅니다. 사전 학습 후 모델은 보다 특수한 작업을 수행하기 위해 추가적으로 fine-tuning될 수 있습니다.
• 트랜스포머(Transformer): 이는 GPT와 기타 많은 현대 AI 모델의 기반이 되는 핵심 혁신인 특정 신경망 아키텍처의 이름입니다.

GPT의 주요 특징은 학습이 자기회귀(autoregressive) 방식으로 이루어진다는 점입니다. 즉, 모델은 이전 문맥을 바탕으로 다음 token을 예측합니다. 모델은 이전 token 시퀀스를 알고 있는 상태에서 다음 token의 확률을 최대화하도록 학습됩니다. 학습 중에는 다음 요소 예측 오류가 최소화되어, 높은 일관성과 응집성을 가진 텍스트를 생성할 수 있습니다.

GPT의 텍스트 생성 프로세스

GPT 모델은 다음과 같은 반복적 방식으로 token을 하나씩 순차적으로 텍스트를 생성합니다.

• 초기 텍스트 시퀀스(prompt, seed text)를 입력으로 받습니다.
• 텍스트의 다음 요소에 대한 어휘 전체 token에 걸친 확률 분포를 계산합니다.
• 다음 token을 선택합니다:
  • 가장 높은 확률로(탐욕적 선택),
  • 확률론적 sampling 방법으로,
  • 또는 특수한 필터링 전략(top-k, top-p)을 사용하여.
• 선택한 token을 현재 시퀀스에 추가합니다.
• 업데이트된 시퀀스가 다음 token 예측을 위해 다시 모델에 입력됩니다.

Transformer 아키텍처: 텍스트 처리

다음 token을 예측하기 위해 트랜스포머 내에서의 데이터 처리 과정은 몇 가지 주요 단계를 포함합니다.

• 토크나이제이션(Tokenization). 입력 텍스트는 단어, 단어의 일부 또는 구두점이 될 수 있는 작은 텍스트 단위인 token으로 분할됩니다. 예를 들어 GPT-3 모델의 어휘는 약 50,257개의 token을 포함합니다.
• Token 임베딩(Embeddings). 각 token은 embedding 행렬(W_E)을 사용하여 고정 길이 벡터로 변환됩니다. 벡터는 token의 의미를 인코딩합니다. 의미적으로 유사한 token은 다차원 공간에서 가까이 위치합니다. GPT-3 모델에서 embedding 차원은 12,288입니다.
• Transformer 레이어에서의 처리.
  • 어텐션 블록(Attention Blocks): 각 token은 시퀀스의 다른 token과 상호작용합니다. 어텐션 메커니즘은 문맥을 고려하고 단어의 의미를 올바르게 해석할 수 있게 합니다.
  • 완전 연결 레이어(Feed-Forward Layers): 어텐션 이후 각 token은 비선형 활성화를 갖는 2층 신경망을 통해 개별적으로 처리됩니다.
• 역변환 및 Softmax. 모든 레이어를 거친 후 처리된 벡터는 종종 W_E의 전치 버전인 행렬(W_U)을 사용하여 token 공간으로 다시 변환됩니다. 결과 로짓 벡터는 모든 token에 대한 확률 분포를 얻기 위해 Softmax 함수를 사용하여 정규화됩니다.
• 다음 Token 선택(Sampling). 다음 token은 확률 분포에 기반하여 선택됩니다. 온도(temperature) 매개변수는 선택의 무작위성을 제어합니다. 온도 0에서는 가장 확률이 높은 token이 선택되고, 더 높은 온도에서는 덜 확률적인 선택지가 선택될 확률이 증가하여 텍스트의 다양성이 높아집니다.

GPT 모델

• GPT-1 (2018): 패밀리의 첫 번째 모델; 12층 decoder-only transformer; 두 단계 학습(사전 학습 + NLP 작업 fine-tuning).
• GPT-2 (2019): 15억 개의 매개변수; WebText 코퍼스로 학습; 처음으로 긴 일관된 텍스트를 생성할 수 있게 됨; zero-shot 생성 품질 향상. 2019년 2월 14일 발표, 전체 버전(15억)은 보안상의 이유로 2019년 11월 5일 공개.
• GPT-3 (2020): 1,750억 개의 매개변수; Common Crawl, Books, Wikipedia 조합으로 대규모 학습; few-shot 및 zero-shot 능력의 강력한 발전.
• GPT-3.5 (2022): GPT-3과 GPT-4 사이의 중간 버전; text-davinci-003 및 gpt-3.5-turbo 버전에서 인간 피드백 기반 학습(RLHF)을 통한 개선된 명령어 수행; 초기 버전에서는 최대 4,096 token의 컨텍스트 창, 이후 버전(gpt-3.5-turbo-16k 및 업데이트된 gpt-3.5-turbo)에서는 최대 16,385 token.
• GPT-4 (2023): 텍스트 및 그래픽 입력을 지원하는 멀티모달 모델(이미지 지원은 텍스트 출시 후 나중에 배포됨); 기본 버전에서 8,192 token, GPT-4-32k 변형에서 32,768 token의 컨텍스트 창; 정확도, 안정성 및 추론 논리의 상당한 향상.
• GPT-4 Turbo (2023): 최적화된 GPT-4 버전; 128,000 token까지 확장된 컨텍스트 창; 더 낮은 지연 시간과 운영 비용.
• GPT-4o (2024): 단일 신경망 아키텍처를 갖춘 차세대 멀티모달 모델(텍스트, 이미지, 오디오); 매우 높은 응답 속도와 정확도; 128,000 token의 컨텍스트 창.
• GPT-4.5 (2025): 연구 프리뷰(research preview); OpenAI의 system card에는 이 모델이 「GPT-4o를 기반으로 구축됨」이라고 명시됨; 개선된 사용자 요청 이해, 오류 감소; 128,000 token의 컨텍스트 창. API에서 모델 gpt-4.5-preview은 2025년 4월 14일 deprecated 선언되어 2025년 7월 14일에 중단됨.
• GPT-4.1 (2025): 최대 100만 token의 컨텍스트 창을 가진 GPT-4 패밀리의 개선된 버전; 텍스트와 이미지를 입력으로 받고 텍스트를 출력. GPT-4.1, GPT-4.1 mini, GPT-4.1 nano의 세 가지 변형으로 동시 출시.
• GPT-5 (2025): 빠른 응답 및 심층 추론 모드를 갖춘 통합 시스템; 약 400,000 token의 컨텍스트 창; 사실적 과제에서 환각의 현저한 감소.
• GPT-5.1 (2025): 적응형 reasoning, coding 및 long-context retention 개선.
• GPT-5.2 (2025): 전문적 작업에 중점; frontier 작업을 위한 Pro 모드; GPT-5.2를 기반으로 에이전트형 GPT-5.2-Codex 출시.
• GPT-5.3-Codex (2026): coding 능력과 reasoning을 결합한 에이전트형 coding 모델; 전임 모델보다 25% 빠름.
• GPT-5.3 Instant (2026): ChatGPT에서 가장 많이 사용되는 대화 모델의 업데이트; 2026년 3월 3일 출시. 사실적 정확성, 웹 검색 품질, 대화 흐름이 개선되고 불필요한 거절 및 과도한 단서 수가 감소됨. API에서 gpt-5.3-chat-latest로 제공.
• GPT-5.4 (2026): 2026년 3월 5일 발표된 전문적 작업을 위한 OpenAI의 frontier 모델; native computer-use 기능을 갖춘 최초의 OpenAI general-purpose 모델. API gpt-5.4에서 광범위한 general-purpose 및 coding 작업의 기본 모델로 권장됨.

GPT-1

첫 번째 모델인 GPT-1은 2018년 OpenAI가 "Improving Language Understanding by Generative Pre-Training" 논문에서 발표했습니다. 이 모델은 12층 decoder-only transformer로 transformer 아키텍처를 기반으로 구축되었습니다. GPT-1의 학습은 두 단계로 진행되었습니다: 비지도 생성적 사전 학습(pre-training) 단계와 그 뒤를 잇는 지도 fine-tuning 단계.

사전 학습 단계에서 모델은 다양한 장르의 7,000권 이상의 미출판 도서를 포함하는 BookCorpus 코퍼스로 학습되었습니다. 이 코퍼스의 특징은 긴 연속적인 텍스트 구절이 있다는 것으로, 이는 모델이 복잡하고 긴 텍스트 의존성을 처리하는 능력을 형성하는 데 매우 중요했습니다.

fine-tuning 단계에서 모델은 다음을 포함한 특수화된 자연어 처리 작업을 해결하도록 적응되었습니다:

• 질의응답(Question Answering, QA) — 주어진 텍스트 문맥을 기반으로 올바른 답변 생성;
• 자연어 추론(Natural Language Inference, NLI) — 두 텍스트 간의 논리적 관계(함의, 모순 또는 중립) 결정;
• 의미론적 유사도 평가(Semantic Textual Similarity) — 두 텍스트 시퀀스 간의 의미적 유사성 정도 측정.

이러한 접근 방식 덕분에 GPT-1은 텍스트 이해 작업을 위한 여러 표준 benchmark에서 이전 모델들에 비해 상당한 우월성을 입증했습니다.

GPT-1의 개발은 자연어 처리(NLP) 분야에서 몇 가지 주요 성과와 발견을 보여주었습니다:

• 생성적 사전 학습의 효율성. 레이블이 없는 대규모 텍스트 코퍼스로 사전 학습을 수행하면 모델이 근본적인 아키텍처 변경 없이 다양한 응용 작업에 적용 가능한 범용 언어 표현을 획득할 수 있음이 경험적으로 확인되었습니다.
• Transformer 아키텍처의 범용성. 다층 decoder transformer를 사용함으로써 모델은 텍스트에서 장기 의존성을 성공적으로 처리할 수 있었는데, 이는 이전에 순환 신경망 기반 모델에서는 어려웠습니다.
• 데이터 레이블링 의존도 감소. 연구는 레이블이 없는 데이터로 대규모 사전 학습을 수행하면 목표 작업에서 높은 품질을 달성하는 데 필요한 레이블이 있는 데이터의 양을 크게 줄일 수 있음을 확인했습니다.
• 후속 발전의 토대. GPT-1의 결과는 GPT 모델 패밀리의 후속 버전(GPT-2, GPT-3 등)을 위한 개념적, 기술적 토대를 마련했습니다.

GPT-2

GPT-2 모델은 2019년 2월 14일 OpenAI에 의해 발표되었습니다. 이 모델은 규모 면에서 전임 모델을 크게 능가했습니다. 전체 버전의 모델은 약 15억 개의 매개변수를 포함했습니다. 보안상의 이유로 OpenAI는 처음에 축소된 버전의 모델만 공개했으며, 전체 버전(15억 매개변수)은 2019년 11월 5일에 출시되었습니다. BookCorpus(~5 GB)로 학습된 GPT-1과 달리 GPT-2는 고품질 인터넷 소스의 텍스트 데이터를 포함하는 약 40 GB의 특별히 수집된 WebText 코퍼스로 학습되었습니다. 모델 크기와 학습 데이터 양 모두의 증가로 GPT-2는 텍스트 생성 품질을 크게 향상시켰습니다. 이 모델은 의미 있는 기사, 이야기, 심지어 일관된 소설 산문 단편을 생성할 수 있음을 보여주었습니다.

GPT-2는 GPT-1과 유사한 자기회귀 decoder-transformer 아키텍처를 사용했으며, 중요한 변경 사항은 없었습니다. 이 모델은 48개의 self-attention 레이어로 구성되었고, 숨겨진 상태 크기는 1600이었으며, 약 15억 개의 매개변수를 포함했습니다. 어텐션 헤드의 수는 25개였습니다(GPT-1에서 상속된 헤드당 64 크기 유지: 1600 ÷ 64 = 25). 학습은 마스킹된 어텐션 메커니즘을 사용하여 이전 문맥을 기반으로 다음 token을 예측하는 작업으로 수행되었습니다.

GPT-2의 주요 차이점 중 하나는 이 모델이 처음으로 zero-shot learning에서 높은 효율성을 보여주었다는 것입니다. 이는 해당 작업에 대한 예시에 대한 명시적인 fine-tuning 없이 새로운 작업을 해결하는 능력입니다. 모델은 일반화된 텍스트의 대규모 코퍼스로 학습되었고 특정 작업 데이터에 대한 특수 훈련을 받지 않았습니다. 평가는 모델이 사전 학습 과정에서 획득한 지식만을 기반으로 작업을 수행하는 zero-shot 모드에서 수행되었습니다. 여러 언어 모델링 작업에서 GPT-2는 특수화된 데이터셋(예: Wikipedia, 뉴스 텍스트, 도서)으로 특별히 학습된 모델의 결과와 비교하거나 능가하는 품질을 달성했습니다.

GPT-3

GPT-3 모델은 2020년 6월 OpenAI에 의해 발표되었습니다(arXiv 논문은 2020년 5월 28일 등재, API 베타 액세스는 2020년 6월 11일 개방). 이 모델은 GPT-2 이후 생성적 transformer의 발전에서 다음 단계가 되었으며, 아키텍처를 1,750억 개의 매개변수로 확장하여 당시 가장 큰 언어 모델이 되었습니다.

GPT-3의 아키텍처는 기본적으로 이전과 동일한 다층 자기회귀 decoder-transformer로 근본적인 변화 없이 유지되었습니다. 주요 성능 향상은 레이어 수, 숨겨진 레이어 너비 및 학습 규모의 증가를 통해 이루어졌습니다. 이 모델은 Common Crawl, WebText2, Books1, Books2 및 Wikipedia를 포함한 여러 대규모 텍스트 코퍼스의 조합으로 학습되었습니다. 데이터의 총 규모는 약 570 GB 이상이었습니다(570 GB는 학습 혼합에서 지배적인 필터링된 Common Crawl 부분에 해당).

GPT-3의 주요 특징 중 하나는 few-shot learning 및 zero-shot learning에 대한 능력이었습니다. 이 모델은 텍스트 프롬프트에서 몇 가지 예시만 있거나 아예 없이도 번역, 요약, 질의응답, 에세이 작성 및 프로그래밍을 포함한 광범위한 자연어 처리 작업을 수행할 수 있었습니다.

GPT-3.5

GPT-3.5 모델은 GPT 패밀리의 진화적 발전의 일환으로 2022년 말 OpenAI에 의해 발표되었습니다. 이 모델은 GPT-3에서 사용된 확장된 자기회귀 decoder-transformer 아키텍처를 기반으로 구축되었으며, 텍스트 생성 품질, 문맥 처리 및 복잡한 명령어 수행 능력이 개선되었습니다. GPT-3.5의 정확한 매개변수 수는 공식적으로 공개되지 않았습니다. davinci 버전은 GPT-3(1,750억)과 비슷한 규모로 추정되지만 gpt-3.5-turbo 버전의 정확한 매개변수는 알려지지 않았습니다.

GPT-3.5의 학습에는 text-davinci-003 및 gpt-3.5-turbo 버전에서 인간 피드백을 통한 강화 학습(Reinforcement Learning from Human Feedback, RLHF) 방법의 확장된 사용이 포함되었습니다. 이때 이전 버전인 text-davinci-002는 RLHF가 아닌 supervised fine-tuning(SFT)을 사용하여 학습되었습니다. 이 모델은 Common Crawl, Books, WebText 및 기타 고품질 소스를 포함하는 확장된 텍스트 코퍼스로 학습되었습니다. 초기 인기 버전(gpt-3.5-turbo)에서 컨텍스트 창은 4,096 token이었으며, 이후 OpenAI는 최대 16,385 token의 컨텍스트를 가진 업데이트된 버전을 출시했습니다.

실제로 GPT-3.5는 다음과 같은 광범위한 자연어 처리 작업에 적응되었습니다:

• 일관되고 논리적인 텍스트 생성;
• 질의응답(QA) 및 문맥 이해;
• 다단계 명령어 수행;
• 대화에서 향상된 장기 문맥 유지.

GPT-3.5를 기반으로 다양한 목적을 위한 몇 가지 주요 버전이 출시되었습니다:

• text-davinci-002 — 생성 및 명령어 수행에 최적화된 최초의 공개 GPT-3.5 기반 모델(SFT를 사용하여 학습).
• text-davinci-003 — 향상된 추론 및 복잡한 텍스트 생성 능력을 가진 개선된 버전(RLHF 적용하여 학습).
• gpt-3.5-turbo — 2022년 말부터 ChatGPT 서비스에서 사용된 가장 성능이 높고 경제적인 GPT-3.5 버전.

GPT-4

GPT-4 모델은 2023년 3월 14일 OpenAI에 의해 "GPT-4 Technical Report" 논문에서 발표되었습니다. 이 모델은 텍스트 이해, 의미 있고 창의적인 응답 생성 및 멀티모달 데이터 처리 분야에서 상당한 개선을 제공하는 언어 모델 패밀리 발전의 다음 단계가 되었습니다. 모델의 정확한 매개변수 수와 아키텍처 세부 정보는 공식적으로 공개되지 않았습니다. GPT-4 기술 보고서는 아키텍처, 모델 크기, 하드웨어, 학습 계산 비용 및 데이터셋 구성에 관한 정보가 공개되지 않는다고 명시합니다. 비공식 외부 추정에 따르면 GPT-4는 Mixture of Experts(MoE) 접근 방식을 사용하고 총 규모는 약 ~1.8조 매개변수일 수 있지만, OpenAI는 이 수치를 공식적으로 확인하거나 부인하지 않았습니다.

GPT-4는 텍스트와 이미지 모두를 입력으로 받을 수 있는 멀티모달 모델입니다. 주목할 점은 2023년 3월 초기 출시 당시 텍스트 모달리티만 사용 가능했으며, 이미지 입력 지원은 나중에 배포되었습니다. 컨텍스트 창은 기본 버전에서 8,192 token, GPT-4-32k 변형에서 32,768 token이었습니다. 이 모델은 RLHF(인간 피드백을 통한 강화 학습) 방법을 사용했습니다.

GPT-4의 학습은 대규모 텍스트 및 멀티모달 코퍼스의 조합으로 수행되었습니다. 학습 데이터, 하드웨어 및 방법론의 구체적인 세부 정보는 OpenAI의 공식 출판물에서 공개되지 않습니다.

학습은 여러 단계로 이루어졌습니다:

• 텍스트와 이미지에 대한 대규모 비지도 사전 학습,
• 특수화된 작업에 대한 지도 fine-tuning(supervised fine-tuning),
• 신뢰성, 안전성 및 명령어 해석 품질을 높이기 위한 인간 피드백을 통한 강화 학습(RLHF)의 최종 단계.

GPT-4를 기반으로 몇 가지 주요 버전이 출시되었습니다:

• GPT-4 (2023년 3월): 텍스트 입력을 지원하는 기본 버전(이미지 지원은 나중에 추가됨); 8,192 token의 컨텍스트 창; 32,768 token의 컨텍스트를 가진 GPT-4-32k 변형도 출시.
• GPT-4 Turbo (2023년 11월): 최대 128,000 token으로 확장된 컨텍스트 창을 가진 최적화된 GPT-4 수정본; 감소된 계산 비용과 가속된 생성; function calling 및 JSON 출력 모드 지원.
• GPT-4o (2024년 5월): 차세대 멀티모달 버전; 출시 발표에서 텍스트, 이미지 및 오디오를 실시간으로 처리할 수 있는 omni 모델로 포지셔닝됨(다양한 모달리티가 별도 모듈에서 처리되던 GPT-4 Turbo와 달리); 기본 API 모델 gpt-4o는 text+image 입력, text 출력으로 설명됨; 128,000 token의 컨텍스트 창.
• GPT-4.5 (2025년 2월): 연구 프리뷰(research preview); OpenAI의 system card에는 이 모델이 「GPT-4o를 기반으로 구축됨」이라고 직접 명시됨; 향상된 복잡한 텍스트 생성, 명령어 수행 정확도 향상 및 환각 수준 감소; 128,000 token의 컨텍스트 창. "chain-of-thought 없는 마지막 OpenAI 모델"로 설명됨(코드명 — Orion). API에서 모델 gpt-4.5-preview는 2025년 4월 14일 deprecated 선언되어 2025년 7월 14일에 중단됨.
• GPT-4.1 (2025년 4월): 컨텍스트를 최대 1,047,576 token으로 획기적으로 확장한 안정적 버전; 텍스트와 이미지를 입력으로 받고 텍스트를 출력; 세 가지 변형(GPT-4.1, GPT-4.1 mini, GPT-4.1 nano)으로 동시 출시; 초기에는 API를 통해서만 제공되었다가 이후 ChatGPT에 배포됨.

GPT-5

2025년 8월 7일 OpenAI는 GPT‑5를 당시 "가장 스마트하고 빠르며 유용한" 모델로 발표했습니다. 내장된 심층 추론(thinking) 모드와 실용적인 시나리오에 대한 초점—글쓰기, 프로그래밍, 건강 관련 작업 및 멀티모달 이해—을 갖추고 있습니다. GPT‑5는 점차적으로 대부분의 인증된 ChatGPT 사용자를 위한 기본 모델이 되어 이전에 사용되던 GPT‑4/4o 및 o 시리즈 모델 패밀리를 대체했습니다.

GPT‑5는 두 가지 주요 작동 모드를 가진 통합 시스템으로 구현되었습니다: 일상적인 요청을 위한 빠르고 경제적인 응답(조건부 gpt‑5 main)과 복잡한 작업을 위한 심층 추론(조건부 gpt‑5 thinking). 모드 선택은 대화 유형, 요청의 복잡성, 도구의 필요성 및 사용자의 명시적 힌트(예: "think step by step" 또는 "analyze in depth")를 고려하는 라우터에 의해 자동으로 이루어집니다. ChatGPT에서 사용자는 Auto / Instant / Thinking / Pro 모드를 이용할 수 있습니다; mini 및 nano 변형은 주로 API 모델이며, 사용자 제품에서 mini는 한도 소진 후 fallback으로 사용될 수 있습니다.

프로그래밍 인터페이스를 통해 GPT‑5의 여러 크기와 구성이 제공됩니다. OpenAI 문서에서는 주요 변형으로 gpt‑5, gpt‑5‑mini 및 gpt‑5‑nano이 명시되어 있으며(모두 텍스트와 시각 데이터를 지원). API에서 GPT‑5 패밀리의 최대 총 컨텍스트 창은 약 400,000 token입니다(입력 및 추론/출력 예산 분할 포함). 구체적인 한도는 선택한 모델 변형과 제품에 따라 다를 수 있습니다.

여러 웹 검색 및 사실적 benchmark에서 GPT‑5는 GPT‑4o 모델 및 OpenAI의 이전 "thinking" 모델에 비해 환각 및 오류 빈도의 현저한 감소를 보여줍니다. OpenAI의 공식 발표에서는 웹 검색을 활성화한 상태에서 ChatGPT 프로덕션 트래픽을 대표하는 익명화된 프롬프트를 사용한 특정 조건에서 GPT-4o 대비 약 45%, thinking 모드의 o3 대비 약 80%의 오류 감소 추정치를 제시했습니다.

GPT-5.1

GPT-5.1 모델은 일상적인 상호작용, 대화성 및 적응성 향상에 초점을 맞춘 기본 GPT-5 이후 첫 번째 중요한 반복으로 2025년 11월 12일 OpenAI에 의해 발표되었습니다. 이 모델은 빠른 모드(GPT-5.1 Instant)와 심층 추론(GPT-5.1 Thinking)을 갖춘 통합 시스템을 유지하면서, 적응형 추론(adaptive reasoning)을 도입했습니다. 모델은 요청의 복잡성에 따라 동적으로 계산량을 결정하여 단순한 작업에서는 품질 손실 없이 복잡한 작업에 비해 눈에 띄게 빠릅니다.

GPT-5.1의 학습은 GPT-5를 기반으로 구축되었으며, 확장된 RLHF, 자연스러운 어조에 대한 초점 및 응답의 "차가움" 감소를 포함하는 추가적인 사후 학습 단계를 포함했습니다. API에서 컨텍스트 창은 400,000 token이며, 최대 출력은 128,000 token입니다. 최대 24시간의 확장된 프롬프트 캐싱 지원이 추가되어 다단계 대화에서 비용과 지연 시간을 크게 줄입니다.

주요 특징:

• GPT-5.1 Instant — 일상적인 작업을 위한 주요 모드; 더 복잡한 요청에 응답하기 전에 "생각"이 필요한지 결정하기 위해 adaptive reasoning을 처음으로 사용.
• GPT-5.1 Thinking — 추론에 대한 적응형 시간 할당; OpenAI에 따르면 ChatGPT 작업의 대표적 분포에서 이 모델은 GPT-5 Thinking에 비해 가장 단순한 작업에서는 약 두 배 빠르고 가장 어려운 작업에서는 약 두 배 느립니다.
• 향상된 멀티모달리티(텍스트 + vision).
• coding 및 agentic 시나리오 개선, adaptive reasoning 및 extended prompt caching을 통한 단순 작업 효율성 향상.

GPT-5.2

GPT-5.2 모델은 2025년 12월 11일 "전문적 작업 및 학습을 위한 시리즈에서 가장 뛰어난 모델"로 출시되었습니다. 이것은 경제적 가치에 중점을 둔 GPT-5.1의 진화입니다: 표, 프레젠테이션, 복잡한 코드, end-to-end 작업 생성. Instant, Thinking 및 새로운 Pro 모드(최대 컴퓨팅과 추론 시간이 필요한 작업을 위한)를 갖춘 통합 아키텍처를 유지합니다.

학습에는 지식 마감 2025년 8월의 업데이트된 코퍼스, 강화된 instruction-tuning 및 다단계 시나리오에서의 오류 감소를 위한 RLHF가 포함되었습니다. 컨텍스트는 400K token(최대 출력 128K)입니다. 이 모델은 전문적 시나리오에서 더 신뢰할 수 있게 되었으며, 더 나은 사실적 정확성과 도구 사용이 가능해졌습니다.

GPT-5.2를 기반으로 2025년 12월 18일 특수화된 GPT-5.2-Codex가 출시되었습니다. 이는 개선된 컨텍스트 압축(context compaction), Windows 지원, 강화된 사이버 보안 및 long-horizon reasoning(몇 시간까지 소요되는 작업)을 갖춘 에이전트형 coding 모델입니다.

2026년 2월 13일 기준으로, 일부 이전 모델이 서비스 종료된 후 GPT-5.2는 일시적으로 ChatGPT의 기본 모델이 되었습니다. 그러나 2026년 3월 초에 이 역할은 GPT‑5.3 Instant와 GPT‑5.4로 넘어갔습니다.

GPT-5.3-Codex

GPT-5.3-Codex는 2026년 2월 5일 "현재까지 가장 강력한 에이전트형 coding 모델"로 발표되었습니다. 이것은 GPT-5.2-Codex의 frontier-coding 능력과 GPT-5.2의 전문적 reasoning을 단일 모델로 결합한 것으로, 전임 모델보다 25% 빠릅니다.

이 모델은 개발자의 거의 모든 작업을 수행할 수 있습니다: long-running 워크플로우, 연구, 도구 사용, 코드 실행, interactive steering(사용자가 컨텍스트 손실 없이 실시간으로 개입할 수 있음). 초기 버전의 모델은 OpenAI 팀이 자체 학습, 배포 및 평가 디버깅에 사용했습니다.

2026년 2월 5일 발표 당시 주요 결과: Terminal-Bench ~77.3%, OSWorld-Verified ~64.7%, SWE-Bench Pro ~56.8%. 2026년 3월 5일의 GPT-5.4 이후 릴리스에서 OpenAI는 원본 이미지 해상도를 보존하는 새로운 API 매개변수를 사용할 때 GPT-5.3-Codex에 대한 업데이트된 OSWorld-Verified 74.0% 결과를 제시했습니다.

2026년 2월 12일 OpenAI는 또한 GPT-5.3-Codex-Spark를 출시했습니다. 이는 실시간을 위해 최적화된 Cerebras와의 파트너십으로 만든 컴팩트한 ultra-fast 버전입니다: 초당 1000 token 이상, text-only, 128K 컨텍스트. 출시 당시 이것은 광범위하게 사용 가능한 API 모델이 아닌 Codex의 ChatGPT Pro 사용자 및 소수의 API 디자인 파트너를 위한 롤아웃이었습니다.

GPT-5.4

2026년 3월 5일 OpenAI는 GPT‑5.4를 전문적인 작업을 위한 새로운 frontier 모델로 발표했습니다. GPT‑5.4는 reasoning, coding 및 agentic 워크플로우에서 OpenAI 최신 릴리스의 강점을 결합하고, 주요 라인업에서 처음으로 내장된 computer use 기능을 얻었습니다. 동시에 OpenAI는 더 많은 컴퓨팅과 더 긴 추론을 사용하는 가장 복잡한 작업을 위한 변형인 GPT‑5.4 Pro를 출시했습니다.

API에서 모델 gpt-5.4는 광범위한 general-purpose 및 coding 작업에 대한 기본 권장 모델로 설명됩니다; 컨텍스트 창은 1,050,000 token이며, 최대 출력은 128,000 token입니다. 이 모델은 텍스트와 이미지를 입력으로 받고 텍스트를 출력합니다.

ChatGPT에서 Auto 모드는 2026년 3월 7일 기준으로 GPT‑5.3 Instant와 GPT‑5.4 Thinking 사이를 자동으로 전환하며, GPT‑5.4 Pro는 별도의 고성능 모드로 제공됩니다. 로그인한 ChatGPT 사용자의 기본 모델은 GPT‑5.3입니다.

GPT 모델의 발전

GPT 모델의 발전

세대	출시 연도	매개변수 수	텍스트 코퍼스 크기	주요 특징
GPT-1	2018	≈117–124 백만	≈5 GB (BooksCorpus)	대규모 코퍼스에 대한 생성적 사전 학습; 2단계 학습(pre-training + fine-tuning)
GPT-2	2019	15억	≈40 GB (WebText)	상당히 향상된 텍스트 생성; 강력한 zero-shot 동작 시연; 초기에 부분 모델 공개
GPT-3	2020	1,750억	≈570 GB (Common Crawl, WebText2 등)	대규모 in-context learning; fine-tuning 없는 뚜렷한 few-shot 및 zero-shot 학습 능력
GPT-3.5	2022	비공개(davinci 버전은 추정 ~1,750억)	>570 GB + 추가 코퍼스 및 instruction tuning	향상된 안정성 및 명령어 수행; 초기 ChatGPT 버전의 기반
GPT-4	2023	비공개	비공개	멀티모달리티(텍스트 + 이미지); 향상된 정확도 및 환각 저항성; 8k/32k token 컨텍스트
GPT-4 Turbo	2023	비공개	GPT-4 학습 기반(세부 정보 비공개)	128,000 token으로 컨텍스트 확장; 생성 속도 및 비용 최적화
GPT-4o	2024	비공개	멀티모달 데이터(텍스트, 이미지, 오디오)	통합 신경망 멀티모달 처리; 높은 응답 속도
GPT-4.5	2025	비공개	확장된 텍스트 및 멀티모달 코퍼스	GPT-4o 기반 연구 프리뷰; 오류 감소; 2026년까지 deprecated
GPT-4.1	2025	비공개	업데이트된 코퍼스	최대 1,047,576 token 컨텍스트; 텍스트 + 이미지 입력, 텍스트 출력
GPT-5	2025 (8월)	비공개	대규모 멀티모달 코퍼스	빠른 응답 및 추론 모드를 갖춘 통합 시스템; ~400K token 컨텍스트; 환각 감소
GPT-5.1	2025 (11월)	비공개	확장된 GPT-5 코퍼스 + RLHF	적응형 reasoning; 24시간 prompt caching; coding 개선
GPT-5.2	2025 (12월)	비공개	지식 마감 2025년 8월	Pro 모드; 전문적 knowledge work; GPT-5.2-Codex(에이전트형 coding)
GPT-5.3-Codex	2026 (2월)	비공개	업데이트된 + self-improvement 데이터	25% 빠름; full-spectrum 에이전트; interactive steering
GPT-5.3-Codex-Spark	2026 (2월)	비공개	컴팩트	Cerebras에서 >1000 t/s; 실시간 coding; 128K 컨텍스트
GPT-5.3 Instant	2026 (3월)	비공개	비공개	ChatGPT에서 가장 많이 사용되는 대화 모델 업데이트; factuality, web search 및 대화 흐름 개선
GPT-5.4	2026 (3월)	비공개	비공개	전문적 작업을 위한 새로운 frontier 모델; native computer use; general-purpose 및 대부분의 coding 작업에 대한 API 기본 모델
GPT-5.4 Pro	2026 (3월)	비공개	비공개	가장 복잡한 작업을 위해 더 많은 컴퓨팅을 사용하는 GPT-5.4 변형

GPT 모델의 아키텍처 매개변수

GPT 모델의 아키텍처 매개변수

모델	출시 연도	매개변수 수	레이어 수	숨겨진 상태 크기	어텐션 헤드 수	컨텍스트 창	학습 코퍼스 크기
GPT-1	2018	≈117–124 백만	12	768	12	512 token	≈5 GB (BooksCorpus)
GPT-2	2019	15억	48	1,600	25	1,024 token	≈40 GB (WebText)
GPT-3	2020	1,750억	96	12,288	96	2,048 token	≈570 GB (Common Crawl + WebText2 + 기타)
GPT-3.5	2022	비공개(davinci 버전은 추정 ~1,750억)	(추정상 GPT-3에 근접)	(추정상 GPT-3에 근접)	(비공개)	최대 4,096 token(초기); 최대 16,385 token(후기)	확장된 Common Crawl + 추가 데이터셋 및 instruction tuning
GPT-4	2023	비공개	(비공개)	(비공개)	(비공개)	8,192 token(기본); 32,768(GPT-4-32k)	비공개
GPT-4 Turbo	2023	(비공개)	(비공개)	(비공개)	(비공개)	최대 128,000 token	최적화된 GPT-4 버전(코퍼스 세부 정보 비공개)
GPT-4o	2024	(비공개)	(비공개)	(비공개)	(비공개)	최대 128,000 token	멀티모달 데이터: 텍스트, 이미지, 오디오
GPT-4.5	2025	(비공개)	(비공개)	(비공개)	(비공개)	최대 128,000 token	업데이트된 텍스트 및 멀티모달 코퍼스
GPT-4.1	2025	(비공개)	(비공개)	(비공개)	(비공개)	최대 1,047,576 token	멀티모달리티; 긴 컨텍스트에 중점을 둔 대규모 학습
GPT-5	2025	(비공개)	(비공개)	(비공개)	(비공개)	최대 ≈400,000 token(총 컨텍스트)	대규모 멀티모달 코퍼스(세부 정보 비공개)
GPT-5.4	2026	(비공개)	(비공개)	(비공개)	(비공개)	1,050,000 token; 128,000 최대 출력	비공개

참고 링크

• «Improving language understanding with unsupervised learning», OpenAI, 2018년 6월 11일
• «Better language models and their implications», OpenAI, 2019년 2월 14일
• «GPT-2: 6-month follow-up», OpenAI, 2019년 8월 20일
• «GPT-2: 1.5B release», OpenAI, 2019년 11월 5일
• «Language models are few-shot learners», OpenAI, 2020년 5월 28일
• «OpenAI API», OpenAI, 2020년 6월 11일
• «Introducing ChatGPT», OpenAI, 2022년 11월 30일
• «Function calling and other API updates», OpenAI, 2023년 6월 13일
• «GPT-4», OpenAI, 2023년 3월 14일
• «New models and developer products announced at DevDay», OpenAI, 2023년 11월 6일
• «Hello GPT-4o», OpenAI, 2024년 5월 13일
• «Introducing GPT-4.1 in the API», OpenAI, 2025년 4월 14일
• «Introducing GPT-4.5», OpenAI, 2025년 2월 27일
• «Introducing GPT-5», OpenAI, 2025년 8월 7일
• «GPT-5.1: A smarter, more conversational ChatGPT», OpenAI, 2025년 11월 12일
• «Introducing GPT-5.2», OpenAI, 2025년 12월 11일
• «Introducing GPT-5.2-Codex», OpenAI, 2025년 12월 18일
• «Introducing GPT-5.3-Codex», OpenAI, 2026년 2월 5일
• «Introducing GPT-5.3-Codex-Spark», OpenAI, 2026년 2월 12일
• «GPT-5.3 Instant: Smoother, more useful everyday conversations», OpenAI, 2026년 3월 3일
• «Introducing GPT-5.4», OpenAI, 2026년 3월 5일
• «Using GPT-5.4», OpenAI Developers
• «Models», OpenAI API
• «Deprecations», OpenAI API
• «GPT-5.3 and GPT-5.4 in ChatGPT», OpenAI Help Center
• «Retiring GPT-4o and other ChatGPT models», OpenAI Help Center

참고 문헌

• Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. PDF.
• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Bai, Y. et al. (2022). Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. arXiv:2204.05862.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.