Encoder-only models — 인코더 전용 모델
인코더 전용 모델 (영어: Encoder-Only Models) — 대형 언어 모델(LLM) 아키텍처의 한 유형으로, Transformer 아키텍처의 인코딩 부분(인코더)만을 사용합니다. 디코더 또는 인코더-디코더 전체 아키텍처를 사용하는 모델과 달리, 이 모델들은 자연어 이해(Natural Language Understanding, NLU) 작업에 특화되어 있습니다.
이 접근 방식의 선구자이자 대표 모델은 2018년 Google이 개발한 BERT (Bidirectional Encoder Representations from Transformers)입니다.
개념 및 아키텍처
인코더 전용 모델의 핵심 아이디어는 입력 시퀀스의 각 token에 대해 깊이 있는 문맥화된 표현(embedding)을 생성하는 것입니다. Transformer의 자기 주의(self-attention) 메커니즘 덕분에, 각 token은 시퀀스 내 모든 다른 token을 "보고" 상호작용할 수 있어, 모델이 풍부한 문맥을 포착할 수 있습니다.
핵심 특징은 양방향성입니다. 각 token의 표현은 왼쪽과 오른쪽 문맥을 동시에 기반으로 형성됩니다. 이는 본질적으로 단방향인 자기회귀적 디코더 전용 모델(GPT 등)과 근본적으로 다른 점입니다.
아키텍처상으로, 모델은 개의 동일한 인코더 레이어로 구성된 스택으로 이루어집니다. 각 레이어는 두 가지 주요 서브레이어로 구성됩니다:
- 다중 헤드 자기 주의(Multi-Head Self-Attention): 각 token에 대한 문맥화된 표현을 계산합니다.
- 완전 연결 신경망(Feed-Forward Network): 각 token 표현에 비선형 변환을 적용합니다.
모델의 출력으로는 입력 시퀀스와 동일한 길이의 벡터 시퀀스가 생성되며, 각 벡터는 대응하는 입력 token의 풍부한 표현입니다.
사전 학습 작업
모델이 양방향 문맥에서 언어를 이해하도록 학습시키기 위해, 특수한 자기지도(self-supervised) 사전 학습 작업이 사용됩니다.
마스킹 언어 모델링(Masked Language Modeling, MLM)
이는 인코더 전용 모델의 가장 핵심적인 작업으로, BERT에서 처음 소개되었습니다.
- 작동 원리: 입력 시퀀스에서 소수의 token(일반적으로 15%)이 무작위로 숨겨(마스킹)집니다. 모델의 과제는 주변의 양방향 문맥을 활용하여 마스킹된 token의 원래 값을 예측하는 것입니다.
- 목적: 이 작업은 모델로 하여금 단어 간의 깊은 의미론적·통사론적 관계를 학습하도록 유도합니다.
다음 문장 예측(Next Sentence Prediction, NSP)
이 작업(역시 원본 BERT에서 도입)은 모델이 문장 간의 관계를 이해하도록 학습시키기 위해 설계되었습니다.
- 작동 원리: 모델에 문장 쌍이 입력되고, 두 번째 문장이 원문에서 첫 번째 문장의 논리적 이어지는 문장인지 판별해야 합니다.
- 현황: 이후 연구(예: RoBERTa 모델)에서 NSP는 MLM보다 효과가 낮다는 것이 밝혀졌으며, 다른 작업으로 대체되거나 완전히 제거되는 경우가 많습니다.
활용 분야
인코더 전용 모델은 자기회귀적 디코더가 없기 때문에 자유로운 텍스트 생성에는 적합하지 않습니다. 이 모델의 강점은 텍스트 분석과 이해에 있습니다. 모델의 출력 벡터 표현은 다양한 NLU 작업에 활용됩니다.
- 텍스트 분류: 감성 분석이나 주제 분류 같은 작업에는, 각 시퀀스의 맨 앞에 추가되는 특수 token `[CLS]`의 표현이 사용됩니다. 이 token의 최종 벡터는 전체 시퀀스 정보를 집약합니다.
- Token 분류: 개체명 인식(NER)이나 품사 태깅(POS-tagging) 같은 작업에는 각 개별 token의 벡터 표현이 사용됩니다.
- 질의 응답(Question Answering): 주어진 텍스트에서 답변을 추출하는 방식의 질의 응답(extractive QA)에서, 모델은 답변의 시작 및 종료 token을 예측하도록 학습됩니다.
- Embedding 추출: 인코더 모델은 고품질 문장 또는 문서 embedding을 얻기 위한 범용 텍스트 인코더로 자주 활용되며, 이는 검색 시스템이나 의미적 유사도 작업에 사용될 수 있습니다.
주요 모델과 발전 과정
- BERT (2018): 아키텍처의 선구자로, 다수의 NLP benchmark에서 새로운 기록을 수립했습니다.
- RoBERTa (2019): '견고하게 최적화된 BERT'. 더 많은 데이터로 더 오래 학습하고 NSP 작업을 제거함으로써 BERT의 성능을 크게 향상시킬 수 있음을 보여주었습니다.
- ALBERT (2019): 'A Lite BERT'. embedding 인수분해 및 레이어 간 파라미터 공유 기법을 통해 파라미터 수를 대폭 줄인 모델입니다.
- DistilBERT (2019): 지식 증류(knowledge distillation)를 통해 만들어진 BERT의 경량화 버전으로, 더 빠르고 가볍지만 원본 성능의 대부분을 유지합니다.
- ELECTRA (2020): 보다 효율적인 사전 학습 작업인 replaced token detection을 도입했습니다. 모델이 소형 생성기 모델이 생성한 '가짜' token과 원본 token을 구별하도록 학습합니다.
- DeBERTa (2020): token의 내용과 상대적 위치를 별도로 인코딩하는 '분리된 주의(disentangled attention)' 메커니즘을 도입했습니다.
같이 보기
- BERT