Neural Text Degeneration — 신경망 텍스트 퇴화

신경망 텍스트 퇴화(영어: Neural Text Degeneration), 또는 신경망 생성 시 텍스트 변질이라고도 하며, 이는 신경망 언어 모델의 텍스트 생성에서 나타나는 병리적 현상의 한 유형이다. 이 현상이 발생하면 출력이 비자연적으로 변하며, 과도하게 반복적이거나 틀에 박히거나 내용이 빈약해지거나 일관성을 잃게 된다. 이 용어는 Ari Holtzman 및 공저자들의 논문 The Curious Case of Neural Text Degeneration (2019; ICLR 2020) 발표 이후 널리 사용되었으며, 해당 논문에서는 가능도를 직접 최대화하는 방식에 기반한 디코딩 전략이 개방형 텍스트 생성 작업에서 종종 낮은 품질의 결과를 산출함을 보였다.

간단한 설명

신경망 텍스트 퇴화는 모델이 형식적으로는 텍스트를 계속 생성하지만, 자연스러운 언어의 관점에서 볼 때 그 결과가 좋지 않은 상황을 가리킨다.

일반적으로 이는 다음과 같이 나타난다:

• 모델이 동일한 단어나 구문을 반복하기 시작한다;
• 텍스트가 지나치게 틀에 박히고 '생기 없는' 상태가 된다;
• 응답이 의미적 일관성을 잃는다;
• 이어지는 내용에 무작위적이거나 부적절한 단어들이 포함되기 시작한다.

다시 말해, 모델이 지나치게 «신중해져» 항상 동일한 것을 선택하거나, 반대로 너무 많은 자유를 부여받아 약하고 노이즈가 많은 이어 쓰기를 끌어오기 시작한다. 두 경우 모두 텍스트가 자연스러운 인간의 언어와 닮지 않게 된다.

연구의 역사

이 문제는 2019년 Holtzman 및 공저자들에 의해 개방형 텍스트 생성, 특히 이야기, 자유로운 이어 쓰기, 대화형 응답 분야를 중심으로 상세히 정식화되었다. 저자들은 탐욕적 탐색(greedy search)과 빔 탐색(beam search) 같은 확률 최대화 지향 디코딩 방법들이 개방형 작업에서 비자연적이고 반복적이며 내용이 빈약한 시퀀스를 자주 생성함을 보였다.

같은 논문에서 반대 접근법, 즉 잘림 없는 순수 확률적 샘플링도 문제가 있음을 보였다. 모델이 확률 분포의 '신뢰할 수 없는 꼬리'에서 토큰을 선택할 수 있기 때문이다. 이는 일관성을 저하시키고 무작위적이고 부적절하게 맞아떨어지지 않는 이어 쓰기의 위험을 높인다.

이후 연구들은 이 설명을 더욱 정교하게 다듬고 확장하였다. 특히 Finlayson 및 공저자들은 잘림 방법(예: Top-p)이 종종 텍스트 변질을 줄이는 데 왜 도움이 되는지에 대한 이론적 해석을 제시하였다. 꼬리 부분을 잘라냄으로써 모델이 특히 신뢰할 수 없는 토큰을 피할 수 있게 된다는 것이다.

Meister 및 공저자들은 추가적으로 퇴화 문제를 국소적 전형성(local typicality) 위반과 연결지었다. 인간의 텍스트는 일반적으로 각 다음 토큰의 확률을 단순히 최대화하는 것이 아니라, 기대 조건부 엔트로피에 가까운 정보 내용을 유지하는 경향이 있다.

주요 발현 양상

신경망 텍스트 퇴화는 명백한 반복의 형태뿐 아니라, 의미적 빈곤화부터 일관성의 점진적 붕괴까지 더욱 숨겨진 형태로도 나타날 수 있다. 겉으로 이런 텍스트들은 문법적으로 올바른 상태를 유지하는 경우가 많지만, 다양성, 정보성 및 사고 전개의 안정성 면에서 자연스러운 인간의 언어와 눈에 띄게 달라지기 시작한다.

반복과 루프화

가장 잘 알려진 형태는 토큰, 구문 또는 통사 구조 전체의 반복이다. 텍스트가 '맴돌기' 시작하며 거의 동일한 이어 쓰기를 반복해서 추가한다.

이러한 변질은 여러 수준에서 나타날 수 있다:

• 개별 단어의 반복으로;
• 동일한 구문의 강박적 재현으로;
• 동일한 생각으로의 순환적 회귀로;
• 최소한의 변화만을 가진 동일한 통사 구조의 반복적 복사로.

반복이 종종 자기 강화적이 된다는 점이 특히 두드러진다. 한 번 등장한 구조가 스스로를 강화하기 시작하는데, 이는 모델이 이미 생성된 단편에 계속 의존하여 약간 변형된 형태로 다시 재현하기 때문이다. 결과적으로 텍스트는 앞으로 나아가는 것처럼 보이지만, 실제로는 내용상 더 이상 발전하지 않게 된다.

틀에 박힌 내용과 내용 빈곤화

명백한 순환이 없더라도 모델은 지나치게 예측 가능하고 내용이 빈약한 텍스트를 출력할 수 있다. 이러한 출력은 문법적으로 올바르게 유지되지만 진부하고 단조로우며 정보 내용이 빈약해진다.

이 형태의 변질에서 텍스트는 보통 '올바르게' 보이지만 지나치게 안전하고 평균적인 인상을 준다. 모델은 가장 예상 가능한 단어와 표현을 선호하여:

• 어휘 다양성이 감소하고;
• 동일한 언어적 클리셰가 더 자주 반복되며;
• 덜 명백하지만 더 내용 있는 표현들이 사라지고;
• 텍스트가 형식상 더 매끄러워지지만 의미적으로 더 빈약해진다.

바로 이 때문에 퇴화가 항상 명백한 오류처럼 보이지는 않는다. 때로는 지나치게 예측 가능하고, «단조롭고» 공허한 텍스트로 나타나는데, 이는 형식적으로는 올바르게 작성되었지만 거의 새로운 정보를 제공하지 않는다.

일관성 상실

과도한 무작위성이나 분포 꼬리에 대한 약한 통제가 있을 때, 생성된 텍스트는 국소적 문법 정확성을 유지하면서도 전반적인 의미적 일관성을 잃을 수 있다. 텍스트에 부적절한 단어, 갑작스러운 주제 전환, 논리적 단절이 등장하기 시작한다.

이런 상황에서 인접한 구문들은 개별적으로는 허용 가능해 보일 수 있으나, 그들 사이의 인과적, 주제적, 논리적 연결이 약해진다. 이는 다음과 같이 나타난다:

• 문장이 문법적으로는 올바르지만 이전 문장과 연결이 약하고;
• 생각이 명확한 전환 없이 갑자기 방향을 바꾸며;
• 텍스트에 국소적으로는 허용 가능하지만 문맥적으로는 부적절한 이어 쓰기가 등장하고;
• 전반적인 논증의 흐름이 느슨하고 불안정해진다.

다시 말해, 모델은 개별 구문 수준에서는 국소적 매끄러움을 유지할 수 있지만, 전체 단락이나 긴 응답의 수준에서는 전반적 일관성을 잃는다.

의미적 드리프트

또 다른 변질의 형태는 점진적 의미 이탈로, 텍스트가 즉각적으로 무너지는 것이 아니라 원래의 주제, 과제 또는 서사의 흐름에서 천천히 벗어나는 것이다.

명백한 비일관성과 달리, 여기서 퇴화는 점진적으로 진행된다:

• 모델이 관련 있는 응답으로 시작하고;
• 그런 다음 점점 더 일반적이거나 약하게 연결된 세부 사항들을 추가하며;
• 그 후 원래 주제가 흐려지고;
• 마지막에는 텍스트가 형식적으로는 매끄럽게 유지되지만 이미 원래 요청에 제대로 답하지 못하게 된다.

이러한 드리프트는 긴 생성에서 특히 두드러진다. 모델이 반드시 루프에 빠지는 것은 아니지만, 단계적으로 주제적 규율을 잃어, 이어 쓰기가 진정으로 관련성 있기를 멈추게 된다.

정보성 감소

변질은 반복뿐 아니라 텍스트가 새로운 정보를 추가하기를 멈추는 형태로도 나타날 수 있다. 모델이 계속 생성하지만, 출력의 의미적 '밀도'가 감소하여 이어 쓰기가 내용상 공허해진다.

이런 텍스트에서는 단어와 문장이 계속 쌓이지만 의미적 진전이 느려진다. 새로운 구문들이:

• 이미 말한 것을 재표현하고;
• 최소한의 새로운 사실을 추가하며;
• 구체적인 내용을 일반적인 말로 대체하고;
• 내용의 비교 가능한 성장 없이 텍스트의 부피를 유지한다.

이것은 특히 중요한데, 이러한 퇴화가 명백한 반복보다 덜 눈에 띄어 보일 수 있기 때문이다. 텍스트가 '정상적'으로 보이지만, 주의 깊게 읽으면 주로 같은 생각을 다른 말로 반복하고 있음을 알 수 있다.

명백한 오류 없는 숨겨진 퇴화

모든 신경망 퇴화가 심각한 결함처럼 보이는 것은 아니다. 경우에 따라 텍스트에 명백한 루프, 날카로운 논리적 단절 또는 명백한 '노이즈'가 없더라도, 자연스러운 인간의 글쓰기에서 여전히 눈에 띄게 벗어날 수 있다.

이러한 숨겨진 형태는 다음의 조합으로 나타난다:

• 과도한 예측 가능성;
• 구문의 단조로운 리듬;
• 안전하지만 약한 표현;
• 예상치 못함, 뉘앙스, 의미적 깊이의 부재.

바로 이 때문에 신경망 텍스트 퇴화는 루프화에만 국한되지 않는다. 이는 명백한 반복에서부터 텍스트가 형식적으로는 올바른 상태를 유지하지만 다양성, 표현력, 내용적 가치를 잃는 미묘한 의미적 빈곤화에 이르기까지 더 넓은 범위의 증상을 포괄한다.

원인

학습과 디코딩 간의 불일치

언어 모델은 일반적으로 확률 분포에 따라 다음 토큰을 예측하도록 학습된다. 그러나 텍스트 생성 시, 텍스트는 종종 이 분포에서의 샘플링이 아니라 각 단계에서 또는 전체 시퀀스에 걸쳐 확률을 엄격하게 최대화하는 절차를 통해 추출된다. 학습 목표와 디코딩 규칙 사이의 이 차이는 개방형 작업에서 변질의 핵심 원인 중 하나이다.

분포의 '신뢰할 수 없는 꼬리'

반면에, 완전한 샘플링 자유도 역시 해로울 수 있다. 매우 낮은 확률의 토큰들도 일반적으로 0이 아닌 확률을 가지며, 그 중에는 약하거나 노이즈가 많거나 잘 맞지 않는 선택지가 많다. 모델이 이런 꼬리에서 토큰을 선택하면 이어 쓰기의 품질이 급격히 저하될 수 있다.

국소적 전형성 위반

Meister 및 공저자들은 퇴화 문제를, 자연스러운 텍스트가 일반적으로 각 다음 토큰의 확률을 단순히 최대화하는 것이 아니라 기대 조건부 엔트로피에 가까운 정보 내용을 유지하려 한다는 사실과 연결짓는다. 디코딩이 이 '전형성'에서 체계적으로 벗어날 때, 텍스트는 너무 진부해지거나 너무 노이즈가 많아질 수 있다.

디코딩 방법과의 관계

신경망 텍스트 퇴화는 언어 모델 자체의 품질뿐 아니라, 확률 분포에서 다음 토큰을 어떻게 선택하는지와 밀접하게 연관되어 있다. 동일한 확률 집합이라도 디코딩 전략에 따라 눈에 띄게 다른 결과를 낼 수 있다. 일부 방법은 반복과 틀에 박힘을 강화하고, 다른 방법은 다양성을 높이지만 일관성을 잃을 위험이 있으며, 또 다른 방법들은 이 두 극단 사이의 타협점을 찾으려 한다.

탐욕적 탐색과 beam search

탐욕적 탐색과 빔 탐색은 개방형 생성 작업에서 가장 높은 확률의 이어 쓰기를 체계적으로 선호하기 때문에 반복과 틀에 박힘에 특히 취약하다.

탐욕적 탐색의 경우, 모델은 각 단계에서 가장 높은 확률의 토큰 하나를 선택한다. 이 접근법은 과제가 비교적 좁은 범위의 올바른 답을 가질 때 잘 작동하지만, 자유로운 생성에서는 텍스트를 지나치게 예측 가능하게 만드는 경우가 많다. 모델이 반복해서 가장 '안전한' 이어 쓰기를 선택하여:

• 이미 선택된 구조를 반복하는 경향이 강화되고;
• 표현의 다양성이 줄어들며;
• 텍스트가 더 틀에 박히고 내용이 빈약해진다.

빔 탐색(beam search)은 가장 높은 확률의 여러 가설을 동시에 추적하기 때문에 탐색 공간을 부분적으로 확장한다. 그러나 개방형 텍스트 작업에서 이것이 퇴화를 항상 막아주는 것은 아니다. 오히려 가능도 최대화에 대한 전반적 지향 때문에, 너무 '올바르지만' 자연스럽지 않은 이어 쓰기를 체계적으로 선호할 수 있어 다음의 위험이 높아진다:

• 단조로움;
• 반복성;
• 과도하게 매끄럽지만 내용이 빈약한 텍스트.

다시 말해, 가장 높은 확률의 이어 쓰기를 너무 일관되게 선택하는 방법들은 국소적 예측 가능성에서는 이기지만, 긴 생성의 자연스러움에서는 진다.

순수 샘플링

엄격하게 제한되지 않은 샘플링은 다양성을 높이지만, 추가적인 필터 없이는 분포 꼬리의 약한 토큰을 더 자주 포착하여 텍스트의 일관성을 저하시킬 수 있다.

순수 샘플링에서는 다음 토큰이 모델의 전체 확률 분포에 따라 무작위로 선택된다. 탐욕적 탐색이나 beam search와 달리, 이 접근법은 모델에게 더 많은 자유를 주고 동일한 패턴에 너무 일찍 '고착'되는 것을 피하는 데 도움이 된다.

그러나 이 자유에는 부작용이 있다. 많은 토큰의 확률이 매우 낮더라도, 일반적으로 여전히 선택될 0이 아닌 확률을 가진다. 이 때문에 모델이 분포의 '꼬리'에서 이어 쓰기를 포착할 수 있으며, 거기에는 다음이 더 자주 나타난다:

• 무작위적이고 문맥적으로 약한 단어;
• 잘 맞지 않는 이어 쓰기;
• 국소적으로는 허용 가능하지만 텍스트의 전반적 일관성을 저하시키는 토큰.

결과적으로 순수 샘플링은 종종 틀에 박힘을 줄이지만, 동시에 텍스트를 덜 안정적으로 만든다. 텍스트는 다양하게 유지될 수 있지만 더 느슨하고 비일관적이거나 의미적으로 불안정해진다.

분포 잘림 방법

분포 잘림 방법, 특히 Top-p와 Top-k는 퇴화를 줄이는 실용적인 방법으로 제안되었다. 이들은 허용 가능한 토큰의 집합을 제한하여 부적절한 이어 쓰기의 확률을 낮춘다.

이러한 방법들의 일반적인 논리는 모델이 전체 어휘에서 다음 토큰을 선택하지 못하도록 하는 것이다. 대신, 분포 중 가장 그럴듯한 부분만 고려된다:

• Top-k는 가장 높은 확률의 고정된 수의 토큰만 남긴다;
• Top-p는 누적 확률이 설정된 임계값에 도달하는 동적 '핵심' 토큰을 남긴다.

이러한 제한은 모델이 신뢰할 수 없는 꼬리에서 너무 약한 이어 쓰기를 선택할 위험을 줄이지만, 매번 단 하나의 '최선의' 선택만 하도록 강요하지는 않는다. 덕분에 잘림 방법들은 종종 두 극단 사이의 중간 해결책이 된다:

• 너무 엄격한 최대화;
• 너무 자유롭고 노이즈가 많은 샘플링.

이후 Finlayson 및 공저자들은 이 효과성에 대해 더 엄격한 이론적 해석을 제시하였다. 그들은 truncation 방법이 진정한 텍스트 분포의 지지 집합에 속하지 않을 가능성이 높은, 즉 모델 관점에서 특히 신뢰할 수 없는 토큰들을 걸러내는 데 도움이 된다는 것을 보인다. 따라서 잘림은 단순한 공학적 휴리스틱 기법으로 볼 수 있을 뿐 아니라, 다음 토큰 선택 시 체계적 오류 확률을 줄이는 방법으로도 볼 수 있다.

현대적 전략

locally typical sampling 같은 최신 방법들은 생성 품질을 유지하면서 변질적 반복을 줄이고자 한다. 마찬가지로, contrastive search는 텍스트의 일관성을 희생하지 않으면서 다양성을 높이는 방법으로 제안되었다.

이러한 방법들은 문제가 단순히 얼마나 많은 토큰을 남길 것인가뿐 아니라, 어떤 토큰을 좋은 후보로 간주해야 하는가에도 있다는 생각을 발전시킨다.

Locally typical sampling은 단순히 높은 확률이 아니라, 토큰의 정보 내용이 기대 조건부 엔트로피에 얼마나 가까운지에 중점을 둔다. 이를 통해 모델이 다음과 같은 상황을 줄일 수 있다:

• 너무 진부하고 '공허한' 이어 쓰기를 선택하는 것;
• 변질적 반복에 갇히는 것;
• 명백한 루프 없이도 지나치게 예측 가능해지는 것.

Contrastive search는 다른 논리를 사용한다. 그럴듯한 상태를 유지하면서도 이미 생성된 문맥과 너무 유사하지 않은 이어 쓰기를 선택하고자 한다. 덕분에 모델이 단지 국소적으로 매우 높은 확률을 가진다는 이유로 동일한 구조를 강화할 가능성이 줄어든다.

고전적인 디코딩 전략과 비교할 때, 이러한 방법들은 단순히 선택을 제한하는 것이 아니라 선택 기준 자체를 긴 생성 품질, 즉 텍스트가 여러 문장이나 단락에 걸쳐 내용 있고 다양하며 일관되게 유지될 것인지에 대해 더 민감하게 만들려 한다.

디코딩 모드에 따른 의존성

신경망 퇴화와 디코딩 사이의 관계는 '좋은' 방법과 '나쁜' 방법의 대비로 단순화될 수 없다. 동일한 알고리즘이라도 각 단계에서 분포를 얼마나 엄격하게 또는 자유롭게 제한하느냐에 따라 다르게 작동할 수 있다.

일반적으로 세 가지 모드를 구분할 수 있다:

• 너무 엄격한 선택 — 모델이 거의 항상 가장 높은 확률의 토큰을 택하여 틀에 박힘과 반복이 강화된다;
• 너무 자유로운 선택 — 모델이 약한 이어 쓰기에 너무 광범위하게 접근하여 비일관성의 위험이 높아진다;
• 적당히 제한된 선택 — 모델이 다양성을 유지하되 충분히 신뢰할 수 있는 분포 내에 머문다.

바로 이 때문에 신경망 퇴화는 종종 모델 자체의 품질뿐 아니라 잘못된 디코딩 모드의 결과로 간주된다. 즉 너무 엄격하거나, 너무 느슨하거나, 특정 생성 작업과 잘 맞지 않는 모드의 결과다.

간단히 말하면, 변질은 두 극단에서 더 자주 발생한다. 모델이 가장 높은 확률의 단어만 너무 엄격하게 선택하거나, 반대로 너무 많은 자유를 얻어 무작위적으로 약한 이어 쓰기를 끌어오기 시작할 때다. 가장 안정적인 전략들은 보통 이 두 극단 사이 어딘가에 위치한다.

완화 방법

신경망 텍스트 퇴화를 완전히 제거할 수 있는 범용적인 방법은 없지만, 실제로는 그 가장 전형적인 발현, 특히 반복, 틀에 박힘, 일관성 상실, 분포 '노이즈성 꼬리' 포착 등을 현저히 줄일 수 있는 여러 방법이 개발되어 있다. 이 방법들은 다음 토큰의 선택을 어떻게 제한하느냐에 따라 다르다. 일부는 단순히 약한 선택지를 걸러내고, 다른 일부는 분포의 형태를 더 세밀하게 고려하며, 또 다른 일부는 일관성과 다양성을 직접적으로 균형 맞추려 한다.

분포 잘림

신경망 퇴화에 대응하는 가장 일반적인 방법은 다음 토큰의 선택을 전체 어휘가 아닌 가장 그럴듯한 부분으로만 제한하는 것이다. 바로 이것이 Top-p와 Top-k의 기반이다.

이러한 방법들의 핵심 아이디어는 모델이 모든 가능한 토큰 중에서 자유롭게 선택해서는 안 된다는 것이다. 분포의 상당 부분이 약하고 노이즈가 많거나 잘 맞지 않는 선택지가 모이는 '신뢰할 수 없는 꼬리'에 있기 때문이다. 잘림은 선택 공간을 인위적으로 좁혀서 생성이 갑자기 비일관성으로 치닫거나 붕괴되기 시작할 확률을 줄인다.

실제로 가장 잘 알려진 두 가지 방식이 사용된다:

• Top-k — 가장 높은 확률의 고정된 수의 토큰만 남긴다;
• Top-p (nucleus sampling) — 누적 확률이 설정된 임계값 $p$에 도달하는 동적 '핵심' 토큰을 남긴다.

이들의 공통적인 의미는 모델이 너무 많은 약한 이어 쓰기 중에서 선택하지 않도록 하는 것이다. Top-p는 현재 분포의 형태에 따라 허용 가능한 집합의 크기가 단계마다 달라지기 때문에 일반적으로 더 유연한 것으로 간주된다.

Finlayson 및 공저자들은 truncation 방법이 종종 왜 효과적인지에 대해 더 엄격한 해석을 제시하였다. 잘림이 텍스트의 '진정한' 분포의 지지 집합에 속하지 않을 수 있는, 즉 모델 관점에서 특히 신뢰할 수 없는 토큰들을 걸러내는 데 도움이 된다는 것이다. 따라서 이러한 방법들은 단순히 기계적으로 '꼬리를 자르는' 것이 아니라, 실제로 토큰 선택 단계에서 체계적 오류 확률을 줄인다.

간단히 말하면, 분포 잘림은 모델이 약하고 무작위적인 선택지 영역으로 너무 깊이 들어가지 않도록 돕는다. 덕분에 텍스트는 더 일관되고 자연스러우며 변질에 덜 취약하게 유지된다.

더 적응적인 샘플링 방법

Locally typical sampling, η-샘플링 및 관련 접근법들은 단순히 '꼬리를 잘라내는' 것이 아니라 현재 생성 단계의 분포 형태와 정보적 구조를 고려하려 한다.

단순한 잘림과 달리, 이러한 방법들은 토큰이 얼마나 높은 확률인지뿐 아니라 해당 문맥에 얼마나 전형적인지도 고려하려 한다. 이것이 중요한 이유는 퇴화가 너무 약한 토큰 때문만이 아니라, 너무 '안전하고' 진부한 이어 쓰기에 대한 과도한 선호 때문에도 발생하기 때문이다.

예를 들어, locally typical sampling은 토큰의 정보 내용이 기대 조건부 엔트로피에 얼마나 가까운지에 중점을 둔다. 다시 말해, 단순히 가장 높은 확률의 단어를 선택하는 것이 아니라, 해당 문맥에 대한 '정상적인' 정보성 수준에 더 잘 맞는 단어를 선택하려 한다. 이를 통해 다음을 줄일 수 있다:

• 변질적 반복;
• 과도한 틀에 박힘;
• 전반적 일관성을 유지하면서의 텍스트 의미적 빈곤화.

다른 적응적 방법들도 유사한 논리를 사용한다. 단순한 고정 잘림 대신, 현재 분포 상태에 맞게 조정하려 한다. 덕분에 모델이 두 극단에 빠질 가능성이 줄어든다:

• 지나치게 예측 가능하고 '평평해'지거나;
• 너무 약하고 노이즈가 많은 이어 쓰기를 포착하거나.

이러한 방법들은 일반적으로 Top-k나 Top-p보다 해석하고 조정하기가 더 어렵지만, 문제가 명백한 비일관성이 아니라 정보성 상실과 언어적 패턴 반복에 있는 미묘한 퇴화 형태를 더 잘 처리할 수 있다.

간단히 말하면, 더 적응적인 방법들은 단순히 약한 단어를 제거하는 것이 아니라, 의미와 '자연스러움' 면에서 현재 문맥에 더 잘 맞는 이어 쓰기를 남기려 한다.

Contrastive search

Contrastive search와 유사한 방법들은 일관성과 다양성을 동시에 유지하면서, strictly maximization-based decoding에서 자주 발생하는 반복을 줄이고자 한다.

Contrastive 접근법의 아이디어는 다음 토큰의 확률에만 의존하지 않는다는 것이다. 대신, 후보 선택이 두 가지 요구 사항 사이의 타협으로 이루어진다:

• 이어 쓰기가 충분히 그럴듯해야 한다;
• 이어 쓰기가 이미 생성된 문맥과 너무 유사해서는 안 되며, 그렇게 반복을 강화해서도 안 된다.

덕분에 contrastive search는 형식적으로는 매우 높은 확률을 가지지만 실제로는 루프화, 틀에 박힘 또는 지나치게 단조로운 생성으로 이어지는 이어 쓰기를 억제하려 한다. 순수 샘플링과 달리, 이 접근법은 무작위성을 변질에 대한 주요 대응 메커니즘으로 도입하지 않고, 충분히 그럴듯하지만 덜 변질적인 이어 쓰기를 의도적으로 선택하려 한다.

이러한 방법들이 특히 중요한 이유는 고전적인 maximization-based 전략들이 종종 높은 국소적 신뢰도를 제공하지만 텍스트의 자연스러움으로 그 대가를 치르기 때문이다. Contrastive search는 결정론적 선택의 강점인 일관성과 안정성을 유지하면서 동시에 반복과 단조로움을 줄이려 한다.

간단히 말하면, contrastive search는 단순히 가장 높은 확률이라는 이유만으로 이어 쓰기를 선택하지 않으려 한다. 텍스트가 루프에 빠지거나 너무 틀에 박히지 않도록 지나치게 단조로운 선택지에 추가적인 '페널티'를 부여한다.

작업에 맞는 전략 선택

최신 연구들은 범용적인 방법이 없다는 점을 강조한다. 특정 디코딩 전략의 효과성은 작업 유형, 모델 크기, 정렬 방식 및 기타 요인에 따라 달라진다. 대화형 생성이나 에세이에 잘 작동하는 것이 코드, 수학 또는 기타 결정론적 영역에서는 덜 효과적일 수 있다.

이는 신경망 퇴화와의 싸움이 단순히 '최선의' 알고리즘을 선택하는 것이 아니라, 방법을 작업 유형에 맞추는 것임을 의미한다. 개방형 생성(이야기, 대화, 긴 응답)에서는 샘플링 방법과 더 유연한 선택 방식이 종종 다양성과 자연스러움을 유지하는 데 도움이 된다. 프로그래밍, 수학 또는 단일한 정답이 있는 작업 같은 더 엄격하고 결정론적인 작업에서는 반대로 너무 공격적인 확률성이 결과의 품질을 저하시킬 수 있다.

Shi 및 공저자들은 또한 최종 결과가 디코딩 전략 자체뿐 아니라 다음에도 영향받음을 보였다:

• 모델 크기;
• 정렬 정도;
• 하이퍼파라미터 민감성;
• 배포 환경 및 추론 제약.

여기서 중요한 실용적 결론이 도출된다. 동일한 방법이 한 구성에서는 강하게 보이고 다른 구성에서는 눈에 띄게 약할 수 있다. 따라서 실제로 신경망 퇴화를 완화하려면 하나의 '범용적' 방법에 의존하는 것이 아니라, 파라미터 조정과 특정 작업 유형에 대한 검증이 거의 항상 필요하다.

간단히 말하면, 좋은 디코딩 방법은 모델이 정확히 무엇을 하느냐에 따라 달라진다. 자유로운 텍스트에는 한 가지 방법이, 코드, 수학 및 기타 정확한 작업에는 다른 방법이 더 효과적이다.

방법의 조합

실제로 완화 방법들은 종종 개별적으로가 아니라 서로 조합하여 적용된다. 예를 들어, 분포 잘림이 온도와 함께 사용되거나, 더 복잡한 전략들이 토큰 선택에 대한 추가적인 제약과 결합될 수 있다.

이러한 조합의 의미는 기능을 나누는 것이다:

• 하나의 메커니즘이 전반적인 다양성 수준을 설정하고;
• 다른 하나가 '노이즈성 꼬리'를 제한하며;
• 세 번째가 반복이나 틀에 박힘의 위험을 줄인다.

그러나 동시에 조정되는 메커니즘의 수가 증가하면 모델 동작에 대한 통제가 복잡해진다. 따라서 더 복잡한 방식이 항상 더 높은 품질의 결과를 의미하지는 않는다. 이점은 종종 하이퍼파라미터가 얼마나 잘 조정되었는지와 특정 조합이 작업에 얼마나 잘 맞는지에 따라 달라진다.

다시 말해, 신경망 퇴화 완화는 대부분 하나의 '마법적인' 방법에 기반하지 않고, 각각 문제의 일부를 해결하는 여러 제약의 신중한 조합에 기반한다.

Model collapse와 혼동하지 말 것

Holtzman 및 공저자들이 말하는 신경망 텍스트 퇴화를 model collapse와 혼동해서는 안 된다. model collapse는 합성 데이터로 모델을 재귀적으로 학습시키는 연구에서 연구되는 별개의 현상이다.

첫 번째 경우는 주로 생성(inference) 단계에서의 텍스트 변질을 다루며, 잘못된 디코딩 전략이 반복, 틀에 박힘 또는 일관성 상실로 이어지는 것이다. 두 번째 경우는 학습 단계에서의 모델 퇴화로, 모델이 생성한 데이터가 다음 세대 모델의 학습 데이터를 '오염'시키기 시작하여 희귀 사건이 사라지고 분포가 좁아질 수 있는 것이다.

이 현상들은 두 가지 모두 신경망 텍스트 품질 저하와 관련되어 있다는 점에서 주제적으로 연관되어 있지만, 문헌에서는 일반적으로 서로 다른 문제로 다루어진다. 하나는 디코딩과 관련되고, 다른 하나는 데이터와 학습과 관련된다.

대형 언어 모델에서의 의미

대형 언어 모델의 시대에 신경망 퇴화 문제는 사라지지 않고, 소규모 텍스트 생성기 영역에서 더 강력한 시스템의 동작 관리 영역으로 이동했다. 현대의 LLM은 일반적으로 더 잘 정렬되어 있고 심각한 반복 루프에 빠지는 경우가 줄었지만, 디코딩 전략의 선택은 여전히 출력의 자연스러움, 다양성, 안정성에 눈에 띄는 영향을 미친다.

이 때문에 신경망 텍스트 퇴화는 초기 언어 모델의 좁은 결함이 아니라 실용적인 생성의 근본적인 문제로 간주된다. 좋은 확률적 모델링이 그 자체로 추론(inference) 단계에서 좋은 텍스트를 보장하지는 않는다.

같이 보기

• Top-p 샘플링
• Top-k 샘플링
• 온도
• 대형 언어 모델

참고 문헌

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; ICLR 2020 발표). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.