Нейронна дегенерация на текст

Нейронна дегенерация на текст, също израждане на текст при нейронна генерация (англ. Neural Text Degeneration), — това е клас патологии на генерацията на текст в невронни езикови модели, при който изходът става неестествен: прекомерно повтарящ се, шаблонен, малосъдържателен или губи свързаност. Терминът придоби широко разпространение след работата на Ари Холцман и съавт. The Curious Case of Neural Text Degeneration (2019; ICLR 2020), в която беше показано, че стратегиите за декодиране, основани на пряка максимизация на правдоподобието, често дават некачествен резултат в задачите за отворена генерация на текст.

Просто обяснение

Нейронна дегенерация на текст — това е ситуация, при която моделът формално продължава текста, но го прави лошо от гледна точка на естествената реч.

Обикновено това изглежда така:

• моделът започва да повтаря едни и същи думи или фрази;
• текстът става прекалено шаблонен и „безжизнен";
• отговорът губи смислова свързаност;
• в продължението започват да попадат случайни или неудачни думи.

С други думи, моделът или става прекалено „предпазлив" и постоянно избира едно и също, или, обратното, получава твърде много свобода и започва да привлича слаби и шумови продължения. И в двата случая текстът престава да прилича на естествена човешка реч.

История на изучаването

Проблемът беше подробно формулиран от Холцман и съавт. през 2019 година върху материал от отворена генерация на текст — преди всичко истории, свободни продължения и диалогови отговори. Авторите показаха, че методите за декодиране, ориентирани към максимизация на вероятността, като жаден поиск (greedy search) и лъчев поиск (beam search), в отворените задачи нерядко водят до неестествени, повтарящи се и малосъдържателни последователности.

В същата работа беше показано, че и противоположният подход — чисто стохастично семплиране без отрязване — също е проблематичен, тъй като моделът може да избира токени от „ненадеждната опашка" на разпределението на вероятностите. Това влошава свързаността и повишава риска от случайни, лошо съгласувани продължения.

По-късни работи уточниха и разшириха това обяснение. По-специално, Finlayson и съавт. предложиха теоретична интерпретация на това защо методите за отрязване (например Top-p) често помагат за намаляване на израждането на текста: отрязването на опашката позволява да се избягват токени, за които моделът е особено ненадежден.

Meister и съавт. допълнително свързаха проблема с дегенерацията с нарушаването на локалната типичност: човешкият текст по правило се стреми да поддържа информационно съдържание, близко до очакваната условна ентропия, а не просто да максимизира вероятността на всеки следващ токен.

Основни прояви

Нейронната дегенерация на текст може да се прояви не само под формата на явни повторения, но и в по-скрити форми: от смислово обедняване до постепенно разпадане на свързаността. Внешно такива текстове нерядко остават граматически правилни, но започват забележимо да се отличават от естествената човешка реч по отношение на разнообразие, информативност и устойчивост на развитието на мисълта.

Повторения и зацикване

Най-известната форма — повтаряне на токени, фрази или цели синтактични конструкции. Текстът започва да „върви по кръг", добавяйки почти еднакви продължения отново и отново.

Такова израждане може да се проявява на различни нива:

• като повторение на отделни думи;
• като натрапчиво възпроизвеждане на една и съща фраза;
• като циклично връщане към една и съща мисъл;
• като многократно копиране на една и съща синтактична схема с минимални изменения.

Особено характерно е, че повторенията нерядко стават самоподдържащи се: веднъж възникналата конструкция започва да засилва сама себе си, тъй като моделът продължава да се опира на вече генерирания фрагмент и го възпроизвежда отново в слегка изменен вид. В резултат текстът може да запазва привидността на движение напред, но всъщност престава да се развива съдържателно.

Шаблонност и обедняване на съдържанието

Дори ако няма явни цикли, моделът може да издава прекалено предсказуем и малосъдържателен текст. Такъв изход остава граматически коректен, но става банален, еднообразен и беден по информационно съдържание.

В тази форма на дегенерация текстът обикновено изглежда „правилен", но прави впечатление на прекомерно безопасен и усреднен. Моделът предпочита най-очакваните думи и обороти, поради което:

• намалява лексикалното разнообразие;
• по-често се повтарят едни и същи речеви шаблони;
• изчезват по-малко очевидните, но по-съдържателни формулировки;
• текстът става по-гладък по форма, но по-беден по смисъл.

Точно затова дегенерацията не винаги изглежда като явна грешка: понякога тя се проявява като прекалено предсказуем, „равен" и празен текст, който формално е написан правилно, но почти не дава нова информация.

Загуба на свързаност

При прекомерна случайност или слаб контрол върху опашката на разпределението генерацията може да запазва локалната граматична правилност, но да губи общата смислова свързаност: в текста започват да попадат неуместни думи, неочаквани преходи на темата и логически разкъсвания.

В такава ситуация съседните фрази могат поотделно да изглеждат допустими, обаче между тях отслабват причинно-следствените, тематичните и логическите връзки. Това се проявява в това, че:

• изречението е граматически коректно, но слабо свързано с предишното;
• мисълта внезапно сменя посоката без ясен преход;
• в текста се появяват локално допустими, но контекстно неуместни продължения;
• общият ход на разсъжденията става рохкав и неустойчив.

С други думи, моделът може да запазва локална гладкост на нивото на отделните фрази, но да губи глобална свързаност на нивото на целия абзац или дълъг отговор.

Семантичен дрейф

Още една форма на израждане — постепенното изместване на смисъла, при което текстът не се срива моментално, а бавно се отдалечава от изходната тема, задача или нишка на повествованието.

За разлика от явната безсвързаност, тук деградацията се развива постепенно:

• моделът започва с релевантен отговор;
• след това добавя все по-общи или слабо свързани детайли;
• след това изходната тема се размива;
• накрая текстът може да остане формално плавен, но вече да отговаря слабо на изходната заявка.

Такъв дрейф е особено забележим при дълга генерация: моделът не задължително изпада в цикли, но стъпка по стъпка губи тематична дисциплина и продължението престава да бъде наистина релевантно.

Намаляване на информативността

Израждането може да се изрази не само в повторения, но и в това, че текстът престава да добавя нова информация. Моделът продължава да пише, но семантичната „плътност" на изхода намалява и продължението става празно по съдържание.

В такъв текст думите и изреченията продължават да се натрупват, но смисловото напредване се забавя. Новите фрази:

• преформулират вече казаното;
• добавят минимално количество нови факти;
• заменят конкретиката с общи думи;
• поддържат обема на текста без съпоставим ръст на съдържанието.

Това е особено важно, тъй като подобна деградация може да изглежда по-малко забележима от явните повторения: текстът изглежда „нормален", но при внимателно четене се оказва, че основно повтаря една и съща мисъл с различни думи.

Скрита дегенерация без явни сривове

Не всяка нейронна дегенерация изглежда като груба повреда. В редица случаи текстът не съдържа явни цикли, рязки логически прекъсвания или очевиден „шум", но въпреки това забележимо се отклонява от естественото човешко писане.

Тази скрита форма се проявява като съчетание от:

• прекомерна предсказуемост;
• еднотипен ритъм на фразите;
• безопасни, но слаби формулировки;
• липса на изненада, нюанси и смислова дълбочина.

Точно затова нейронната дегенерация на текст не се свежда само до зацикване. Тя обхваща по-широк спектър от симптоми — от явни повторения до тънко смислово обедняване, при което текстът остава формално правилен, но губи разнообразие, изразителност и съдържателна ценност.

Причини

Несъответствие между обучение и декодиране

Езиковите модели обикновено се обучават да предсказват следващия токен по вероятностно разпределение. Обаче при генерация текстът нерядко се извлича не като извадка от това разпределение, а с помощта на процедури, които жестко максимизират вероятността на всяка стъпка или по цялата последователност. Това различие между целите на обучението и правилата за декодиране е една от ключовите причини за израждане в отворените задачи.

„Ненадеждната опашка" на разпределението

От друга страна, пълната свобода на семплирането също може да бъде вредна. Дори много малко вероятните токени обикновено имат ненулева вероятност и сред тях се намират множество слаби, шумови или лошо съгласувани варианти. Ако моделът избере токен от такава опашка, качеството на продължението може рязко да се влоши.

Нарушаване на локалната типичност

Meister и съавт. свързват израждането с факта, че естественият текст обикновено поддържа информационно съдържание, близко до очакваната условна ентропия. Когато декодирането системно се отдалечава от тази „типичност", текстът може да стане или твърде банален, или твърде шумен.

Връзка с методите за декодиране

Нейронната дегенерация на текст е тясно свързана не само с качеството на самия езиков модел, но и с това, как именно от неговото вероятностно разпределение се избира следващият токен. Един и същ набор от вероятности може да дава забележимо различен резултат в зависимост от стратегията за декодиране: едни методи засилват повторенията и шаблонността, други — повишават разнообразието, но рискуват да загубят свързаността, трети се опитват да поддържат компромис между тези крайности.

Жаден поиск и beam search

Жаденият поиск и лъчевият поиск са особено склонни към повторения и шаблонност в задачите за отворена генерация, тъй като систематично предпочитат най-вероятните продължения.

В случая на жадения поиск моделът на всяка стъпка избира един-единствен най-вероятен токен. Такъв подход работи добре там, където задачата има сравнително тесен набор от коректни отговори, но в свободната генерация той често прави текста прекалено предсказуем. Моделът отново и отново избира най-„безопасните" продължения, поради което:

• засилва се склонността към повтаряне на вече избраните конструкции;
• намалява разнообразието на формулировките;
• текстът става по-шаблонен и беден по съдържание.

Лъчевият поиск (beam search) частично разширява пространството на търсене, тъй като проследява едновременно няколко най-вероятни хипотези. Обаче в задачите за отворен текст това не винаги спасява от израждане. Напротив, поради общата ориентация към максимизация на правдоподобието той също може систематично да предпочита твърде „правилни", но малоестествени продължения, което повишава риска от:

• еднообразие;
• повторяемост;
• прекомерно гладък, но малосъдържателен текст.

С други думи, методите, които твърде последователно избират най-вероятното продължение, често печелят в локална предсказуемост, но губят в естественост при дълга генерация.

Чисто семплиране

Нестриктно ограниченото семплиране повишава разнообразието, но без допълнителни филтри по-често улавя слаби токени от опашката на разпределението, което може да влошава свързаността на текста.

При чистото семплиране следващият токен се избира случайно в съответствие с пълното вероятностно разпределение на модела. За разлика от жадения поиск или beam search, такъв подход дава на модела повече свобода и помага да се избегне твърде ранното „заседване" в един и същ шаблон.

Обаче тази свобода има обратна страна. Дори ако вероятността на много токени е много малка, те обикновено все пак имат ненулев шанс да бъдат избрани. Поради това моделът може да улавя продължения от „опашката" на разпределението, където по-често се срещат:

• случайни и контекстно слаби думи;
• лошо съгласувани продължения;
• токени, които са локално допустими, но влошават общата свързаност на текста.

В резултат чистото семплиране често намалява шаблонността, но едновременно прави текста по-малко устойчив: той може да остане разнообразен, но да стане по-рохкав, непоследователен или семантично нестабилен.

Методи за отрязване на разпределението

Методите за отрязване на разпределението — преди всичко Top-p и Top-k — бяха предложени като практически начин за намаляване на израждането. Те ограничават множеството допустими токени и по този начин намаляват вероятността от неудачни продължения.

Общата логика на тези методи се състои в това, да не се позволява на модела да избира следващия токен от целия речник. Вместо това се разглежда само най-правдоподобната част на разпределението:

• Top-k оставя фиксиран брой най-вероятни токени;
• Top-p оставя динамично „ядро" от токени, чиято обща вероятност достига зададен праг.

Такова ограничение намалява риска моделът да избере твърде слабо продължение от ненадеждната опашка, но при това не го принуждава всеки път да взима само един-единствен „най-добър" вариант. За сметка на това методите за отрязване често се оказват междинно решение между двете крайности:

• твърде жестка максимизация;
• твърде свободно и шумно семплиране.

По-късно Finlayson и съавт. предложиха по-строга теоретична интерпретация на тази ефективност. Те показват, че truncation-методите помагат да се отхвърлят токени, които с по-голяма вероятност са ненадеждни от гледна точка на истинското разпределение на текста. Затова отрязването може да се разглежда не само като инженерен евристичен прийом, но и като начин за намаляване на вероятността от систематични грешки при избора на следващия токен.

Съвременни стратегии

По-късни методи, като locally typical sampling, се стремят да намалят дегенеративните повторения, запазвайки при това качеството на генерацията. По аналогия, contrastive search беше предложен като начин за повишаване на разнообразието, без да се жертва свързаността на текста.

Тези методи развиват идеята, че проблемът е не само в това, колко токени да се оставят, но и в това, кои именно токени трябва да се считат за добри кандидати.

Locally typical sampling се ориентира не просто към висока вероятност, а към близостта на информационното съдържание на токена до очакваната условна ентропия. Това позволява да се намаляват ситуациите, когато моделът:

• избира твърде банални и „празни" продължения;
• заседва в дегенеративни повторения;
• става твърде предсказуем дори без явни цикли.

Contrastive search използва различна логика: той се стреми да избира продължения, които едновременно остават правдоподобни и не са твърде сходни с вече генерирания контекст. За сметка на това намалява вероятността моделът да засилва едни и същи конструкции само защото те са локално много вероятни.

В сравнение с класическите decoding-стратегии тези методи се опитват не просто да ограничат избора, а да направят самия критерий за избор по-чувствителен към качеството на дългата генерация — тоест към това дали текстът ще остане съдържателен, разнообразен и свързан в продължение на няколко изречения или абзаца.

Зависимост от режима на декодиране

Връзката между нейронната дегенерация и декодирането не се свежда до противопоставяне на „добри" и „лоши" методи. Един и същ алгоритъм може да се държи по различен начин в зависимост от това колко жестко или свободно ограничава разпределението на всяка стъпка.

В общ вид могат да се разграничат три режима:

• твърде жесток избор — моделът почти винаги взима най-вероятните токени, което засилва шаблонността и повторенията;
• твърде свободен избор — моделът получава твърде широк достъп до слаби продължения, което повишава риска от безсвързаност;
• умерено ограничен избор — моделът запазва разнообразие, но остава в пределите на достатъчно надеждната част на разпределението.

Точно затова нейронната дегенерация често се разглежда като следствие не само от качеството на самия модел, но и от неудачния режим на декодиране: твърде жесток, твърде мек или лошо съгласуван с конкретната задача за генерация.

По-просто казано, израждането по-често възниква на двете крайности: когато моделът или твърде жестко избира само най-вероятните думи, или, обратното, получава твърде много свобода и започва да привлича случайни слаби продължения. Най-устойчивите стратегии обикновено се намират между тези крайни режими.

Методи за смекчаване

Макар да не съществува универсален начин напълно да се елиминира нейронната дегенерация на текст, на практика са разработени редица методи, които позволяват забележимо да се намалят най-типичните й прояви — преди всичко повторенията, шаблонността, загубата на свързаност и улавянето на „шумовата" опашка на разпределението. Тези методи се различават по това, как именно ограничават избора на следващия токен: едни просто отрязват слабите варианти, други отчитат формата на разпределението по-тънко, трети се опитват директно да балансират свързаността и разнообразието.

Отрязване на разпределението

Най-разпространеният начин за борба с нейронната дегенерация — да се ограничи изборът на следващия токен не с целия речник, а само с най-правдоподобната му част. Именно на това се основават Top-p и Top-k.

Основната идея на тези методи се състои в това, че моделът не трябва свободно да избира сред всички възможни токени, тъй като значителна част от разпределението се намира в „ненадеждната опашка", където се натрупват слаби, шумови или лошо съгласувани варианти. Отрязването позволява изкуствено да се стесни пространството на избор и по този начин да се намали вероятността генерацията рязко да тръгне в безсвързаност или да започне да се разпада.

На практика се използват две най-известни схеми:

• Top-k — оставя само фиксиран брой най-вероятни токени;
• Top-p (nucleus sampling) — оставя динамично „ядро" от токени, чиято обща вероятност достига зададен праг $p$.

Общият им смисъл е един: да не се позволява на модела да избира от твърде голямо количество слаби продължения. При това Top-p обикновено се счита за по-гъвкав, тъй като размерът на допустимото множество се изменя от стъпка на стъпка в зависимост от текущата форма на разпределението.

Finlayson и съавт. предложиха по-строга интерпретация на това защо truncation-методите често работят: отрязването помага да се отхвърлят токени, които може да не принадлежат към носителя на „истинното" разпределение на текста, тоест са особено ненадеждни от гледна точка на модела. Затова такива методи не просто механично „режат опашката", а фактически намаляват вероятността от систематични грешки на етапа на избора на токен.

По-просто казано, отрязването на разпределението помага на модела да не навлиза твърде дълбоко в областта на слабите и случайни варианти. За сметка на това текстът по-често остава по-свързан, естествен и по-малко склонен към израждане.

По-адаптивни методи за семплиране

Locally typical sampling, η-семплирането и сродните подходи се опитват не просто да „отрежат опашката", а да отчитат формата на разпределението и информационната структура на текущата стъпка на генерацията.

За разлика от простото отрязване, такива методи се стремят да вземат предвид не само това, колко вероятен е токенът, но и това, колко типичен е той за дадения контекст. Това е важно, защото дегенерацията възниква не само поради твърде слаби токени, но и поради прекомерно предпочитание към твърде „безопасни" и банални продължения.

Например, locally typical sampling се ориентира към близостта на информационното съдържание на токена до очакваната условна ентропия. С други думи, той се стреми да избира не просто най-вероятните думи, а тези, които по-добре съответстват на „нормалното" ниво на информативност за дадения контекст. Това позволява да се намаляват:

• дегенеративни повторения;
• прекомерна шаблонност;
• смислово обедняване на текста при запазване на общата свързаност.

Подобна логика използват и другите адаптивни методи: вместо просто фиксирано отсичане те се стремят да се приспособяват към текущото състояние на разпределението. За сметка на това моделът по-малко е склонен да изпада в двете крайности:

• или да стане твърде предсказуем и „плосък";
• или да улавя твърде слаби и шумови продължения.

Такива методи обикновено са по-сложни за интерпретация и настройка от Top-k или Top-p, обаче могат по-добре да се справят с тънките форми на дегенерация, където проблемът е не в явна безсвързаност, а в загуба на информативност и повторяемост на речевите шаблони.

По-просто казано, по-адаптивните методи се опитват не просто да премахнат слабите думи, а да оставят онези продължения, които по-добре пасват на текущия контекст по смисъл и „естественост".

Contrastive search

Contrastive search и близките методи се стремят едновременно да поддържат свързаността и разнообразието, намалявайки повторенията, които нерядко възникват при strictly maximization-based decoding.

Идеята на contrastive-подхода се състои в това, да не се разчита само на вероятността на следващия токен. Вместо това изборът на кандидат се изгражда като компромис между две изисквания:

• продължението трябва да бъде достатъчно правдоподобно;
• продължението не трябва да бъде твърде сходно с вече генерирания контекст и по този начин да засилва повторението.

За сметка на това contrastive search се опитва да потиска именно онези продължения, които формално изглеждат много вероятни, но практически водят до зацикване, шаблонност или прекомерно еднотипна генерация. За разлика от чистото семплиране, този подход не въвежда случайност като основен механизъм за борба с израждането, а се стреми целенасочено да избира достатъчно вероятни, но по-малко дегенеративни продължения.

Такива методи са особено важни, защото класическите maximization-based стратегии нерядко дават висока локална увереност, но плащат за това с естествеността на текста. Contrastive search се опитва да запази силните страни на детерминирания избор — свързаност и устойчивост — при едновременно намаляване на повторенията и еднообразието.

По-просто казано, contrastive search се старае да не взима продължение само защото е най-вероятното. Той допълнително „наказва" твърде еднообразните варианти, за да не се зацикля текстът и да не стане прекалено шаблонен.

Подбор на стратегия според задачата

По-късните изследвания подчертават, че няма универсален метод: ефективността на конкретна decoding-стратегия зависи от типа на задачата, размера на модела, изравняването и други фактори. Това, което работи добре за диалогова генерация или есе, може да работи по-зле при код, математика или в други детерминирани домейни.

Това означава, че борбата с нейронната дегенерация е не само избор на „най-добрия" алгоритъм, но и съпоставяне на метода с типа на задачата. В отворената генерация (истории, диалози, дълги отговори) методите за семплиране и по-гъвкавите схеми за отбор нерядко помагат да се запазят разнообразието и естествеността. В по-жестките и детерминирани задачи — например в програмирането, математиката или задачи с еднозначен верен отговор — твърде агресивната стохастика, обратното, може да снижава качеството на резултата.

Shi и съавт. също показват, че на крайния резултат влияят не само самата стратегия за декодиране, но и:

• размерът на модела;
• степента на неговото изравняване;
• чувствителността към хиперпараметрите;
• средата на разгръщане и ограниченията на инференса.

От това следва важен практически извод: един и същ метод може да изглежда силен в една конфигурация и забележимо по-слаб — в друга. Затова смекчаването на нейронната дегенерация на практика почти винаги изисква подбор на параметри и проверка върху конкретен клас задачи, а не разчитане на един „универсален" рецепт.

По-просто казано, добрият метод за декодиране зависи от това какво точно прави моделът. За свободен текст по-добре работят едни методи, за код, математика и други точни задачи — други.

Комбиниране на методи

На практика методите за смекчаване нерядко се прилагат не изолирано, а в съчетание един с друг. Например отрязването на разпределението може да се използва заедно с температурата, а по-сложните стратегии — да се съчетават с допълнителни ограничения върху избора на токени.

Смисълът на такива комбинации се състои в разделяне на функциите:

• един механизъм задава общото ниво на разнообразие;
• друг ограничава „шумовата" опашка;
• трети намалява риска от повторения или шаблонност.

Обаче увеличаването на броя на едновременно настройваните механизми усложнява контрола върху поведението на модела. Затова по-сложната схема не означава винаги по-качествен резултат: печалбата нерядко зависи от това колко добре са подбрани хиперпараметрите и колко конкретната комбинация съответства на задачата.

С други думи, смекчаването на нейронната дегенерация най-често се изгражда не върху един „магически" метод, а върху внимателното съчетаване на няколко ограничения, всяко от които отстранява своята част от проблема.

Не трябва да се бърка с model collapse

Нейронната дегенерация на текст в смисъла на Holtzman и съавт. не трябва да се смесва с model collapse — отделно явление, изучавано в работи за рекурсивното обучение на модели върху синтетични данни.

В първия случай става дума преди всичко за израждане на текста на етапа на генерация (inference), когато неудачна стратегия за декодиране води до повторения, шаблонност или загуба на свързаност. Във втория — за деградация на модела на етапа на обучение, когато генерираните от модела данни започват да „замърсяват" обучаващия набор на следващото поколение модели, което може да води до изчезване на редките събития и стесняване на разпределението.

Тези явления са тематично свързани, тъй като и двете засягат влошаването на качеството на невронния текст, обаче в литературата обикновено се разглеждат като различни проблеми: единият се отнася до декодирането, другият — до данните и обучението.

Значение за големите езикови модели

В ерата на големите езикови модели проблемът с нейронната дегенерация не изчезна, а се измести от областта на малките генератори на текст в областта на управлението на поведението на по-мощни системи. Макар съвременните LLM обикновено да са по-добре изравнени и по-рядко да изпадат в груби цикли на повторения, изборът на decoding-стратегия по-нататък забележимо влияе върху естествеността, разнообразието и устойчивостта на изхода.

Поради това нейронната дегенерация на текст се разглежда не като тесен дефект на ранните езикови модели, а като фундаментален проблем на практическата генерация: доброто вероятностно моделиране само по себе си не гарантира добър текст на етапа на инференса.

Вж. също

• Top-p семплиране
• Top-k семплиране
• Температура
• Големи езикови модели

Литература

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; опубликовано на ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.