Neural Text Degeneration (CS)

Neuronální degenerace textu, také degenerace textu při neuronové generaci (angl. Neural Text Degeneration), — je třída patologií generování textu v neuronových jazykových modelech, při níž se výstup stává nepřirozeným: nadměrně se opakujícím, šablonovitým, maloinformativním nebo ztrácí soudržnost. Termín se rozšířil po práci Ariho Holtzmanea a spoluautorů The Curious Case of Neural Text Degeneration (2019; ICLR 2020), kde bylo ukázáno, že strategie dekódování založené na přímé maximalizaci věrohodnosti často přinášejí nekvalitní výsledek v úlohách otevřeného generování textu.

Jednoduché vysvětlení

Neuronální degenerace textu — je situace, kdy model formálně pokračuje v textu, ale dělá to špatně z hlediska přirozeného jazyka.

Obvykle to vypadá takto:

• model začíná opakovat stejná slova nebo fráze;
• text se stává příliš šablonovitým a „bezduchým";
• odpověď ztrácí sémantickou soudržnost;
• do pokračování se začínají dostávat náhodná nebo nevhodná slova.

Jinými slovy, model se buď stává příliš „opatrným" a neustále vybírá totéž, nebo naopak dostane příliš mnoho svobody a začíná táhnout slabá a šumová pokračování. V obou případech text přestává připomínat přirozený lidský projev.

Historie zkoumání

Problém byl podrobně formulován Holtzmanem a spoluautory v roce 2019 na materiálu otevřeného generování textu — zejména příběhů, volných pokračování a dialogových odpovědí. Autoři ukázali, že metody dekódování orientované na maximalizaci pravděpodobnosti, jako je hladové prohledávání (greedy search) a prohledávání paprskem (beam search), v otevřených úlohách nezřídka vedou k nepřirozeným, opakujícím se a maloinformativním sekvencím.

Ve stejné práci bylo ukázáno, že i opačný přístup — čisté stochastické vzorkování bez ořezávání — je rovněž problematický, protože model může vybírat tokeny z „nespolehlivého chvostu" rozdělení pravděpodobnosti. To zhoršuje soudržnost a zvyšuje riziko náhodných, špatně sladěných pokračování.

Pozdější práce toto vysvětlení upřesnily a rozšířily. Zejména Finlayson a spoluautoři navrhli teoretickou interpretaci toho, proč metody ořezávání (například Top-p) často pomáhají snižovat degeneraci textu: ořezávání chvostu umožňuje vyhnout se tokenům, pro něž je model obzvláště nespolehlivý.

Meister a spoluautoři dále spojili problém degenerace s porušením lokální typičnosti: lidský text zpravidla udržuje informační obsah blízký očekávané podmíněné entropii, namísto pouhé maximalizace pravděpodobnosti každého dalšího tokenu.

Hlavní projevy

Neuronální degenerace textu se může projevovat nejen ve formě zjevných opakování, ale také ve skrytějších podobách: od sémantického ochuzení až po postupný rozpad soudržnosti. Navenek takové texty často zůstávají gramaticky správné, avšak začínají se znatelně odlišovat od přirozeného lidského projevu svou rozmanitostí, informativností a stabilitou rozvoje myšlenky.

Opakování a zacyklení

Nejznámější formou je opakování tokenů, frází nebo celých syntaktických konstrukcí. Text začíná „chodit v kruhu" a přidává téměř stejná pokračování znovu a znovu.

Tato degenerace se může projevovat na různých úrovních:

• jako opakování jednotlivých slov;
• jako vtíravé reprodukování stejné fráze;
• jako cyklický návrat ke stejné myšlence;
• jako mnohonásobné kopírování stejného syntaktického schématu s minimálními změnami.

Zvláště příznačné je, že opakování se nezřídka stávají samoudržujícími: jednou vzniklá konstrukce se začíná posilovat sama od sebe, protože model se nadále opírá o již vygenerovaný fragment a reprodukuje jej znovu v mírně pozměněné podobě. V důsledku toho může text zachovávat zdání pohybu vpřed, ale fakticky přestává obsahově rozvíjet.

Šablonovitost a ochuzení obsahu

I když nejsou přítomny zjevné cykly, model může produkovat příliš předvídatelný a maloinformativní text. Takový výstup zůstává gramaticky správný, ale stává se banálním, jednotvárným a chudým co do informačního obsahu.

V této formě degenerace text obvykle vypadá „správně", ale působí dojmem přehnaně bezpečného a průměrného. Model upřednostňuje nejočekávanější slova a obraty, čímž:

• klesá lexikální rozmanitost;
• častěji se opakují stejné řečové šablony;
• mizí méně zřejmé, ale obsahově hodnotnější formulace;
• text se stává formálně hladším, ale sémanticky chudším.

Právě proto degenerace nevypadá vždy jako zjevná chyba: někdy se projevuje jako příliš předvídatelný, „rovný" a prázdný text, který je formálně napsán správně, ale nepřináší téměř žádné nové informace.

Ztráta soudržnosti

Při nadměrné náhodnosti nebo slabé kontrole nad chvostem rozdělení může generování zachovávat lokální gramatickou správnost, ale ztrácet celkovou sémantickou soudržnost: do textu se začínají dostávat nevhodná slova, neočekávané přechody tématu a logické zlomy.

V takové situaci mohou sousední věty samostatně vypadat přijatelně, avšak mezi nimi slábnou příčinně-důsledkové, tematické a logické vazby. To se projevuje tím, že:

• věta je gramaticky správná, ale špatně navazuje na předchozí;
• myšlenka náhle mění směr bez zřejmého přechodu;
• v textu se objevují lokálně přijatelná, ale kontextově nevhodná pokračování;
• celkový průběh úvahy se stává roztříštěným a nestabilním.

Jinými slovy, model může zachovávat lokální hladkost na úrovni jednotlivých frází, ale ztrácet globální soudržnost na úrovni celého odstavce nebo dlouhé odpovědi.

Sémantický drift

Další formou degenerace je postupný posun smyslu, při němž se text nerozpadne okamžitě, ale pomalu se vzdaluje od původního tématu, úkolu nebo linie vyprávění.

Na rozdíl od zjevné nesoudržnosti se zde degradace rozvíjí postupně:

• model začíná relevantní odpovědí;
• poté přidává stále obecnější nebo slabě související detaily;
• poté se původní téma rozplývá;
• na konci může text zůstat formálně plynulý, ale již špatně odpovídat na původní dotaz.

Tento drift je zvláště patrný při dlouhé generaci: model nemusí nutně upadnout do cyklů, ale krok za krokem ztrácí tematickou disciplínu a pokračování přestává být skutečně relevantní.

Snížení informativnosti

Degenerace se může projevovat nejen v opakováních, ale také tím, že text přestává přidávat nové informace. Model pokračuje v psaní, avšak sémantická „hustota" výstupu klesá a pokračování se stává obsahově prázdným.

V takovém textu se slova a věty nadále hromadí, ale sémantický posun zpomaluje. Nové fráze:

• přeformulovávají již řečené;
• přidávají minimální množství nových faktů;
• nahrazují konkrétní informace obecnými slovy;
• udržují objem textu bez srovnatelného nárůstu obsahu.

To je zvláště důležité, protože tato degradace může vypadat méně nápadně než zjevná opakování: text se zdá „normální", ale při pozorném čtení se ukáže, že v podstatě opakuje stejnou myšlenku různými slovy.

Skrytá degenerace bez zjevných selhání

Ne každá neuronální degenerace vypadá jako hrubá porucha. V řadě případů text neobsahuje zjevné cykly, prudké logické zlomy ani zřejmý „šum", přesto se znatelně odchyluje od přirozeného lidského písemného projevu.

Tato skrytá forma se projevuje jako kombinace:

• nadměrné předvídatelnosti;
• jednotného rytmu frází;
• bezpečných, ale slabých formulací;
• nedostatku překvapení, nuancí a sémantické hloubky.

Právě proto se neuronální degenerace textu neredukuje pouze na zacyklení. Zahrnuje širší spektrum příznaků — od zjevných opakování až po jemné sémantické ochuzení, při němž text zůstává formálně správný, ale ztrácí rozmanitost, výraznost a obsahovou hodnotu.

Příčiny

Neshoda mezi učením a dekódováním

Jazykové modely jsou obvykle trénovány na předpovídání dalšího tokenu pomocí pravděpodobnostního rozdělení. Při generování však text bývá extrahován nikoli jako vzorek z tohoto rozdělení, nýbrž pomocí procedur, které striktně maximalizují pravděpodobnost v každém kroku nebo v celé sekvenci. Tento rozdíl mezi cíli učení a pravidly dekódování je jednou z klíčových příčin degenerace v otevřených úlohách.

„Nespolehlivý chvost" rozdělení

Na druhé straně může být škodlivá i úplná svoboda vzorkování. I velmi málo pravděpodobné tokeny mají obvykle nenulovou pravděpodobnost a mezi nimi se nachází mnoho slabých, šumových nebo špatně sladěných variant. Pokud model vybere token z takového chvostu, kvalita pokračování může prudce klesnout.

Porušení lokální typičnosti

Meister a spoluautoři spojují degeneraci s tím, že přirozený text obvykle udržuje informační obsah blízký očekávané podmíněné entropii. Když se dekódování systematicky odchyluje od této „typičnosti", text se může stávat buď příliš banálním, nebo příliš šumným.

Vztah k metodám dekódování

Neuronální degenerace textu úzce souvisí nejen s kvalitou samotného jazykového modelu, ale také s tím, jakým způsobem je z jeho pravděpodobnostního rozdělení vybírán další token. Stejná sada pravděpodobností může dávat znatelně odlišné výsledky v závislosti na strategii dekódování: některé metody zesilují opakování a šablonovitost, jiné zvyšují rozmanitost, ale riskují ztrátu soudržnosti, další se pokoušejí udržet kompromis mezi těmito krajnostmi.

Hladové prohledávání a beam search

Hladové prohledávání a prohledávání paprskem jsou zvláště náchylné k opakováním a šablonovitosti v úlohách otevřeného generování, protože systematicky upřednostňují nejpravděpodobnější pokračování.

V případě hladového prohledávání model v každém kroku vybírá jeden nejpravděpodobnější token. Tento přístup dobře funguje tam, kde má úloha relativně úzkou sadu správných odpovědí, avšak ve volné generaci text často příliš zjednodušuje. Model opakovaně vybírá nejbezpečnější pokračování, čímž:

• se posiluje sklon k opakování již vybraných konstrukcí;
• klesá rozmanitost formulací;
• text se stává šablonovitějším a obsahově chudším.

Prohledávání paprskem (beam search) částečně rozšiřuje prostor prohledávání, protože sleduje několik nejpravděpodobnějších hypotéz najednou. V úlohách otevřeného textu to však ne vždy zabraňuje degeneraci. Naopak, kvůli celkové orientaci na maximalizaci věrohodnosti může systematicky upřednostňovat příliš „správná", ale málo přirozená pokračování, čímž zvyšuje riziko:

• jednotvárnosti;
• opakovatelnosti;
• nadměrně hladkého, ale maloinformativního textu.

Jinými slovy, metody, které příliš důsledně vybírají nejpravděpodobnější pokračování, často vítězí v lokální předvídatelnosti, ale prohrávají v přirozenosti dlouhé generace.

Čisté vzorkování

Nestriktně omezené vzorkování zvyšuje rozmanitost, ale bez dalších filtrů častěji zachycuje slabé tokeny z chvostu rozdělení, což může zhoršovat soudržnost textu.

Při čistém vzorkování je další token vybrán náhodně v souladu s úplným pravděpodobnostním rozdělením modelu. Na rozdíl od hladového prohledávání nebo beam search dává tento přístup modelu větší svobodu a pomáhá vyhnout se příliš brzkému „uvíznutí" v jedné šabloně.

Tato svoboda má však i odvrácenou stranu. I když je pravděpodobnost mnoha tokenů velmi malá, mají obvykle stále nenulovou šanci být vybrány. Kvůli tomu může model zachycovat pokračování z „chvostu" rozdělení, kde se častěji vyskytují:

• náhodná a kontextově slabá slova;
• špatně sladěná pokračování;
• tokeny, které jsou lokálně přijatelné, ale zhoršují celkovou soudržnost textu.

V důsledku toho čisté vzorkování často snižuje šablonovitost, ale zároveň činí text méně stabilním: může zůstat rozmanitý, ale stává se roztříštěnějším, nekonzistentnějším nebo sémanticky nestabilnějším.

Metody ořezávání rozdělení

Metody ořezávání rozdělení — především Top-p a Top-k — byly navrženy jako praktický způsob snížení degenerace. Omezují množinu přípustných tokenů, a tím snižují pravděpodobnost nevhodných pokračování.

Obecná logika těchto metod spočívá v tom, aby model nesměl vybírat další token z celého slovníku. Místo toho se uvažuje pouze nejpravděpodobnější část rozdělení:

• Top-k ponechává pevný počet nejpravděpodobnějších tokenů;
• Top-p ponechává dynamické „jádro" tokenů, jejichž kumulativní pravděpodobnost dosahuje stanoveného prahu.

Toto omezení snižuje riziko, že model vybere příliš slabé pokračování z nespolehlivého chvostu, ale zároveň ho nenutí pokaždé brát jediný „nejlepší" variant. Díky tomu jsou metody ořezávání často středním řešením mezi dvěma krajnostmi:

• příliš striktní maximalizací;
• příliš volným a šumným vzorkováním.

Pozdější Finlayson a spoluautoři navrhli přísnější teoretickou interpretaci této účinnosti. Ukazují, že truncation metody pomáhají odmítat tokeny, které s větší pravděpodobností nejsou součástí podpory „skutečného" rozdělení textu, tedy jsou z pohledu modelu obzvláště nespolehlivé. Proto lze ořezávání považovat nejen za inženýrský heuristický přístup, ale také za způsob snížení pravděpodobnosti systematických chyb při výběru tokenu.

Moderní strategie

Pozdější metody, jako je locally typical sampling, se snaží snížit degenerativní opakování při zachování kvality generování. Analogicky byl contrastive search navržen jako způsob zvýšení rozmanitosti bez obětování soudržnosti textu.

Tyto metody rozvíjejí myšlenku, že problém nespočívá pouze v tom, kolik tokenů ponechat, ale také v tom, které přesně tokeny stojí za to považovat za dobré kandidáty.

Locally typical sampling se neorientuje jen na vysokou pravděpodobnost, ale na blízkost informačního obsahu tokenu k očekávané podmíněné entropii. To umožňuje snižovat situace, kdy model:

• vybírá příliš banální a „prázdná" pokračování;
• uvízne v degenerativních opakováních;
• stává se příliš předvídatelným i bez zjevných cyklů.

Contrastive search používá odlišnou logiku: snaží se vybírat pokračování, která jsou zároveň dostatečně věrohodná a nejsou příliš podobná již vygenerovanému kontextu. Díky tomu se snižuje pravděpodobnost, že model bude posilovat stejné konstrukce jen proto, že jsou lokálně velmi pravděpodobné.

V porovnání s klasickými decoding strategiemi se tyto metody nesnaží pouze omezit výběr, ale učinit samotné kritérium výběru citlivějším vůči kvalitě dlouhé generace — tedy vůči tomu, zda bude text zůstávat obsahově hodnotným, rozmanitým a soudržným v průběhu několika vět nebo odstavců.

Závislost na režimu dekódování

Vztah mezi neuronální degenerací a dekódováním se neredukuje na protiklad „dobrých" a „špatných" metod. Stejný algoritmus se může chovat odlišně v závislosti na tom, jak striktně nebo volně omezuje rozdělení v každém kroku.

V obecném rámci lze rozlišit tři režimy:

• příliš striktní výběr — model téměř vždy bere nejpravděpodobnější tokeny, což posiluje šablonovitost a opakování;
• příliš volný výběr — model dostane příliš široký přístup ke slabým pokračováním, což zvyšuje riziko nesoudržnosti;
• mírně omezený výběr — model zachovává rozmanitost, ale zůstává v rámci dostatečně spolehlivé části rozdělení.

Právě proto bývá neuronální degenerace často vnímána jako důsledek nejen kvality samotného modelu, ale také nevhodného režimu dekódování: příliš striktního, příliš volného nebo špatně sladěného s konkrétní úlohou generování.

Jednoduše řečeno, degenerace se nejčastěji vyskytuje na dvou krajnostech: když model buď příliš striktně vybírá jen nejpravděpodobnější slova, nebo naopak dostane příliš mnoho svobody a začíná táhnout náhodná slabá pokračování. Nejstabilnější strategie obvykle leží mezi těmito krajními režimy.

Metody zmírňování

Ačkoli neexistuje univerzální způsob, jak neuronální degeneraci textu zcela odstranit, v praxi byl vyvinut řad metod, které umožňují výrazně snížit její nejtypičtější projevy — zejména opakování, šablonovitost, ztrátu soudržnosti a zachycení „šumového" chvostu rozdělení. Tyto metody se liší tím, jakým způsobem omezují výběr dalšího tokenu: některé jednoduše odřezávají slabé varianty, jiné zohledňují tvar rozdělení jemněji, další se pokoušejí přímo vyvažovat soudržnost a rozmanitost.

Ořezávání rozdělení

Nejrozšířenějším způsobem boje s neuronální degenerací je omezit výběr dalšího tokenu nikoli celým slovníkem, ale pouze jeho nejpravděpodobnější částí. Právě na tom jsou založeny Top-p a Top-k.

Základní myšlenka těchto metod spočívá v tom, že model by neměl volně vybírat mezi všemi možnými tokeny, protože značná část rozdělení se nachází v „nespolehlivém chvostu", kde se hromadí slabé, šumové nebo špatně sladěné varianty. Ořezávání umožňuje uměle zúžit prostor výběru a tím snížit pravděpodobnost, že generování prudce sklouzne do nesoudržnosti nebo se začne rozpadat.

V praxi se používají dvě nejznámější schémata:

• Top-k — ponechává pouze pevný počet nejpravděpodobnějších tokenů;
• Top-p (nucleus sampling) — ponechává dynamické „jádro" tokenů, jejichž kumulativní pravděpodobnost dosahuje stanoveného prahu $p$.

Jejich společný smysl je jeden: nedovolit modelu vybírat z příliš velkého počtu slabých pokračování. Přitom Top-p bývá považován za flexibilnější, protože velikost přípustné množiny se mění od kroku ke kroku v závislosti na aktuálním tvaru rozdělení.

Finlayson a spoluautoři navrhli přísnější interpretaci toho, proč truncation metody často fungují: ořezávání pomáhá odmítat tokeny, které nemusí patřit do podpory „skutečného" rozdělení textu, tedy jsou z pohledu modelu obzvláště nespolehlivé. Proto takové metody nejen mechanicky „odřezávají chvost", ale fakticky snižují pravděpodobnost systematických chyb ve fázi výběru tokenu.

Jednoduše řečeno, ořezávání rozdělení pomáhá modelu nezacházet příliš daleko do oblasti slabých a náhodných variant. Díky tomu text častěji zůstává soudržnějším, přirozenějším a méně náchylným k degeneraci.

Adaptivnější metody vzorkování

Locally typical sampling, η-vzorkování a příbuzné přístupy se nesnaží jen „odříznout chvost", ale zohledňují tvar rozdělení a informační strukturu aktuálního kroku generování.

Na rozdíl od prostého ořezávání se tyto metody snaží zohledňovat nejen to, jak pravděpodobný token je, ale také to, jak typický je pro daný kontext. To je důležité, protože degenerace nevzniká jen kvůli příliš slabým tokenům, ale také kvůli nadměrnému upřednostňování příliš „bezpečných" a banálních pokračování.

Například locally typical sampling se orientuje na blízkost informačního obsahu tokenu k očekávané podmíněné entropii. Jinými slovy, snaží se vybírat nikoli jen nejpravděpodobnější slova, ale ta, která lépe odpovídají „normální" úrovni informativnosti pro daný kontext. To umožňuje snižovat:

• degenerativní opakování;
• nadměrnou šablonovitost;
• sémantické ochuzení textu při zachování celkové soudržnosti.

Podobnou logiku používají i další adaptivní metody: místo prostého fixního odřezávání se snaží přizpůsobovat aktuálnímu stavu rozdělení. Díky tomu je model méně náchylný upadnout do dvou krajností:

• stávat se příliš předvídatelným a „plochým";
• zachycovat příliš slabá a šumová pokračování.

Takové metody jsou obvykle složitější na interpretaci a ladění než Top-k nebo Top-p, mohou však lépe zvládat jemné formy degenerace, kde problém nespočívá v zjevné nesoudržnosti, ale ve ztrátě informativnosti a opakovatelnosti řečových šablon.

Jednoduše řečeno, adaptivnější metody se nesnaží jen odstranit slabá slova, ale ponechat ta pokračování, která lépe odpovídají aktuálnímu kontextu co do smyslu a „přirozenosti".

Contrastive search

Contrastive search a příbuzné metody se snaží zároveň udržovat soudržnost i rozmanitost, přičemž snižují opakování, která se často vyskytují u strictly maximization-based dekódování.

Myšlenka contrastive přístupu spočívá v tom, aby se nespoléhalo pouze na pravděpodobnost dalšího tokenu. Místo toho je výběr kandidáta budován jako kompromis mezi dvěma požadavky:

• pokračování musí být dostatečně věrohodné;
• pokračování nesmí být příliš podobné již vygenerovanému kontextu, a tedy nesmí posilovat opakování.

Díky tomu se contrastive search snaží potlačovat právě ta pokračování, která formálně vypadají velmi pravděpodobně, ale v praxi vedou k zacyklení, šablonovitosti nebo přehnaně jednotvárné generaci. Na rozdíl od čistého vzorkování tento přístup nezavádí náhodnost jako hlavní mechanismus boje s degenerací, ale snaží se cíleně vybírat dostatečně pravděpodobná, ale méně degenerativní pokračování.

Takové metody jsou zvláště důležité, protože klasické maximization-based strategie často dávají vysokou lokální jistotu, ale platí za to přirozeností textu. Contrastive search se snaží zachovat silné stránky deterministického výběru — soudržnost a stabilitu — při současném snížení opakování a jednotvárnosti.

Jednoduše řečeno, contrastive search se nesnaží brát pokračování jen proto, že je nejpravděpodobnější. Navíc „penalizuje" příliš jednotvárné varianty, aby se text nezacykloval a nestával se příliš šablonovitým.

Přizpůsobení strategie úloze

Pozdější výzkumy zdůrazňují, že neexistuje univerzální metoda: účinnost konkrétní decoding strategie závisí na typu úlohy, velikosti modelu, zarovnání a dalších faktorech. To, co dobře funguje pro dialogové generování nebo eseje, může hůře fungovat v kódu, matematice nebo jiných deterministických doménách.

To znamená, že boj s neuronální degenerací není jen výběrem „nejlepšího" algoritmu, ale také přiřazením metody k typu úlohy. V otevřené generaci (příběhy, dialogy, dlouhé odpovědi) metody vzorkování a flexibilnější schémata výběru často pomáhají zachovat rozmanitost a přirozenost. V přísnějších a deterministických úlohách — například v programování, matematice nebo úlohách s jednoznačně správnou odpovědí — může naopak příliš agresivní stochastika snižovat kvalitu výsledku.

Shi a spoluautoři také ukazují, že na konečný výsledek vlývají nejen samotná strategie dekódování, ale také:

• velikost modelu;
• míra jeho zarovnání;
• citlivost na hyperparametry;
• prostředí nasazení a omezení inference.

Z toho plyne důležitý praktický závěr: stejná metoda může vypadat silně v jedné konfiguraci a znatelně slabší v jiné. Proto zmírňování neuronální degenerace v praxi téměř vždy vyžaduje ladění parametrů a ověřování na konkrétní třídě úloh, nikoli spoléhání na jeden „univerzální" recept.

Jednoduše řečeno, vhodný způsob dekódování závisí na tom, co přesně model dělá. Pro volný text lépe fungují jedny metody, pro kód, matematiku a jiné přesné úlohy jiné.

Kombinování metod

V praxi se metody zmírňování nezřídka nepoužívají izolovaně, ale v kombinaci. Například ořezávání rozdělení lze používat společně s teplotou a složitější strategie lze kombinovat s dalšími omezeními výběru tokenů.

Smysl těchto kombinací spočívá v rozdělení funkcí:

• jeden mechanismus nastavuje celkovou úroveň rozmanitosti;
• druhý omezuje „šumový" chvost;
• třetí snižuje riziko opakování nebo šablonovitosti.

Zvyšování počtu současně nastavovaných mechanismů však komplikuje kontrolu nad chováním modelu. Proto složitější schéma neznamená vždy kvalitnější výsledek: přínos často závisí na tom, jak dobře jsou zvoleny hyperparametry a nakolik konkrétní kombinace odpovídá úloze.

Jinými slovy, zmírňování neuronální degenerace se nejčastěji neopírá o jednu „magickou" metodu, ale o pečlivou kombinaci několika omezení, přičemž každé z nich odstraňuje svou část problému.

Nezaměňovat s model collapse

Neuronální degeneraci textu ve smyslu Holtzmanea a spoluautorů nelze zaměňovat s model collapse — samostatným jevem zkoumaným v pracích o rekurzivním trénování modelů na syntetických datech.

V prvním případě se jedná především o degeneraci textu ve fázi generování (inference), kdy nevhodná strategie dekódování vede k opakováním, šablonovitosti nebo ztrátě soudržnosti. Ve druhém — o degradaci modelu ve fázi trénování, kdy data generovaná modelem začínají „kontaminovat" trénovací sadu nové generace modelů, což může vést k vymizení vzácných událostí a zúžení rozdělení.

Tyto jevy tematicky souvisejí, protože oba se týkají zhoršování kvality neuronového textu, avšak v literatuře jsou obvykle považovány za odlišné problémy: jeden se vztahuje k dekódování, druhý k datům a trénování.

Význam pro velké jazykové modely

V éře velkých jazykových modelů problém neuronální degenerace nezmizal, ale přesunul se z oblasti malých generátorů textu do oblasti řízení chování výkonnějších systémů. Ačkoli moderní LLM jsou obvykle lépe zarovnány a méně často upadají do hrubých cyklů opakování, výběr decoding strategie stále znatelně ovlivňuje přirozenost, rozmanitost a stabilitu výstupu.

Z tohoto důvodu je neuronální degenerace textu vnímána nikoli jako úzká vada raných jazykových modelů, ale jako fundamentální problém praktického generování: dobré pravděpodobnostní modelování samo o sobě nezaručuje kvalitní text ve fázi inference.

Viz také

• Top-p vzorkování
• Top-k vzorkování
• Teplota
• Velké jazykové modely

Literatura

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; publikováno na ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.