--- title: "Neural Text Degeneration (HU)" source: "https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)" wiki: "systems-analysis.info/int" article: "Neural_Text_Degeneration_(HU)" language: "hu" categories: - "Category:Core LLM concepts" - "Category:Hungarian" - "Category:Large language models" - "Category:Machine learning" revision_id: 4876 wiki_created_at: 2026-09-06T23:41:18Z wiki_modified_at: 2026-09-06T23:41:18Z downloaded_at: 2026-09-07T23:05:26Z --- # Neural Text Degeneration (HU) **Neurális szövegdegeneráció**, más néven **szöveg elfajulása neurális generáció során** (ang. *Neural Text Degeneration*), — a neurális nyelvi modellek szöveggenerálási patológiáinak egy osztálya, amelynek során a kimenet természetellenessé válik: túlzottan ismétlődővé, sablonosá, tartalomszegénnyé, vagy elveszti koherenciáját. A fogalom széles körben elterjedt Ari Holtzman és szerzőtársai *The Curious Case of Neural Text Degeneration* (2019; ICLR 2020) munkája után, amelyben kimutatták, hogy a közvetlen valószínűség-maximalizáláson alapuló dekódolási stratégiák nyílt szöveggenerálási feladatoknál gyakran gyenge minőségű eredményt adnak.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) ## Egyszerű magyarázat **A neurális szövegdegeneráció** azt a jelenséget jelenti, amikor a modell **formálisan folytatja a szöveget**, de ezt a természetes beszéd szempontjából rosszul teszi. Ez általában így néz ki: - a modell elkezdi ismételni ugyanazokat a szavakat vagy kifejezéseket; - a szöveg túlságosan sablonosá és „élettelenné" válik; - a válasz elveszti szemantikai koherenciáját; - a folytatásba véletlenszerű vagy szerencsétlen szavak kerülnek. **Más szóval,** a modell vagy túlságosan *„óvatossá\\* válik, és mindig ugyanazt választja, vagy éppen ellenkezőleg, túl sok szabadságot kap, és gyenge, zajos folytatásokat kezd előállítani. Mindkét esetben a szöveg elveszíti a természetes emberi beszédre való hasonlóságát.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) ## A kutatás története A problémát Holtzman és szerzőtársai 2019-ben részletesen megfogalmazták nyílt szöveggenerálás kapcsán — elsősorban történetek, szabad folytatások és dialógusválaszok esetén. A szerzők megmutatták, hogy a valószínűség-maximalizálásra orientált dekódolási módszerek, mint a **mohó keresés** (*greedy search*) és a **sugárkeresés** (*beam search*), nyílt feladatoknál gyakran természetellenes, ismétlődő és tartalomszegény sorozatokhoz vezetnek.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Ugyanabban a munkában kimutatták, hogy az ellentétes megközelítés — a **tiszta sztochasztikus mintavételezés** csonkítás nélkül — szintén problematikus, mivel a modell a valószínűségi eloszlás „megbízhatatlan farkából" is választhat tokeneket. Ez rontja a koherenciát és növeli a véletlenszerű, rosszul illeszkedő folytatások kockázatát.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Későbbi munkák pontosították és kibővítették ezt a magyarázatot. Különösen Finlayson és szerzőtársai javasoltak elméleti értelmezést arra vonatkozóan, hogy a csonkítási módszerek (pl. Top-p) miért segítenek csökkenteni a szövegdegenerációt: a farok csonkítása lehetővé teszi az olyan tokenek elkerülését, amelyekre a modell különösen megbízhatatlan.[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) Meister és szerzőtársai a degeneráció problémáját emellett a lokális tipikusság megsértésével hozták összefüggésbe: az emberi szöveg általában igyekszik a várható feltételes entrópiához közeli információtartalmat fenntartani, nem csupán maximalizálni a következő token valószínűségét.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) ## Fő megnyilvánulások A neurális szövegdegeneráció nemcsak nyilvánvaló ismétlések formájában nyilvánulhat meg, hanem rejtettebb formákban is: a szemantikai elszegényedéstől a koherencia fokozatos bomlásáig. Ilyen szövegek kifelé gyakran nyelvtanilag helyesek maradnak, azonban észrevehetően eltérnek a természetes emberi beszédtől változatosságban, informatívságban és a gondolatmenet fejlődésének stabilitásában.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) ### Ismétlések és hurokba kerülés A legismertebb forma — **tokenek, kifejezések vagy egész szintaktikai szerkezetek ismétlése**. A szöveg „körbe-körbe jár", szinte azonos folytatásokat adva újra és újra.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Az ilyen elfajulás különböző szinteken nyilvánulhat meg: - egyedi szavak ismétléseként; - ugyanazon kifejezés kényszeres újratermelésként; - ugyanahhoz a gondolathoz való ciklikus visszatérésként; - ugyanazon szintaktikai séma minimális változtatásokkal történő többszöri másolásaként.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Különösen jellemző, hogy az ismétlések gyakran **önfenntartókká** válnak: az egyszer létrejött szerkezet erősíteni kezdi önmagát, mivel a modell továbbra is a már generált fragmentumra támaszkodik, és azt kissé módosított formában újra reprodukálja. Ennek eredményeként a szöveg látszólag előre haladhat, de valójában tartalmilag fejlődni megszűnik.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) ### Sablonosság és a tartalom elszegényedése Még ha nincsenek is nyilvánvaló hurkok, a modell túlságosan kiszámítható és tartalomszegény szöveget produkálhat. Az ilyen kimenet nyelvtanilag helyes marad, de közhelyessé, egyhangúvá és információban szegénnyé válik.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) A degeneráció e formájában a szöveg „helyesnek" tűnik, de túlzottan biztonságos és átlagos benyomást kelt. A modell a leginkább várt szavakat és fordulatokat részesíti előnyben, aminek következtében: - csökken a szókincsbeli változatosság; - ugyanazok a nyelvi sablonok ismétlődnek sűrűbben; - eltűnnek a kevésbé nyilvánvaló, de tartalmasabb megfogalmazások; - a szöveg formájában simábbá, de jelentésében szegényebbé válik.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Éppen ezért a degeneráció nem mindig nyilvánvaló hibának tűnik: néha **túlságosan kiszámítható, „egyenletes" és üres szövegként** nyilvánul meg, amely formálisan helyesen íródott, de alig ad új információt.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) ### Koherenciavesztés Túlzott véletlenszerűség vagy az eloszlás farkának gyenge kontrollja esetén a generálás megőrizheti a lokális nyelvtani helyességet, de elveszítheti az általános szemantikai összefüggést: nem illő szavak, váratlan témaváltások és logikai törések kerülhetnek a szövegbe.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Ilyen helyzetben a szomszédos mondatok külön-külön elfogadhatóknak tűnhetnek, azonban közöttük gyengülnek az ok-okozati, tematikai és logikai kapcsolatok. Ez abban nyilvánul meg, hogy: - a mondat nyelvtanilag helyes, de rosszul kapcsolódik az előzőhöz; - a gondolat hirtelen irányt vált egyértelmű átmenet nélkül; - lokálisan elfogadható, de kontextuálisan nem illő folytatások jelennek meg a szövegben; - az érvelés általános menete lazává és bizonytalanná válik.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Más szóval, a modell megőrizheti az egyes mondatok szintjén a **lokális simaságot**, de elveszítheti az egész bekezdés vagy hosszú válasz szintjén a **globális koherenciát**.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) ### Szemantikai sodródás A degeneráció egy másik formája — a **jelentés fokozatos eltolódása**, amelynek során a szöveg nem omlík össze azonnal, hanem lassan távolodik az eredeti témától, feladattól vagy elbeszélési vonaltól.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) A nyilvánvaló inkoherenciával ellentétben itt a degradáció fokozatosan fejlődik: - a modell releváns válasszal kezd; - majd egyre általánosabb vagy lazán kapcsolódó részleteket ad hozzá; - ezt követően az eredeti téma elmosódik; - végül a szöveg formálisan folyékony maradhat, de már rosszul felel meg az eredeti kérésre.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Az ilyen sodródás különösen feltűnő hosszú generálás esetén: a modell nem szükségszerűen kerül hurokba, de lépésről lépésre elveszíti a tematikai fegyelmet, és a folytatás megszűnik valóban releváns lenni.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) ### Az informatívság csökkenése A degeneráció nemcsak ismétlésekben fejezhető ki, hanem abban is, hogy a szöveg megszűnik új információt hozzáadni. A modell tovább ír, azonban a kimenet szemantikai „sűrűsége" csökken, és a folytatás tartalmilag üressé válik.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Az ilyen szövegben a szavak és mondatok továbbra is gyűlnek, de a szemantikai előrehaladás lelassul. Az új mondatok: - újrafogalmazzák a már elmondottakat; - minimális mennyiségű új tényt adnak hozzá; - a konkrétumokat általános szavakra cserélik; - fenntartják a szöveg terjedelmét a tartalom arányos növekedése nélkül.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Ez különösen fontos, mivel az ilyen jellegű degradáció kevésbé feltűnőnek tűnhet, mint a nyilvánvaló ismétlések: a szöveg „normálisnak" látszik, de figyelmesebb olvasáskor kiderül, hogy alapvetően ugyanazt a gondolatot ismétli különböző szavakkal.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) ### Rejtett degeneráció nyilvánvaló hibák nélkül Nem minden neurális degeneráció tűnik durva meghibásodásnak. Egyes esetekben a szöveg nem tartalmaz nyilvánvaló hurkokat, éles logikai töréseket vagy szembeötlő „zajt\\, mégis észrevehetően eltér a természetes emberi írástól.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Ez a rejtett forma az alábbiak kombinációjaként nyilvánul meg: - túlzott kiszámíthatóság; - a mondatok egyforma ritmusa; - biztonságos, de gyenge megfogalmazások; - a meglepetés, az árnyalatok és a szemantikai mélység hiánya.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Éppen ezért a neurális szövegdegeneráció nem korlátozódik pusztán a hurokba kerülésre. Tünetek szélesebb spektrumát fogja át — a nyilvánvaló ismétlésektől a finom szemantikai elszegényedésig, amelynek során a szöveg formálisan helyes marad, de elveszíti változatosságát, kifejezőerejét és tartalmi értékét.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) ## Okok ### Az edzés és a dekódolás közötti eltérés A nyelvi modellek általában a következő token valószínűségi eloszlás szerinti előrejelzésére tanulnak. Azonban szöveggenerálásnál a szöveget gyakran nem ebből az eloszlásból mintavételezéssel nyerik ki, hanem olyan eljárásokkal, amelyek minden lépésben vagy az egész sorozaton **szigorúan maximalizálják a valószínűséget**. A tanítási célok és a dekódolási szabályok közötti ez az eltérés az elfajulás egyik kulcsos oka a nyílt feladatoknál.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) ### Az eloszlás „megbízhatatlan farka\\ Másrészt a mintavételezés teljes szabadsága szintén káros lehet. Még a nagyon kis valószínűségű tokeneknek is általában nullától eltérő valószínűségük van, és közöttük sok gyenge, zajos vagy rosszul illeszkedő változat található. Ha a modell az ilyen farokból választ tokent, a folytatás minősége drasztikusan romlhat.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) ### A lokális tipikusság megsértése Meister és szerzőtársai a degenerációt azzal hozzák összefüggésbe, hogy a természetes szöveg általában a várható feltételes entrópiához közeli információtartalmat tart fenn. Ha a dekódolás rendszeresen eltávolodik ettől a „tipikusságtól\\, a szöveg vagy túlságosan közhelyessé, vagy túlságosan zajossá válhat.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) ## Kapcsolat a dekódolási módszerekkel A neurális szövegdegeneráció szorosan összefügg nemcsak a nyelvi modell minőségével, hanem azzal is, **hogyan pontosan** választják ki a következő tokent a valószínűségi eloszlásból. Ugyanaz a valószínűségi készlet észrevehetően eltérő eredményt adhat a dekódolási stratégiától függően: egyes módszerek fokozzák az ismétléseket és a sablonosságot, mások növelik a változatosságot, de kockáztatják a koherencia elvesztését, megint mások a két szélsőség közötti kompromisszumot próbálják megőrizni.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) ### Mohó keresés és beam search A mohó keresés és a sugárkeresés különösen hajlamos az ismétlésekre és a sablonosságra nyílt generálási feladatokban, mivel szisztematikusan a legvalószínűbb folytatásokat részesíti előnyben.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) A **mohó keresés** esetén a modell minden lépésben a legtöbb valószínűségű egyetlen tokent választja. Ez a megközelítés jól működik ott, ahol a feladatnak viszonylag szűk helyes válaszkészlete van, azonban szabad generálásban a szöveget gyakran túlságosan kiszámíthatóvá teszi. A modell újra és újra a leginkább „biztonságos\\ folytatásokat választja, aminek következtében: - erősödik a már választott szerkezetek ismétlésére való hajlam; - csökken a megfogalmazások változatossága; - a szöveg sablonosabbá és tartalomban szegényebbé válik.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) A **sugárkeresés** (beam search) részben kiszélesíti a keresési teret, mivel egyszerre több legvalószínűbb hipotézist követ. Azonban nyílt szöveges feladatokban ez nem mindig óv meg a degenerációtól. Éppen ellenkezőleg, a valószínűség-maximalizálásra való általános orientáció miatt ez is szisztematikusan előnyben részesíthet túlságosan „helyes\\, de kevéssé természetes folytatásokat, növelve a kockázatát: - az egyhangúságnak; - az ismétlődésnek; - a túlzottan sima, de tartalomszegény szövegnek.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Más szóval azok a módszerek, amelyek túlságosan következetesen a legvalószínűbb folytatást választják, gyakran nyernek a lokális kiszámíthatóságban, de veszítenek a hosszú generálás természetességében.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) ### Tiszta mintavételezés A nem szigorúan korlátozott mintavételezés növeli a változatosságot, de további szűrők nélkül az eloszlás farkából sűrűbben vesz fel gyenge tokeneket, ami ronthatja a szöveg koherenciáját.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) A **tiszta mintavételezés** során a következő tokent véletlenszerűen választják a modell teljes valószínűségi eloszlása szerint. A mohó kereséssel vagy a beam search-csel ellentétben ez a megközelítés több szabadságot ad a modellnek, és segít elkerülni a túl korai „beragadást\\ ugyanabba a sablonba.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Ennek a szabadságnak azonban van egy másik oldala. Még ha sok token valószínűsége nagyon kicsi is, általában nullától eltérő esélyük van arra, hogy kiválasszák őket. Emiatt a modell az eloszlás „farkából\\ vehet fel folytatásokat, ahol sűrűbben fordulnak elő: - véletlenszerű és kontextuálisan gyenge szavak; - rosszul illeszkedő folytatások; - lokálisan elfogadható, de a szöveg általános koherenciáját rontó tokenek.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Ennek eredményeként a tiszta mintavételezés gyakran csökkenti a sablonosságot, de egyúttal kevésbé stabilissá teszi a szöveget: változatos maradhat, de lazábbá, következetlenebbé vagy szemantikailag instabilabbá válik.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) ### Az eloszlás csonkítási módszerei Az eloszlás csonkítási módszerei — mindenekelőtt a Top-p és a Top-k — a degeneráció csökkentésének praktikus módjaként javasoltak. Korlátozzák az elfogadható tokenek halmazát, és ezáltal csökkentik a sikertelen folytatások valószínűségét.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) E módszerek általános logikája abban áll, hogy nem engedik a modellnek, hogy a következő tokent az egész szótárból válassza. Ehelyett csak az eloszlás leghihetőbb részét veszi figyelembe: - a **Top-k** csak a legtöbb valószínűségű tokenek rögzített számát hagyja meg; - a **Top-p** az tokenek dinamikus „magját\\ hagyja meg, amelyek összesített valószínűsége elér egy megadott küszöbértéket.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Ez a korlátozás csökkenti annak kockázatát, hogy a modell a megbízhatatlan farokból választ túlságosan gyenge folytatást, de ugyanakkor nem kényszeríti arra, hogy minden alkalommal csak egyetlen „legjobb\\ változatot vegyen. Ennek köszönhetően a csonkítási módszerek gyakran köztes megoldásnak bizonyulnak két szélsőség között: - a túlságosan merev maximalizálás; - a túlságosan szabad és zajos mintavételezés között.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Később Finlayson és szerzőtársai szigorúbb elméleti értelmezést javasoltak erre a hatékonyságra. Megmutatják, hogy a truncation-módszerek segítenek eldobni azokat a tokeneket, amelyek nagyobb valószínűséggel megbízhatatlanok a szöveg valódi eloszlásának szempontjából. Ezért a csonkítás nemcsak mérnöki heurisztikai eljárásnak tekinthető, hanem a következő token kiválasztásakor a szisztematikus hibák valószínűségének csökkentési módjaként is.[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) ### Modern stratégiák A későbbi módszerek, mint a **locally typical sampling**, a degeneratív ismétlések csökkentésére törekednek, miközben megőrzik a generálás minőségét.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Hasonlóképpen, a **contrastive search** olyan módszerként javasolták, amely növeli a változatosságot a szöveg koherenciájának feláldozása nélkül.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-contrastive2022-4) Ezek a módszerek azt az elképzelést fejlesztik tovább, hogy a probléma nemcsak abban rejlik, **hány** tokent kell megtartani, hanem abban is, hogy **pontosan melyik** tokeneket érdemes jó jelöltnek tekinteni. A **locally typical sampling** nem csupán a magas valószínűségre, hanem a token információtartalmának a várható feltételes entrópiához való közelségére orientálódik. Ez lehetővé teszi olyan helyzetek csökkentését, amikor a modell: - túlságosan közhelyes és „üres\\ folytatásokat választ; - degeneratív ismétlésekbe kerül; - nyilvánvaló hurkok nélkül is túlságosan kiszámíthatóvá válik.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) A **contrastive search** eltérő logikát alkalmaz: arra törekszik, hogy olyan folytatásokat válasszon, amelyek egyszerre maradnak hihetők, és nem túlságosan hasonlítanak a már generált kontextushoz. Ennek köszönhetően csökken annak valószínűsége, hogy a modell ugyanazokat a szerkezeteket erősítse csak azért, mert lokálisan nagyon valószínűek.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-contrastive2022-4) A klasszikus dekódolási stratégiákhoz képest ezek a módszerek nem csupán korlátozni próbálják a választást, hanem magát a kiválasztási kritériumot teszik érzékenyebbé a hosszú generálás minőségére — vagyis arra, hogy a szöveg több mondaton vagy bekezdésen át tartalmas, változatos és koherens marad-e.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3)[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-contrastive2022-4) ### Függőség a dekódolási módtól A neurális degeneráció és a dekódolás közötti kapcsolat nem vezethető vissza a „jó\\ és „rossz\\ módszerek egyszerű szembeállítására. Ugyanaz az algoritmus eltérően viselkedhet attól függően, hogy milyen szigorúan vagy szabadon korlátozza az eloszlást minden egyes lépésben.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Általánosan három módot lehet megkülönböztetni: - **túlságosan merev választás** — a modell szinte mindig a legvalószínűbb tokeneket veszi, ami erősíti a sablonosságot és az ismétléseket; - **túlságosan szabad választás** — a modell túlságosan széleskörű hozzáférést kap a gyenge folytatásokhoz, ami növeli az inkoherencia kockázatát; - **mérsékelten korlátozott választás** — a modell megőrzi a változatosságot, de az eloszlás elegendően megbízható részén belül marad.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) Éppen ezért a neurális degenerációt gyakran nemcsak a modell minőségének, hanem a **nem megfelelő dekódolási módnak** is következményeként kezelik: túlságosan merevnek, túlságosan engedékenynek, vagy az adott generálási feladathoz rosszul illeszkedőnek.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) **Egyszerűbben szólva,** az elfajulás leggyakrabban két szélsőségen lép fel: amikor a modell vagy túlságosan mereven csak a legvalószínűbb szavakat választja, vagy éppen ellenkezőleg, túl sok szabadságot kap, és véletlenszerű gyenge folytatásokat kezd húzni. A legstabilabb stratégiák általában ezek között a szélső módok között helyezkednek el.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) ## Enyhítési módszerek Bár a neurális szövegdegeneráció teljes kiküszöbölésének nincs univerzális módja, a gyakorlatban számos módszert fejlesztettek ki, amelyek lehetővé teszik legjellemzőbb megnyilvánulásainak — mindenekelőtt az ismétléseknek, a sablonosságnak, a koherenciavesztésnek és az eloszlás „zajos\\ farkának befogásának — jelentős csökkentését. Ezek a módszerek abban különböznek egymástól, **hogyan pontosan** korlátozzák a következő token kiválasztását: egyesek egyszerűen elvágják a gyenge változatokat, mások finomabban veszik figyelembe az eloszlás alakját, megint mások közvetlenül próbálják egyensúlyba hozni a koherenciát és a változatosságot.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2)[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shi2024-5) ### Az eloszlás csonkítása A neurális degeneráció elleni leggyakoribb módszer — a következő token kiválasztásának korlátozása nem az egész szótárra, hanem csak a leghihetőbb részére. Ezen alapul a Top-p és a Top-k.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) E módszerek alapgondolata abban áll, hogy a modell nem választhat szabadon az összes lehetséges token közül, mivel az eloszlás jelentős része a „megbízhatatlan farokban\\ van, ahol gyenge, zajos vagy rosszul illeszkedő változatok halmozódnak fel. A csonkítás lehetővé teszi a kiválasztási tér **mesterséges szűkítését**, és ezáltal csökkenti annak valószínűségét, hogy a generálás hirtelen inkoherenciába csúszik vagy bomlásnak indul.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) A gyakorlatban két legismertebb sémát alkalmaznak: - **Top-k** — csak a legtöbb valószínűségű tokenek rögzített számát hagyja meg; - **Top-p** (*nucleus sampling*) — az tokenek dinamikus „magját\\ hagyja meg, amelyek összesített valószínűsége elér egy megadott $p$ küszöbértéket.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Általános értelmük egy: nem hagyni, hogy a modell túl sok gyenge folytatás közül választhasson. Eközben a Top-p általában rugalmasabbnak tekinthető, mivel az elfogadható halmaz mérete lépésről lépésre változik az eloszlás aktuális alakjától függően.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) Finlayson és szerzőtársai szigorúbb értelmezést javasoltak arra vonatkozóan, hogy a truncation-módszerek miért működnek gyakran: a csonkítás segít eldobni azokat a tokeneket, amelyek esetleg nem tartoznak a szöveg „valódi\\ eloszlásának tartományába, vagyis a modell szempontjából különösen megbízhatatlanok. Ezért az ilyen módszerek nemcsak mechanikusan „vágják le a farkat\\, hanem ténylegesen csökkentik a szisztematikus hibák valószínűségét a token kiválasztásának lépésében.[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) **Egyszerűbben szólva,** az eloszlás csonkítása segít a modellnek abban, hogy ne menjen túl messzire a gyenge és véletlenszerű változatok tartományába. Ennek köszönhetően a szöveg sűrűbben marad koherensebb, természetesebb és kevésbé hajlamos a degenerációra. ### Adaptívabb mintavételezési módszerek A locally typical sampling, az η-mintavételezés és a rokon megközelítések nem csupán „levágni a farkat\\ próbálják, hanem figyelembe veszik az eloszlás alakját és a generálás jelenlegi lépésének információs szerkezetét.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Az egyszerű csonkítástól eltérően az ilyen módszerek nem csupán azt igyekeznek figyelembe venni, hogy **mennyire valószínű** a token, hanem azt is, hogy **mennyire tipikus** az adott kontextusban. Ez azért fontos, mert a degeneráció nemcsak a túlságosan gyenge tokenek miatt lép fel, hanem a túlságosan „biztonságos\\ és közhelyes folytatások túlzott preferenciája miatt is.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Például a **locally typical sampling** a token információtartalmának a várható feltételes entrópiához való közelségére orientálódik. Más szóval nem csupán a legvalószínűbb szavakat igyekszik kiválasztani, hanem azokat, amelyek jobban megfelelnek a kontextus szempontjából az informatívság „normális\\ szintjének. Ez lehetővé teszi a csökkentését: - a degeneratív ismétléseknek; - a túlzott sablonosságnak; - a szöveg szemantikai elszegényedésének az általános koherencia megőrzése mellett.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Hasonló logikát alkalmaznak más adaptív módszerek is: az egyszerű rögzített elvágás helyett az eloszlás aktuális állapotához alkalmazkodnak. Ennek köszönhetően a modell kevésbé hajlamos két szélsőségbe esni: - vagy túlságosan kiszámíthatóvá és „lapossá\\ válni; - vagy túlságosan gyenge és zajos folytatásokat befogni.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3) Az ilyen módszerek általában nehezebbek értelmezésben és beállításban, mint a Top-k vagy a Top-p, azonban jobban megbirkózhatnak a degeneráció finom formáival, ahol a probléma nem a nyilvánvaló inkoherenciában, hanem az informatívság elvesztésében és a nyelvi sablonok ismétlődésében rejlik.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-meister2023-3)[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shi2024-5) **Egyszerűbben szólva,** az adaptívabb módszerek nemcsak a gyenge szavakat igyekeznek eltávolítani, hanem azokat a folytatásokat megtartani, amelyek az aktuális kontextushoz értelemben és „természetességben\\ jobban illenek. ### Contrastive search A contrastive search és a rokon módszerek egyszerre igyekeznek fenntartani a koherenciát és a változatosságot, csökkentve azokat az ismétléseket, amelyek a strictly maximization-based dekódolásnál gyakran fellépnek.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-contrastive2022-4) A contrastive megközelítés lényege abban áll, hogy nem csupán a következő token valószínűségére támaszkodik. Ehelyett a jelölt kiválasztása két követelmény kompromisszumaként épül fel: - a folytatásnak elégségesen hihetőnek kell lennie; - a folytatásnak nem szabad túlságosan hasonlítania a már generált kontextushoz, és ezáltal nem erősíthet ismétlést.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-contrastive2022-4) Ennek köszönhetően a contrastive search éppen azokat a folytatásokat igyekszik elnyomni, amelyek formálisan nagyon valószínűnek tűnnek, de a gyakorlatban hurokba kerüléshez, sablonossághoz vagy túlzottan egyhangú generáláshoz vezetnek. A tiszta mintavételezéssel ellentétben ez a megközelítés nem a véletlenszerűséget vezeti be a degeneráció elleni küzdelem fő mechanizmusaként, hanem célirányosan igyekszik **elegendően valószínű, de kevésbé degeneratív** folytatásokat kiválasztani.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-contrastive2022-4) Az ilyen módszerek azért különösen fontosak, mert a klasszikus maximization-based stratégiák gyakran magas lokális bizonyosságot adnak, de ezért a szöveg természetességével fizetnek. A contrastive search igyekszik megőrizni a determinisztikus választás erős oldalait — a koherenciát és a stabilitást — miközben egyidejűleg csökkenti az ismétléseket és az egyhangúságot.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-contrastive2022-4) **Egyszerűbben szólva,** a contrastive search nem csupán azért vesz fel folytatást, mert az a legvalószínűbb. Emellett „bünteti\\ a túlságosan egyhangú változatokat, hogy a szöveg ne kerüljön hurokba és ne váljon túlságosan sablonosává. ### A stratégia illesztése a feladathoz Későbbi kutatások hangsúlyozzák, hogy nincs univerzális módszer: egy adott dekódolási stratégia hatékonysága a feladat típusától, a modell méretétől, az összehangolástól és más tényezőktől függ. Ami jól működik dialógusgenerálásnál vagy esszéknél, az rosszabbul működhet kódban, matematikában vagy más determinisztikus tartományokban.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shi2024-5) Ez azt jelenti, hogy a neurális degeneráció elleni küzdelem nemcsak a „legjobb\\ algoritmus kiválasztása, hanem **a módszer és a feladattípus összevetése** is. Nyílt generálásban (történetek, dialógusok, hosszú válaszok) a mintavételezési módszerek és a rugalmasabb kiválasztási sémák gyakran segítenek megőrizni a változatosságot és a természetességet. Szigorúbb és determinisztikusabb feladatokban — például programozásban, matematikában vagy egyértelmű helyes választ igénylő feladatokban — a túlságosan agresszív sztochasztika éppen ellenkezőleg ronthatja az eredmény minőségét.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shi2024-5) Shi és szerzőtársai szintén megmutatják, hogy a végeredményt nemcsak maga a dekódolási stratégia befolyásolja, hanem: - a modell mérete; - összehangolásának foka; - a hiperparaméterekre való érzékenység; - a telepítési környezet és az inferencia korlátai.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shi2024-5) Ebből fontos praktikus következtetés adódik: ugyanaz a módszer erősnek tűnhet az egyik konfigurációban, és észrevehetően gyengébbnek — egy másikban. Ezért a neurális degeneráció enyhítése a gyakorlatban szinte mindig paraméterek hangolását és az adott feladatosztályon való tesztelést igényli, nem pedig egyetlen „univerzális\\ receptre való támaszkodást.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shi2024-5) **Egyszerűbben szólva,** a jó dekódolási módszer attól függ, hogy a modell pontosan mit csinál. Szabad szövegnél az egyik módszerek működnek jobban, kódnál, matematikánál és más pontos feladatoknál — mások. ### Módszerek kombinálása A gyakorlatban az enyhítési módszereket nem ritkán nem izoláltan, hanem egymással kombinálva alkalmazzák. Például az eloszlás csonkítása hőmérséklettel együtt alkalmazható, a bonyolultabb stratégiák pedig kiegészítő token-kiválasztási korlátokkal kombinálhatók.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shi2024-5) Az ilyen kombinációk értelme abban áll, hogy felosztják a funkciókat: - az egyik mechanizmus meghatározza az általános változatossági szintet; - egy másik korlátozza a „zajos\\ farkat; - egy harmadik csökkenti az ismétlések vagy a sablonosság kockázatát.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-contrastive2022-4) Azonban az egyidejűleg hangolható mechanizmusok számának növelése bonyolultabbá teszi a modell viselkedésének felügyeletét. Ezért a bonyolultabb séma nem mindig jelent jobb minőségű eredményt: a nyereség gyakran attól függ, mennyire jól vannak beállítva a hiperparaméterek, és mennyire felel meg az adott kombináció a feladatnak.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shi2024-5) **Más szóval,** a neurális degeneráció enyhítése leggyakrabban nem egyetlen „mágikus\\ módszeren alapul, hanem több korlát gondos kombinációján, amelyek mindegyike a probléma saját részét szünteti meg. ## Nem tévesztendő össze a model collapse-szal A neurális szövegdegenerációt Holtzman és szerzőtársai értelmében nem szabad összekeverni a **model collapse** jelenséggel — egy külön jelenséggel, amelyet a modellek szintetikus adatokon való rekurzív tanításával kapcsolatos munkák vizsgálnak. Az első esetben elsősorban a szöveg degenerációjáról van szó **a generálás szakaszán** (inference), amikor a nem megfelelő dekódolási stratégia ismétlésekhez, sablonossághoz vagy koherenciavesztéshez vezet.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1) A másodikban — a modell degradációjáról **a tanítás szakaszán**, amikor a modell által generált adatok elkezdenek „beszennyezni\\ a következő generációs modellek tanítókészletét, ami ritka eseményeket eltűnéséhez és az eloszlás szűküléséhez vezethet.[\[6\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shumailov2024-6) Ezek a jelenségek tematikailag kapcsolódnak egymáshoz, mivel mindkettő a neurális szöveg minőségének romlásával foglalkozik, azonban az irodalomban általában különböző problémákként tárgyalják őket: az egyik a dekódoláshoz, a másik az adatokhoz és a tanításhoz tartozik.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[6\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shumailov2024-6) ## Jelentősége a nagy nyelvi modellek számára A nagy nyelvi modellek korszakában a neurális degeneráció problémája nem tűnt el, hanem a kis szöveggenerátorok területéről áthelyeződött a hatalmasabb rendszerek viselkedésének irányítási területére. Bár a modern LLM-ek általában jobban összehangoltak és ritkábban esnek durva ismétlési hurkokba, a dekódolási stratégia megválasztása továbbra is észrevehetően befolyásolja a kimenet természetességét, változatosságát és stabilitását.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-shi2024-5) Emiatt a neurális szövegdegenerációt nem a korai nyelvi modellek szűk hibájaként, hanem a praktikus generálás alapvető problémájaként kezelik: a jó valószínűségi modellezés önmagában nem garantál jó szöveget az inferencia szakaszán.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_note-finlayson2024-2) ## Lásd még - Top-p mintavételezés - Top-k mintavételezés - Hőmérséklet - Nagy nyelvi modellek ## Irodalom - Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; megjelent: ICLR 2020). *The Curious Case of Neural Text Degeneration*. arXiv:1904.09751. - Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). *Closing the Curious Case of Neural Text Degeneration*. arXiv:2310.01693. - Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). *Locally Typical Sampling*. TACL 2023. - Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). *A Thorough Examination of Decoding Methods in the Era of LLMs*. EMNLP 2024. - Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). *A Contrastive Framework for Neural Text Generation*. arXiv:2202.06417. - Shumailov, I. et al. (2024). *AI models collapse when trained on recursively generated data*. Nature 2024. ## Megjegyzések 1. ↑ [1.00](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-0) [1.01](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-1) [1.02](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-2) [1.03](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-3) [1.04](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-4) [1.05](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-5) [1.06](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-6) [1.07](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-7) [1.08](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-8) [1.09](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-9) [1.10](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-10) [1.11](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-11) [1.12](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-12) [1.13](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-13) [1.14](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-14) [1.15](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-15) [1.16](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-16) [1.17](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-17) [1.18](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-18) [1.19](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-19) [1.20](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-20) [1.21](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-21) [1.22](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-22) [1.23](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-23) [1.24](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-24) [1.25](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-25) [1.26](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-26) [1.27](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-27) [1.28](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-28) [1.29](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-29) [1.30](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-30) [1.31](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-31) [1.32](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-32) [1.33](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-33) [1.34](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-34) [1.35](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-35) [1.36](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-36) [1.37](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-37) [1.38](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-38) [1.39](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-39) [1.40](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-40) [1.41](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-41) [1.42](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-42) [1.43](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-43) [1.44](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-44) [1.45](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-45) [1.46](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-46) [1.47](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-holtzman2019_1-47) Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019). *The Curious Case of Neural Text Degeneration*. arXiv:1904.09751. [1] 2. ↑ [2.00](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-0) [2.01](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-1) [2.02](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-2) [2.03](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-3) [2.04](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-4) [2.05](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-5) [2.06](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-6) [2.07](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-7) [2.08](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-8) [2.09](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-9) [2.10](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-10) [2.11](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-finlayson2024_2-11) Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). *Closing the Curious Case of Neural Text Degeneration*. arXiv:2310.01693. [2] 3. ↑ [3.00](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-0) [3.01](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-1) [3.02](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-2) [3.03](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-3) [3.04](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-4) [3.05](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-5) [3.06](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-6) [3.07](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-7) [3.08](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-8) [3.09](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-9) [3.10](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-10) [3.11](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-11) [3.12](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-12) [3.13](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-13) [3.14](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-14) [3.15](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-15) [3.16](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-16) [3.17](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-17) [3.18](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-18) [3.19](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-meister2023_3-19) Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). *Locally Typical Sampling*. *Transactions of the Association for Computational Linguistics*, 11. [3] 4. ↑ [4.0](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-contrastive2022_4-0) [4.1](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-contrastive2022_4-1) [4.2](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-contrastive2022_4-2) [4.3](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-contrastive2022_4-3) [4.4](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-contrastive2022_4-4) [4.5](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-contrastive2022_4-5) [4.6](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-contrastive2022_4-6) [4.7](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-contrastive2022_4-7) Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). *A Contrastive Framework for Neural Text Generation*. arXiv:2202.06417. [4] 5. ↑ [5.0](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shi2024_5-0) [5.1](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shi2024_5-1) [5.2](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shi2024_5-2) [5.3](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shi2024_5-3) [5.4](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shi2024_5-4) [5.5](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shi2024_5-5) [5.6](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shi2024_5-6) [5.7](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shi2024_5-7) [5.8](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shi2024_5-8) Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). *A Thorough Examination of Decoding Methods in the Era of LLMs*. EMNLP 2024. [5] 6. ↑ [6.0](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shumailov2024_6-0) [6.1](https://systems-analysis.info/int/Neural_Text_Degeneration_(HU)#cite_ref-shumailov2024_6-1) Shumailov, I. et al. (2024). *AI models collapse when trained on recursively generated data*. *Nature*. [6]