Neural Text Degeneration (HU)

Neurális szövegdegeneráció, más néven szöveg elfajulása neurális generáció során (ang. Neural Text Degeneration), — a neurális nyelvi modellek szöveggenerálási patológiáinak egy osztálya, amelynek során a kimenet természetellenessé válik: túlzottan ismétlődővé, sablonosá, tartalomszegénnyé, vagy elveszti koherenciáját. A fogalom széles körben elterjedt Ari Holtzman és szerzőtársai The Curious Case of Neural Text Degeneration (2019; ICLR 2020) munkája után, amelyben kimutatták, hogy a közvetlen valószínűség-maximalizáláson alapuló dekódolási stratégiák nyílt szöveggenerálási feladatoknál gyakran gyenge minőségű eredményt adnak.

Egyszerű magyarázat

A neurális szövegdegeneráció azt a jelenséget jelenti, amikor a modell formálisan folytatja a szöveget, de ezt a természetes beszéd szempontjából rosszul teszi.

Ez általában így néz ki:

• a modell elkezdi ismételni ugyanazokat a szavakat vagy kifejezéseket;
• a szöveg túlságosan sablonosá és „élettelenné" válik;
• a válasz elveszti szemantikai koherenciáját;
• a folytatásba véletlenszerű vagy szerencsétlen szavak kerülnek.

Más szóval, a modell vagy túlságosan „óvatossá\" válik, és mindig ugyanazt választja, vagy éppen ellenkezőleg, túl sok szabadságot kap, és gyenge, zajos folytatásokat kezd előállítani. Mindkét esetben a szöveg elveszíti a természetes emberi beszédre való hasonlóságát.

A kutatás története

A problémát Holtzman és szerzőtársai 2019-ben részletesen megfogalmazták nyílt szöveggenerálás kapcsán — elsősorban történetek, szabad folytatások és dialógusválaszok esetén. A szerzők megmutatták, hogy a valószínűség-maximalizálásra orientált dekódolási módszerek, mint a mohó keresés (greedy search) és a sugárkeresés (beam search), nyílt feladatoknál gyakran természetellenes, ismétlődő és tartalomszegény sorozatokhoz vezetnek.

Ugyanabban a munkában kimutatták, hogy az ellentétes megközelítés — a tiszta sztochasztikus mintavételezés csonkítás nélkül — szintén problematikus, mivel a modell a valószínűségi eloszlás „megbízhatatlan farkából" is választhat tokeneket. Ez rontja a koherenciát és növeli a véletlenszerű, rosszul illeszkedő folytatások kockázatát.

Későbbi munkák pontosították és kibővítették ezt a magyarázatot. Különösen Finlayson és szerzőtársai javasoltak elméleti értelmezést arra vonatkozóan, hogy a csonkítási módszerek (pl. Top-p) miért segítenek csökkenteni a szövegdegenerációt: a farok csonkítása lehetővé teszi az olyan tokenek elkerülését, amelyekre a modell különösen megbízhatatlan.

Meister és szerzőtársai a degeneráció problémáját emellett a lokális tipikusság megsértésével hozták összefüggésbe: az emberi szöveg általában igyekszik a várható feltételes entrópiához közeli információtartalmat fenntartani, nem csupán maximalizálni a következő token valószínűségét.

Fő megnyilvánulások

A neurális szövegdegeneráció nemcsak nyilvánvaló ismétlések formájában nyilvánulhat meg, hanem rejtettebb formákban is: a szemantikai elszegényedéstől a koherencia fokozatos bomlásáig. Ilyen szövegek kifelé gyakran nyelvtanilag helyesek maradnak, azonban észrevehetően eltérnek a természetes emberi beszédtől változatosságban, informatívságban és a gondolatmenet fejlődésének stabilitásában.

Ismétlések és hurokba kerülés

A legismertebb forma — tokenek, kifejezések vagy egész szintaktikai szerkezetek ismétlése. A szöveg „körbe-körbe jár", szinte azonos folytatásokat adva újra és újra.

Az ilyen elfajulás különböző szinteken nyilvánulhat meg:

• egyedi szavak ismétléseként;
• ugyanazon kifejezés kényszeres újratermelésként;
• ugyanahhoz a gondolathoz való ciklikus visszatérésként;
• ugyanazon szintaktikai séma minimális változtatásokkal történő többszöri másolásaként.

Különösen jellemző, hogy az ismétlések gyakran önfenntartókká válnak: az egyszer létrejött szerkezet erősíteni kezdi önmagát, mivel a modell továbbra is a már generált fragmentumra támaszkodik, és azt kissé módosított formában újra reprodukálja. Ennek eredményeként a szöveg látszólag előre haladhat, de valójában tartalmilag fejlődni megszűnik.

Sablonosság és a tartalom elszegényedése

Még ha nincsenek is nyilvánvaló hurkok, a modell túlságosan kiszámítható és tartalomszegény szöveget produkálhat. Az ilyen kimenet nyelvtanilag helyes marad, de közhelyessé, egyhangúvá és információban szegénnyé válik.

A degeneráció e formájában a szöveg „helyesnek" tűnik, de túlzottan biztonságos és átlagos benyomást kelt. A modell a leginkább várt szavakat és fordulatokat részesíti előnyben, aminek következtében:

• csökken a szókincsbeli változatosság;
• ugyanazok a nyelvi sablonok ismétlődnek sűrűbben;
• eltűnnek a kevésbé nyilvánvaló, de tartalmasabb megfogalmazások;
• a szöveg formájában simábbá, de jelentésében szegényebbé válik.

Éppen ezért a degeneráció nem mindig nyilvánvaló hibának tűnik: néha túlságosan kiszámítható, „egyenletes" és üres szövegként nyilvánul meg, amely formálisan helyesen íródott, de alig ad új információt.

Koherenciavesztés

Túlzott véletlenszerűség vagy az eloszlás farkának gyenge kontrollja esetén a generálás megőrizheti a lokális nyelvtani helyességet, de elveszítheti az általános szemantikai összefüggést: nem illő szavak, váratlan témaváltások és logikai törések kerülhetnek a szövegbe.

Ilyen helyzetben a szomszédos mondatok külön-külön elfogadhatóknak tűnhetnek, azonban közöttük gyengülnek az ok-okozati, tematikai és logikai kapcsolatok. Ez abban nyilvánul meg, hogy:

• a mondat nyelvtanilag helyes, de rosszul kapcsolódik az előzőhöz;
• a gondolat hirtelen irányt vált egyértelmű átmenet nélkül;
• lokálisan elfogadható, de kontextuálisan nem illő folytatások jelennek meg a szövegben;
• az érvelés általános menete lazává és bizonytalanná válik.

Más szóval, a modell megőrizheti az egyes mondatok szintjén a lokális simaságot, de elveszítheti az egész bekezdés vagy hosszú válasz szintjén a globális koherenciát.

Szemantikai sodródás

A degeneráció egy másik formája — a jelentés fokozatos eltolódása, amelynek során a szöveg nem omlík össze azonnal, hanem lassan távolodik az eredeti témától, feladattól vagy elbeszélési vonaltól.

A nyilvánvaló inkoherenciával ellentétben itt a degradáció fokozatosan fejlődik:

• a modell releváns válasszal kezd;
• majd egyre általánosabb vagy lazán kapcsolódó részleteket ad hozzá;
• ezt követően az eredeti téma elmosódik;
• végül a szöveg formálisan folyékony maradhat, de már rosszul felel meg az eredeti kérésre.

Az ilyen sodródás különösen feltűnő hosszú generálás esetén: a modell nem szükségszerűen kerül hurokba, de lépésről lépésre elveszíti a tematikai fegyelmet, és a folytatás megszűnik valóban releváns lenni.

Az informatívság csökkenése

A degeneráció nemcsak ismétlésekben fejezhető ki, hanem abban is, hogy a szöveg megszűnik új információt hozzáadni. A modell tovább ír, azonban a kimenet szemantikai „sűrűsége" csökken, és a folytatás tartalmilag üressé válik.

Az ilyen szövegben a szavak és mondatok továbbra is gyűlnek, de a szemantikai előrehaladás lelassul. Az új mondatok:

• újrafogalmazzák a már elmondottakat;
• minimális mennyiségű új tényt adnak hozzá;
• a konkrétumokat általános szavakra cserélik;
• fenntartják a szöveg terjedelmét a tartalom arányos növekedése nélkül.

Ez különösen fontos, mivel az ilyen jellegű degradáció kevésbé feltűnőnek tűnhet, mint a nyilvánvaló ismétlések: a szöveg „normálisnak" látszik, de figyelmesebb olvasáskor kiderül, hogy alapvetően ugyanazt a gondolatot ismétli különböző szavakkal.

Rejtett degeneráció nyilvánvaló hibák nélkül

Nem minden neurális degeneráció tűnik durva meghibásodásnak. Egyes esetekben a szöveg nem tartalmaz nyilvánvaló hurkokat, éles logikai töréseket vagy szembeötlő „zajt\", mégis észrevehetően eltér a természetes emberi írástól.

Ez a rejtett forma az alábbiak kombinációjaként nyilvánul meg:

• túlzott kiszámíthatóság;
• a mondatok egyforma ritmusa;
• biztonságos, de gyenge megfogalmazások;
• a meglepetés, az árnyalatok és a szemantikai mélység hiánya.

Éppen ezért a neurális szövegdegeneráció nem korlátozódik pusztán a hurokba kerülésre. Tünetek szélesebb spektrumát fogja át — a nyilvánvaló ismétlésektől a finom szemantikai elszegényedésig, amelynek során a szöveg formálisan helyes marad, de elveszíti változatosságát, kifejezőerejét és tartalmi értékét.

Okok

Az edzés és a dekódolás közötti eltérés

A nyelvi modellek általában a következő token valószínűségi eloszlás szerinti előrejelzésére tanulnak. Azonban szöveggenerálásnál a szöveget gyakran nem ebből az eloszlásból mintavételezéssel nyerik ki, hanem olyan eljárásokkal, amelyek minden lépésben vagy az egész sorozaton szigorúan maximalizálják a valószínűséget. A tanítási célok és a dekódolási szabályok közötti ez az eltérés az elfajulás egyik kulcsos oka a nyílt feladatoknál.

Az eloszlás „megbízhatatlan farka\"

Másrészt a mintavételezés teljes szabadsága szintén káros lehet. Még a nagyon kis valószínűségű tokeneknek is általában nullától eltérő valószínűségük van, és közöttük sok gyenge, zajos vagy rosszul illeszkedő változat található. Ha a modell az ilyen farokból választ tokent, a folytatás minősége drasztikusan romlhat.

A lokális tipikusság megsértése

Meister és szerzőtársai a degenerációt azzal hozzák összefüggésbe, hogy a természetes szöveg általában a várható feltételes entrópiához közeli információtartalmat tart fenn. Ha a dekódolás rendszeresen eltávolodik ettől a „tipikusságtól\", a szöveg vagy túlságosan közhelyessé, vagy túlságosan zajossá válhat.

Kapcsolat a dekódolási módszerekkel

A neurális szövegdegeneráció szorosan összefügg nemcsak a nyelvi modell minőségével, hanem azzal is, hogyan pontosan választják ki a következő tokent a valószínűségi eloszlásból. Ugyanaz a valószínűségi készlet észrevehetően eltérő eredményt adhat a dekódolási stratégiától függően: egyes módszerek fokozzák az ismétléseket és a sablonosságot, mások növelik a változatosságot, de kockáztatják a koherencia elvesztését, megint mások a két szélsőség közötti kompromisszumot próbálják megőrizni.

Mohó keresés és beam search

A mohó keresés és a sugárkeresés különösen hajlamos az ismétlésekre és a sablonosságra nyílt generálási feladatokban, mivel szisztematikusan a legvalószínűbb folytatásokat részesíti előnyben.

A mohó keresés esetén a modell minden lépésben a legtöbb valószínűségű egyetlen tokent választja. Ez a megközelítés jól működik ott, ahol a feladatnak viszonylag szűk helyes válaszkészlete van, azonban szabad generálásban a szöveget gyakran túlságosan kiszámíthatóvá teszi. A modell újra és újra a leginkább „biztonságos\" folytatásokat választja, aminek következtében:

• erősödik a már választott szerkezetek ismétlésére való hajlam;
• csökken a megfogalmazások változatossága;
• a szöveg sablonosabbá és tartalomban szegényebbé válik.

A sugárkeresés (beam search) részben kiszélesíti a keresési teret, mivel egyszerre több legvalószínűbb hipotézist követ. Azonban nyílt szöveges feladatokban ez nem mindig óv meg a degenerációtól. Éppen ellenkezőleg, a valószínűség-maximalizálásra való általános orientáció miatt ez is szisztematikusan előnyben részesíthet túlságosan „helyes\", de kevéssé természetes folytatásokat, növelve a kockázatát:

• az egyhangúságnak;
• az ismétlődésnek;
• a túlzottan sima, de tartalomszegény szövegnek.

Más szóval azok a módszerek, amelyek túlságosan következetesen a legvalószínűbb folytatást választják, gyakran nyernek a lokális kiszámíthatóságban, de veszítenek a hosszú generálás természetességében.

Tiszta mintavételezés

A nem szigorúan korlátozott mintavételezés növeli a változatosságot, de további szűrők nélkül az eloszlás farkából sűrűbben vesz fel gyenge tokeneket, ami ronthatja a szöveg koherenciáját.

A tiszta mintavételezés során a következő tokent véletlenszerűen választják a modell teljes valószínűségi eloszlása szerint. A mohó kereséssel vagy a beam search-csel ellentétben ez a megközelítés több szabadságot ad a modellnek, és segít elkerülni a túl korai „beragadást\" ugyanabba a sablonba.

Ennek a szabadságnak azonban van egy másik oldala. Még ha sok token valószínűsége nagyon kicsi is, általában nullától eltérő esélyük van arra, hogy kiválasszák őket. Emiatt a modell az eloszlás „farkából\" vehet fel folytatásokat, ahol sűrűbben fordulnak elő:

• véletlenszerű és kontextuálisan gyenge szavak;
• rosszul illeszkedő folytatások;
• lokálisan elfogadható, de a szöveg általános koherenciáját rontó tokenek.

Ennek eredményeként a tiszta mintavételezés gyakran csökkenti a sablonosságot, de egyúttal kevésbé stabilissá teszi a szöveget: változatos maradhat, de lazábbá, következetlenebbé vagy szemantikailag instabilabbá válik.

Az eloszlás csonkítási módszerei

Az eloszlás csonkítási módszerei — mindenekelőtt a Top-p és a Top-k — a degeneráció csökkentésének praktikus módjaként javasoltak. Korlátozzák az elfogadható tokenek halmazát, és ezáltal csökkentik a sikertelen folytatások valószínűségét.

E módszerek általános logikája abban áll, hogy nem engedik a modellnek, hogy a következő tokent az egész szótárból válassza. Ehelyett csak az eloszlás leghihetőbb részét veszi figyelembe:

• a Top-k csak a legtöbb valószínűségű tokenek rögzített számát hagyja meg;
• a Top-p az tokenek dinamikus „magját\" hagyja meg, amelyek összesített valószínűsége elér egy megadott küszöbértéket.

Ez a korlátozás csökkenti annak kockázatát, hogy a modell a megbízhatatlan farokból választ túlságosan gyenge folytatást, de ugyanakkor nem kényszeríti arra, hogy minden alkalommal csak egyetlen „legjobb\" változatot vegyen. Ennek köszönhetően a csonkítási módszerek gyakran köztes megoldásnak bizonyulnak két szélsőség között:

• a túlságosan merev maximalizálás;
• a túlságosan szabad és zajos mintavételezés között.

Később Finlayson és szerzőtársai szigorúbb elméleti értelmezést javasoltak erre a hatékonyságra. Megmutatják, hogy a truncation-módszerek segítenek eldobni azokat a tokeneket, amelyek nagyobb valószínűséggel megbízhatatlanok a szöveg valódi eloszlásának szempontjából. Ezért a csonkítás nemcsak mérnöki heurisztikai eljárásnak tekinthető, hanem a következő token kiválasztásakor a szisztematikus hibák valószínűségének csökkentési módjaként is.

Modern stratégiák

A későbbi módszerek, mint a locally typical sampling, a degeneratív ismétlések csökkentésére törekednek, miközben megőrzik a generálás minőségét. Hasonlóképpen, a contrastive search olyan módszerként javasolták, amely növeli a változatosságot a szöveg koherenciájának feláldozása nélkül.

Ezek a módszerek azt az elképzelést fejlesztik tovább, hogy a probléma nemcsak abban rejlik, hány tokent kell megtartani, hanem abban is, hogy pontosan melyik tokeneket érdemes jó jelöltnek tekinteni.

A locally typical sampling nem csupán a magas valószínűségre, hanem a token információtartalmának a várható feltételes entrópiához való közelségére orientálódik. Ez lehetővé teszi olyan helyzetek csökkentését, amikor a modell:

• túlságosan közhelyes és „üres\" folytatásokat választ;
• degeneratív ismétlésekbe kerül;
• nyilvánvaló hurkok nélkül is túlságosan kiszámíthatóvá válik.

A contrastive search eltérő logikát alkalmaz: arra törekszik, hogy olyan folytatásokat válasszon, amelyek egyszerre maradnak hihetők, és nem túlságosan hasonlítanak a már generált kontextushoz. Ennek köszönhetően csökken annak valószínűsége, hogy a modell ugyanazokat a szerkezeteket erősítse csak azért, mert lokálisan nagyon valószínűek.

A klasszikus dekódolási stratégiákhoz képest ezek a módszerek nem csupán korlátozni próbálják a választást, hanem magát a kiválasztási kritériumot teszik érzékenyebbé a hosszú generálás minőségére — vagyis arra, hogy a szöveg több mondaton vagy bekezdésen át tartalmas, változatos és koherens marad-e.

Függőség a dekódolási módtól

A neurális degeneráció és a dekódolás közötti kapcsolat nem vezethető vissza a „jó\" és „rossz\" módszerek egyszerű szembeállítására. Ugyanaz az algoritmus eltérően viselkedhet attól függően, hogy milyen szigorúan vagy szabadon korlátozza az eloszlást minden egyes lépésben.

Általánosan három módot lehet megkülönböztetni:

• túlságosan merev választás — a modell szinte mindig a legvalószínűbb tokeneket veszi, ami erősíti a sablonosságot és az ismétléseket;
• túlságosan szabad választás — a modell túlságosan széleskörű hozzáférést kap a gyenge folytatásokhoz, ami növeli az inkoherencia kockázatát;
• mérsékelten korlátozott választás — a modell megőrzi a változatosságot, de az eloszlás elegendően megbízható részén belül marad.

Éppen ezért a neurális degenerációt gyakran nemcsak a modell minőségének, hanem a nem megfelelő dekódolási módnak is következményeként kezelik: túlságosan merevnek, túlságosan engedékenynek, vagy az adott generálási feladathoz rosszul illeszkedőnek.

Egyszerűbben szólva, az elfajulás leggyakrabban két szélsőségen lép fel: amikor a modell vagy túlságosan mereven csak a legvalószínűbb szavakat választja, vagy éppen ellenkezőleg, túl sok szabadságot kap, és véletlenszerű gyenge folytatásokat kezd húzni. A legstabilabb stratégiák általában ezek között a szélső módok között helyezkednek el.

Enyhítési módszerek

Bár a neurális szövegdegeneráció teljes kiküszöbölésének nincs univerzális módja, a gyakorlatban számos módszert fejlesztettek ki, amelyek lehetővé teszik legjellemzőbb megnyilvánulásainak — mindenekelőtt az ismétléseknek, a sablonosságnak, a koherenciavesztésnek és az eloszlás „zajos\" farkának befogásának — jelentős csökkentését. Ezek a módszerek abban különböznek egymástól, hogyan pontosan korlátozzák a következő token kiválasztását: egyesek egyszerűen elvágják a gyenge változatokat, mások finomabban veszik figyelembe az eloszlás alakját, megint mások közvetlenül próbálják egyensúlyba hozni a koherenciát és a változatosságot.

Az eloszlás csonkítása

A neurális degeneráció elleni leggyakoribb módszer — a következő token kiválasztásának korlátozása nem az egész szótárra, hanem csak a leghihetőbb részére. Ezen alapul a Top-p és a Top-k.

E módszerek alapgondolata abban áll, hogy a modell nem választhat szabadon az összes lehetséges token közül, mivel az eloszlás jelentős része a „megbízhatatlan farokban\" van, ahol gyenge, zajos vagy rosszul illeszkedő változatok halmozódnak fel. A csonkítás lehetővé teszi a kiválasztási tér mesterséges szűkítését, és ezáltal csökkenti annak valószínűségét, hogy a generálás hirtelen inkoherenciába csúszik vagy bomlásnak indul.

A gyakorlatban két legismertebb sémát alkalmaznak:

• Top-k — csak a legtöbb valószínűségű tokenek rögzített számát hagyja meg;
• Top-p (nucleus sampling) — az tokenek dinamikus „magját\" hagyja meg, amelyek összesített valószínűsége elér egy megadott $p$ küszöbértéket.

Általános értelmük egy: nem hagyni, hogy a modell túl sok gyenge folytatás közül választhasson. Eközben a Top-p általában rugalmasabbnak tekinthető, mivel az elfogadható halmaz mérete lépésről lépésre változik az eloszlás aktuális alakjától függően.

Finlayson és szerzőtársai szigorúbb értelmezést javasoltak arra vonatkozóan, hogy a truncation-módszerek miért működnek gyakran: a csonkítás segít eldobni azokat a tokeneket, amelyek esetleg nem tartoznak a szöveg „valódi\" eloszlásának tartományába, vagyis a modell szempontjából különösen megbízhatatlanok. Ezért az ilyen módszerek nemcsak mechanikusan „vágják le a farkat\", hanem ténylegesen csökkentik a szisztematikus hibák valószínűségét a token kiválasztásának lépésében.

Egyszerűbben szólva, az eloszlás csonkítása segít a modellnek abban, hogy ne menjen túl messzire a gyenge és véletlenszerű változatok tartományába. Ennek köszönhetően a szöveg sűrűbben marad koherensebb, természetesebb és kevésbé hajlamos a degenerációra.

Adaptívabb mintavételezési módszerek

A locally typical sampling, az η-mintavételezés és a rokon megközelítések nem csupán „levágni a farkat\" próbálják, hanem figyelembe veszik az eloszlás alakját és a generálás jelenlegi lépésének információs szerkezetét.

Az egyszerű csonkítástól eltérően az ilyen módszerek nem csupán azt igyekeznek figyelembe venni, hogy mennyire valószínű a token, hanem azt is, hogy mennyire tipikus az adott kontextusban. Ez azért fontos, mert a degeneráció nemcsak a túlságosan gyenge tokenek miatt lép fel, hanem a túlságosan „biztonságos\" és közhelyes folytatások túlzott preferenciája miatt is.

Például a locally typical sampling a token információtartalmának a várható feltételes entrópiához való közelségére orientálódik. Más szóval nem csupán a legvalószínűbb szavakat igyekszik kiválasztani, hanem azokat, amelyek jobban megfelelnek a kontextus szempontjából az informatívság „normális\" szintjének. Ez lehetővé teszi a csökkentését:

• a degeneratív ismétléseknek;
• a túlzott sablonosságnak;
• a szöveg szemantikai elszegényedésének az általános koherencia megőrzése mellett.

Hasonló logikát alkalmaznak más adaptív módszerek is: az egyszerű rögzített elvágás helyett az eloszlás aktuális állapotához alkalmazkodnak. Ennek köszönhetően a modell kevésbé hajlamos két szélsőségbe esni:

• vagy túlságosan kiszámíthatóvá és „lapossá\" válni;
• vagy túlságosan gyenge és zajos folytatásokat befogni.

Az ilyen módszerek általában nehezebbek értelmezésben és beállításban, mint a Top-k vagy a Top-p, azonban jobban megbirkózhatnak a degeneráció finom formáival, ahol a probléma nem a nyilvánvaló inkoherenciában, hanem az informatívság elvesztésében és a nyelvi sablonok ismétlődésében rejlik.

Egyszerűbben szólva, az adaptívabb módszerek nemcsak a gyenge szavakat igyekeznek eltávolítani, hanem azokat a folytatásokat megtartani, amelyek az aktuális kontextushoz értelemben és „természetességben\" jobban illenek.

Contrastive search

A contrastive search és a rokon módszerek egyszerre igyekeznek fenntartani a koherenciát és a változatosságot, csökkentve azokat az ismétléseket, amelyek a strictly maximization-based dekódolásnál gyakran fellépnek.

A contrastive megközelítés lényege abban áll, hogy nem csupán a következő token valószínűségére támaszkodik. Ehelyett a jelölt kiválasztása két követelmény kompromisszumaként épül fel:

• a folytatásnak elégségesen hihetőnek kell lennie;
• a folytatásnak nem szabad túlságosan hasonlítania a már generált kontextushoz, és ezáltal nem erősíthet ismétlést.

Ennek köszönhetően a contrastive search éppen azokat a folytatásokat igyekszik elnyomni, amelyek formálisan nagyon valószínűnek tűnnek, de a gyakorlatban hurokba kerüléshez, sablonossághoz vagy túlzottan egyhangú generáláshoz vezetnek. A tiszta mintavételezéssel ellentétben ez a megközelítés nem a véletlenszerűséget vezeti be a degeneráció elleni küzdelem fő mechanizmusaként, hanem célirányosan igyekszik elegendően valószínű, de kevésbé degeneratív folytatásokat kiválasztani.

Az ilyen módszerek azért különösen fontosak, mert a klasszikus maximization-based stratégiák gyakran magas lokális bizonyosságot adnak, de ezért a szöveg természetességével fizetnek. A contrastive search igyekszik megőrizni a determinisztikus választás erős oldalait — a koherenciát és a stabilitást — miközben egyidejűleg csökkenti az ismétléseket és az egyhangúságot.

Egyszerűbben szólva, a contrastive search nem csupán azért vesz fel folytatást, mert az a legvalószínűbb. Emellett „bünteti\" a túlságosan egyhangú változatokat, hogy a szöveg ne kerüljön hurokba és ne váljon túlságosan sablonosává.

A stratégia illesztése a feladathoz

Későbbi kutatások hangsúlyozzák, hogy nincs univerzális módszer: egy adott dekódolási stratégia hatékonysága a feladat típusától, a modell méretétől, az összehangolástól és más tényezőktől függ. Ami jól működik dialógusgenerálásnál vagy esszéknél, az rosszabbul működhet kódban, matematikában vagy más determinisztikus tartományokban.

Ez azt jelenti, hogy a neurális degeneráció elleni küzdelem nemcsak a „legjobb\" algoritmus kiválasztása, hanem a módszer és a feladattípus összevetése is. Nyílt generálásban (történetek, dialógusok, hosszú válaszok) a mintavételezési módszerek és a rugalmasabb kiválasztási sémák gyakran segítenek megőrizni a változatosságot és a természetességet. Szigorúbb és determinisztikusabb feladatokban — például programozásban, matematikában vagy egyértelmű helyes választ igénylő feladatokban — a túlságosan agresszív sztochasztika éppen ellenkezőleg ronthatja az eredmény minőségét.

Shi és szerzőtársai szintén megmutatják, hogy a végeredményt nemcsak maga a dekódolási stratégia befolyásolja, hanem:

• a modell mérete;
• összehangolásának foka;
• a hiperparaméterekre való érzékenység;
• a telepítési környezet és az inferencia korlátai.

Ebből fontos praktikus következtetés adódik: ugyanaz a módszer erősnek tűnhet az egyik konfigurációban, és észrevehetően gyengébbnek — egy másikban. Ezért a neurális degeneráció enyhítése a gyakorlatban szinte mindig paraméterek hangolását és az adott feladatosztályon való tesztelést igényli, nem pedig egyetlen „univerzális\" receptre való támaszkodást.

Egyszerűbben szólva, a jó dekódolási módszer attól függ, hogy a modell pontosan mit csinál. Szabad szövegnél az egyik módszerek működnek jobban, kódnál, matematikánál és más pontos feladatoknál — mások.

Módszerek kombinálása

A gyakorlatban az enyhítési módszereket nem ritkán nem izoláltan, hanem egymással kombinálva alkalmazzák. Például az eloszlás csonkítása hőmérséklettel együtt alkalmazható, a bonyolultabb stratégiák pedig kiegészítő token-kiválasztási korlátokkal kombinálhatók.

Az ilyen kombinációk értelme abban áll, hogy felosztják a funkciókat:

• az egyik mechanizmus meghatározza az általános változatossági szintet;
• egy másik korlátozza a „zajos\" farkat;
• egy harmadik csökkenti az ismétlések vagy a sablonosság kockázatát.

Azonban az egyidejűleg hangolható mechanizmusok számának növelése bonyolultabbá teszi a modell viselkedésének felügyeletét. Ezért a bonyolultabb séma nem mindig jelent jobb minőségű eredményt: a nyereség gyakran attól függ, mennyire jól vannak beállítva a hiperparaméterek, és mennyire felel meg az adott kombináció a feladatnak.

Más szóval, a neurális degeneráció enyhítése leggyakrabban nem egyetlen „mágikus\" módszeren alapul, hanem több korlát gondos kombinációján, amelyek mindegyike a probléma saját részét szünteti meg.

Nem tévesztendő össze a model collapse-szal

A neurális szövegdegenerációt Holtzman és szerzőtársai értelmében nem szabad összekeverni a model collapse jelenséggel — egy külön jelenséggel, amelyet a modellek szintetikus adatokon való rekurzív tanításával kapcsolatos munkák vizsgálnak.

Az első esetben elsősorban a szöveg degenerációjáról van szó a generálás szakaszán (inference), amikor a nem megfelelő dekódolási stratégia ismétlésekhez, sablonossághoz vagy koherenciavesztéshez vezet. A másodikban — a modell degradációjáról a tanítás szakaszán, amikor a modell által generált adatok elkezdenek „beszennyezni\" a következő generációs modellek tanítókészletét, ami ritka eseményeket eltűnéséhez és az eloszlás szűküléséhez vezethet.

Ezek a jelenségek tematikailag kapcsolódnak egymáshoz, mivel mindkettő a neurális szöveg minőségének romlásával foglalkozik, azonban az irodalomban általában különböző problémákként tárgyalják őket: az egyik a dekódoláshoz, a másik az adatokhoz és a tanításhoz tartozik.

Jelentősége a nagy nyelvi modellek számára

A nagy nyelvi modellek korszakában a neurális degeneráció problémája nem tűnt el, hanem a kis szöveggenerátorok területéről áthelyeződött a hatalmasabb rendszerek viselkedésének irányítási területére. Bár a modern LLM-ek általában jobban összehangoltak és ritkábban esnek durva ismétlési hurkokba, a dekódolási stratégia megválasztása továbbra is észrevehetően befolyásolja a kimenet természetességét, változatosságát és stabilitását.

Emiatt a neurális szövegdegenerációt nem a korai nyelvi modellek szűk hibájaként, hanem a praktikus generálás alapvető problémájaként kezelik: a jó valószínűségi modellezés önmagában nem garantál jó szöveget az inferencia szakaszán.

Lásd még

• Top-p mintavételezés
• Top-k mintavételezés
• Hőmérséklet
• Nagy nyelvi modellek

Irodalom

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; megjelent: ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.