Neural Text Degeneration (RO)

Degenerarea neuronală a textului, denumită și degenerarea textului în cadrul generării neuronale (engl. Neural Text Degeneration), reprezintă o clasă de patologii ale generării textului în modelele de limbaj neuronale, în care ieșirea devine nenaturală: excesiv de repetitivă, șablonată, lipsită de conținut sau incorentă. Termenul a căpătat o largă răspândire după lucrarea lui Ari Holtzman și coautori The Curious Case of Neural Text Degeneration (2019; ICLR 2020), în care s-a demonstrat că strategiile de decodare bazate pe maximizarea directă a verosimilității produc adesea rezultate de calitate scăzută în sarcinile de generare deschisă a textului.

Explicație simplă

Degenerarea neuronală a textului reprezintă situația în care modelul continuă formal textul, dar o face deficitar din perspectiva vorbirii naturale.

De obicei, aceasta arată astfel:

• modelul începe să repete aceleași cuvinte sau fraze;
• textul devine prea șablonistic și „lipsit de viață";
• răspunsul pierde coerența semantică;
• în continuare încep să apară cuvinte aleatorii sau nepotrivite.

Cu alte cuvinte, modelul fie devine prea „precaut" și alege mereu același lucru, fie, dimpotrivă, primește prea multă libertate și începe să extragă continuări slabe și zgomotoase. În ambele cazuri, textul încetează să mai semene cu vorbirea umană naturală.

Istoricul cercetării

Problema a fost formulată în detaliu de Holtzman și coautori în 2019, pe baza materialului de generare deschisă a textului — în principal povești, continuări libere și răspunsuri dialogice. Autorii au demonstrat că metodele de decodare orientate spre maximizarea probabilității, precum căutarea lacomă (greedy search) și căutarea prin fascicul (beam search), duc adesea, în sarcini deschise, la secvențe nenaturale, repetitive și lipsite de conținut.

În aceeași lucrare s-a arătat că și abordarea opusă — eșantionarea stocastică pură fără trunchiere — este problematică, deoarece modelul poate selecta token-uri din „coada nesigură" a distribuției de probabilitate. Aceasta deteriorează coerența și crește riscul unor continuări aleatorii, slab articulate.

Lucrări ulterioare au rafinat și extins această explicație. În special, Finlayson și coautori au propus o interpretare teoretică a motivului pentru care metodele de trunchiere (de exemplu, Top-p) ajută adesea la reducerea degenerării textului: trunchierea cozii permite evitarea token-urilor pentru care modelul este deosebit de nesigur.

Meister și coautori au legat suplimentar problema degenerării de încălcarea tipicității locale: textul uman tinde, de regulă, să mențină un conținut informațional apropiat de entropia condiționată așteptată, în loc să maximizeze pur și simplu probabilitatea fiecărui token următor.

Manifestări principale

Degenerarea neuronală a textului se poate manifesta nu doar sub formă de repetiții evidente, ci și în forme mai subtile: de la sărăcirea semantică până la dezintegrarea treptată a coerenței. Exterior, astfel de texte rămân adesea corecte din punct de vedere gramatical, însă încep să difere vizibil de vorbirea umană naturală prin diversitate, informativitate și stabilitatea dezvoltării gândirii.

Repetiții și ciclism

Cea mai cunoscută formă este repetarea token-urilor, frazelor sau a întregilor construcții sintactice. Textul începe să „se învârtă în cerc", adăugând continuări aproape identice din nou și din nou.

O astfel de degenerare se poate manifesta la diferite niveluri:

• ca repetare a unor cuvinte individuale;
• ca reproducere obsesivă a aceleiași fraze;
• ca revenire ciclică la aceeași idee;
• ca copiere multiplă a aceleiași scheme sintactice cu modificări minime.

Este deosebit de caracteristic faptul că repetițiile devin adesea auto-susținute: o construcție apărută o dată începe să se întărească singură, deoarece modelul continuă să se sprijine pe fragmentul deja generat și îl reproduce din nou într-o formă ușor modificată. Ca urmare, textul poate păstra aparența progresului, dar practic încetează să se dezvolte în conținut.

Șablonism și sărăcirea conținutului

Chiar dacă nu există cicluri evidente, modelul poate produce un text prea predictibil și lipsit de conținut. Această ieșire rămâne corectă gramatical, dar devine banală, monotonă și săracă în conținut informațional.

În această formă de degenerare, textul arată de obicei „corect", dar lasă impresia unui text excesiv de sigur și mediat. Modelul preferă cele mai așteptate cuvinte și expresii, din cauza cărora:

• diversitatea lexicală scade;
• aceleași șabloane de vorbire se repetă mai des;
• formulările mai puțin evidente, dar mai substanțiale dispar;
• textul devine mai neted ca formă, dar mai sărac ca sens.

Tocmai de aceea degenerarea nu arată întotdeauna ca o eroare evidentă: uneori se manifestă ca un text prea predictibil, „plat" și gol, scris formal corect, dar care nu oferă aproape nicio informație nouă.

Pierderea coerenței

În cazul unei aleatorietăți excesive sau al unui control slab asupra cozii distribuției, generarea poate menține corectitudinea gramaticală locală, dar pierde coerența semantică globală: în text încep să apară cuvinte nepotrivite, tranziții tematice neașteptate și rupturi logice.

Într-o astfel de situație, frazele vecine pot părea acceptabile individual, însă legăturile cauzale, tematice și logice dintre ele slăbesc. Aceasta se manifestă prin:

• o propoziție corectă gramatical, dar slab legată de cea anterioară;
• gândul care își schimbă brusc direcția fără o tranziție clară;
• apariția în text a unor continuări local admisibile, dar contextual nepotrivite;
• cursul general al raționamentului devine fragil și instabil.

Cu alte cuvinte, modelul poate menține fluiditatea locală la nivelul frazelor individuale, dar pierde coerența globală la nivelul întregului paragraf sau al unui răspuns lung.

Deriva semantică

O altă formă de degenerare este deplasarea treptată a sensului, în care textul nu se prăbușește instantaneu, ci se îndepărtează lent de tema inițială, de sarcina sau de linia narativă.

Spre deosebire de incoerența evidentă, degradarea se dezvoltă treptat:

• modelul începe cu un răspuns relevant;
• apoi adaugă detalii tot mai generale sau slab legate;
• după aceea, tema inițială se estompează;
• la final, textul poate rămâne formal fluid, dar nu mai răspunde bine la solicitarea inițială.

O astfel de derivă este deosebit de vizibilă în generarea lungă: modelul nu intră neapărat în cicluri, dar pas cu pas pierde disciplina tematică, iar continuarea încetează să fie cu adevărat relevantă.

Scăderea informativității

Degenerarea se poate exprima nu doar prin repetiții, ci și prin faptul că textul încetează să adauge informații noi. Modelul continuă să scrie, însă „densitatea" semantică a ieșirii scade, iar continuarea devine goală ca conținut.

Într-un astfel de text, cuvintele și propozițiile continuă să se acumuleze, dar progresul semantic încetinește. Frazele noi:

• reformulează ceea ce s-a spus deja;
• adaugă un număr minim de fapte noi;
• înlocuiesc specificul cu generalități;
• susțin volumul textului fără o creștere comparabilă a conținutului.

Aceasta este deosebit de importantă, deoarece o astfel de degradare poate părea mai puțin vizibilă decât repetițiile evidente: textul pare „normal", dar la o lectură atentă se dovedește că în esență repetă aceeași idee cu cuvinte diferite.

Degenerarea ascunsă fără defecte evidente

Nu orice degenerare neuronală arată ca o defecțiune gravă. În unele cazuri, textul nu conține cicluri evidente, rupturi logice bruște sau „zgomot" evident, dar totuși se abate vizibil de la scrierea umană naturală.

Această formă ascunsă se manifestă ca o combinație de:

• predictibilitate excesivă;
• ritm monoton al frazelor;
• formulări sigure, dar slabe;
• lipsă de surpriză, nuanțe și profunzime semantică.

Tocmai de aceea degenerarea neuronală a textului nu se reduce doar la ciclism. Ea acoperă un spectru mai larg de simptome — de la repetiții evidente până la o sărăcire semantică subtilă, în care textul rămâne formal corect, dar pierde diversitatea, expresivitatea și valoarea de conținut.

Cauze

Nepotrivirea dintre antrenare și decodare

Modelele de limbaj sunt de obicei antrenate să prezică token-ul următor conform unei distribuții de probabilitate. Însă la generare, textul este adesea extras nu ca o mostră din această distribuție, ci prin proceduri care maximizează rigid probabilitatea la fiecare pas sau pe întreaga secvență. Această diferență dintre obiectivele antrenării și regulile de decodare reprezintă una dintre cauzele principale ale degenerării în sarcinile deschise.

„Coada nesigură" a distribuției

Pe de altă parte, libertatea totală de eșantionare poate fi și ea dăunătoare. Chiar și token-urile extrem de improbabile au de obicei o probabilitate nenulă, iar printre ele se află numeroase variante slabe, zgomotoase sau slab articulate. Dacă modelul alege un token din această coadă, calitatea continuării poate scădea brusc.

Încălcarea tipicității locale

Meister și coautori leagă degenerarea de faptul că textul natural menține de obicei un conținut informațional apropiat de entropia condiționată așteptată. Atunci când decodarea se îndepărtează sistematic de această „tipicitate", textul poate deveni fie prea banal, fie prea zgomotos.

Legătura cu metodele de decodare

Degenerarea neuronală a textului este strâns legată nu doar de calitatea modelului de limbaj în sine, ci și de modul exact în care este ales token-ul următor din distribuția sa de probabilitate. Același set de probabilități poate produce rezultate vizibil diferite în funcție de strategia de decodare: unele metode amplifică repetițiile și șablonismul, altele cresc diversitatea, dar riscă pierderea coerenței, iar altele încearcă să mențină un compromis între aceste extreme.

Căutarea lacomă și beam search

Căutarea lacomă și căutarea prin fascicul sunt deosebit de predispuse la repetiții și șablonism în sarcinile de generare deschisă, deoarece preferă sistematic continuările cele mai probabile.

În cazul căutării lacome, modelul alege la fiecare pas un singur token cu cea mai mare probabilitate. Această abordare funcționează bine acolo unde sarcina are un set relativ restrâns de răspunsuri corecte, însă în generarea liberă face adesea textul prea predictibil. Modelul alege din nou și din nou continuările cele mai „sigure", din cauza cărora:

• tendința de a repeta construcțiile deja alese se amplifică;
• diversitatea formulărilor scade;
• textul devine mai șablonistic și mai sărac în conținut.

Căutarea prin fascicul (beam search) extinde parțial spațiul de căutare, deoarece urmărește simultan mai multe ipoteze cu cea mai mare probabilitate. Totuși, în sarcinile de text deschis, aceasta nu salvează întotdeauna de degenerare. Dimpotrivă, datorită orientării generale spre maximizarea verosimilității, poate și ea să prefere sistematic continuări prea „corecte", dar nenaturale, ceea ce crește riscul de:

• monotonie;
• repetitivitate;
• text excesiv de fluid, dar lipsit de conținut.

Cu alte cuvinte, metodele care aleg prea consecvent continuarea cea mai probabilă câștigă adesea în predictibilitate locală, dar pierd în naturalețea generării lungi.

Eșantionarea pură

Eșantionarea fără restricții stricte crește diversitatea, dar fără filtre suplimentare captează mai des token-uri slabe din coada distribuției, ceea ce poate deteriora coerența textului.

În cazul eșantionării pure, token-ul următor este ales aleatoriu conform distribuției de probabilitate complete a modelului. Spre deosebire de căutarea lacomă sau beam search, această abordare oferă modelului mai multă libertate și ajută la evitarea „blocării" prea timpurii într-un singur șablon.

Însă această libertate are un revers. Chiar dacă probabilitatea multor token-uri este foarte mică, ele au de obicei tot o șansă nenulă de a fi alese. Din această cauză, modelul poate captura continuări din „coada" distribuției, unde se întâlnesc mai des:

• cuvinte aleatorii și contextual slabe;
• continuări slab articulate;
• token-uri local admisibile, dar care deteriorează coerența globală a textului.

Ca urmare, eșantionarea pură reduce adesea șablonismul, dar face simultan textul mai instabil: acesta poate rămâne divers, dar devine mai fragil, mai inconsecvent sau semantic mai instabil.

Metode de trunchiere a distribuției

Metodele de trunchiere a distribuției — în primul rând Top-p și Top-k — au fost propuse ca modalitate practică de reducere a degenerării. Ele limitează mulțimea token-urilor admisibile și reduc astfel probabilitatea unor continuări nereușite.

Logica generală a acestor metode constă în a nu permite modelului să aleagă token-ul următor din întregul vocabular. În schimb, este luată în considerare doar cea mai verosimilă parte a distribuției:

• Top-k păstrează un număr fix de token-uri cu cea mai mare probabilitate;
• Top-p păstrează un „nucleu" dinamic de token-uri a căror probabilitate cumulată atinge un prag dat.

Această restricție reduce riscul ca modelul să aleagă o continuare prea slabă din coada nesigură, fără a-l forța să ia de fiecare dată un singur „cel mai bun" variant. Datorită acestui lucru, metodele de trunchiere reprezintă adesea o soluție intermediară între două extreme:

• maximizarea prea rigidă;
• eșantionarea prea liberă și zgomotoasă.

Ulterior, Finlayson și coautori au propus o interpretare teoretică mai riguroasă a acestei eficiențe. Ei arată că metodele de trunchiere ajută la eliminarea token-urilor care sunt mai probabil nesigure din perspectiva distribuției reale a textului. Prin urmare, trunchierea poate fi considerată nu doar o euristică inginerească, ci și o modalitate de a reduce probabilitatea erorilor sistematice la alegerea token-ului următor.

Strategii moderne

Metode mai recente, precum locally typical sampling, urmăresc reducerea repetițiilor degenerative, menținând în același timp calitatea generării. Similar, contrastive search a fost propus ca modalitate de creștere a diversității fără a sacrifica coerența textului.

Aceste metode dezvoltă ideea că problema nu constă doar în câte token-uri să fie păstrate, ci și în care anume token-uri merită considerate candidați buni.

Locally typical sampling se orientează nu pur și simplu spre probabilitate ridicată, ci spre proximitatea conținutului informațional al token-ului față de entropia condiționată așteptată. Aceasta permite reducerea situațiilor în care modelul:

• alege continuări prea banale și „goale";
• se blochează în repetiții degenerative;
• devine prea predictibil chiar și fără cicluri evidente.

Contrastive search folosește o logică diferită: urmărește alegerea continuărilor care rămân simultan verosimile și nu seamănă prea mult cu contextul deja generat. Prin aceasta se reduce probabilitatea ca modelul să amplifice aceleași construcții doar pentru că sunt local foarte probabile.

Comparativ cu strategiile clasice de decodare, aceste metode încearcă nu doar să limiteze alegerea, ci să facă însuși criteriul de alegere mai sensibil la calitatea generării lungi — adică la faptul că textul va rămâne substanțial, divers și coerent pe parcursul mai multor propoziții sau paragrafe.

Dependența de modul de decodare

Legătura dintre degenerarea neuronală și decodare nu se reduce la opoziția dintre metode „bune" și „rele". Același algoritm se poate comporta diferit în funcție de cât de rigid sau de liber restricționează distribuția la fiecare pas.

În general, se pot distinge trei moduri:

• alegerea prea rigidă — modelul ia aproape întotdeauna token-urile cele mai probabile, ceea ce amplifică șablonismul și repetițiile;
• alegerea prea liberă — modelul primește acces prea larg la continuări slabe, ceea ce crește riscul de incoerență;
• alegerea moderat restricționată — modelul menține diversitatea, dar rămâne în limitele unei părți suficient de sigure a distribuției.

Tocmai de aceea, degenerarea neuronală este adesea privită ca o consecință nu doar a calității modelului în sine, ci și a unui mod de decodare nereușit: prea rigid, prea permisiv sau prost adaptat sarcinii specifice de generare.

Mai simplu spus, degenerarea apare mai frecvent la două extreme: atunci când modelul fie alege prea rigid doar cele mai probabile cuvinte, fie, dimpotrivă, primește prea multă libertate și începe să extragă continuări slabe și aleatorii. Strategiile cele mai stabile se află de obicei între aceste moduri extreme.

Metode de atenuare

Deși nu există o metodă universală pentru a elimina complet degenerarea neuronală a textului, în practică au fost dezvoltate o serie de metode care permit reducerea semnificativă a celor mai tipice manifestări ale sale — în primul rând repetiții, șablonism, pierderea coerenței și captarea „cozii zgomotoase" a distribuției. Aceste metode diferă prin modul exact în care restricționează alegerea token-ului următor: unele pur și simplu elimină variantele slabe, altele iau în considerare forma distribuției mai subtil, iar altele încearcă să echilibreze direct coerența și diversitatea.

Trunchierea distribuției

Cel mai frecvent mod de combatere a degenerării neuronale este limitarea alegerii token-ului următor nu la întregul vocabular, ci doar la cea mai verosimilă parte a acestuia. Tocmai pe aceasta se bazează Top-p și Top-k.

Ideea principală a acestor metode constă în faptul că modelul nu ar trebui să aleagă liber dintre toate token-urile posibile, deoarece o parte semnificativă a distribuției se află în „coada nesigură", unde se acumulează variante slabe, zgomotoase sau slab articulate. Trunchierea permite restrângerea artificială a spațiului de alegere și reduce astfel probabilitatea ca generarea să se îndrepte brusc spre incoerență sau să înceapă să se dezintegreze.

În practică se utilizează două scheme bine cunoscute:

• Top-k — păstrează doar un număr fix de token-uri cu cea mai mare probabilitate;
• Top-p (nucleus sampling) — păstrează un „nucleu" dinamic de token-uri a căror probabilitate cumulată atinge un prag dat $p$.

Sensul lor comun este același: a nu permite modelului să aleagă dintr-un număr prea mare de continuări slabe. Totodată, Top-p este considerat de obicei mai flexibil, deoarece dimensiunea mulțimii admisibile se schimbă de la pas la pas în funcție de forma curentă a distribuției.

Finlayson și coautori au propus o interpretare mai riguroasă a motivului pentru care metodele de trunchiere funcționează adesea: trunchierea ajută la eliminarea token-urilor care pot să nu aparțină suportului distribuției „reale" a textului, adică sunt deosebit de nesigure din perspectiva modelului. Prin urmare, astfel de metode nu „taie coada" pur mecanic, ci reduc efectiv probabilitatea erorilor sistematice în etapa de alegere a token-ului.

Mai simplu spus, trunchierea distribuției ajută modelul să nu se aventureze prea adânc în zona variantelor slabe și aleatorii. Datorită acestui lucru, textul rămâne mai des mai coerent, mai natural și mai puțin predispus la degenerare.

Metode de eșantionare mai adaptative

Locally typical sampling, η-eșantionarea și abordările înrudite încearcă nu pur și simplu să „taie coada", ci să țină seama de forma distribuției și de structura informațională a pasului curent de generare.

Spre deosebire de trunchierea simplă, astfel de metode urmăresc să ia în considerare nu doar cât de probabil este un token, ci și cât de tipic este acesta pentru contextul dat. Aceasta este importantă deoarece degenerarea apare nu doar din cauza token-urilor prea slabe, ci și din cauza preferinței excesive pentru continuări prea „sigure" și banale.

De exemplu, locally typical sampling se orientează spre proximitatea conținutului informațional al token-ului față de entropia condiționată așteptată. Cu alte cuvinte, încearcă să aleagă nu pur și simplu cele mai probabile cuvinte, ci pe cele care corespund mai bine nivelului „normal" de informativitate pentru contextul dat. Aceasta permite reducerea:

• repetițiilor degenerative;
• șablonismului excesiv;
• sărăcirii semantice a textului, menținând coerența generală.

O logică similară utilizează și alte metode adaptative: în loc de o simplă trunchiere fixă, ele urmăresc să se adapteze la starea curentă a distribuției. Datorită acestui lucru, modelul este mai puțin predispus să cadă în două extreme:

• fie să devină prea predictibil și „plat";
• fie să captureze continuări prea slabe și zgomotoase.

Astfel de metode sunt de obicei mai dificil de interpretat și de reglat decât Top-k sau Top-p, însă pot face față mai bine formelor subtile de degenerare, unde problema nu constă în incoerență evidentă, ci în pierderea informativității și repetabilitatea șabloanelor de vorbire.

Mai simplu spus, metodele mai adaptative încearcă nu pur și simplu să elimine cuvintele slabe, ci să păstreze acele continuări care se potrivesc mai bine contextului curent ca sens și „naturalețe".

Contrastive search

Contrastive search și metodele înrudite urmăresc menținerea simultană a coerenței și diversității, reducând repetițiile care apar adesea în decodarea strict bazată pe maximizare.

Ideea abordării contrastive constă în a nu se baza exclusiv pe probabilitatea token-ului următor. În schimb, alegerea candidatului este construită ca un compromis între două cerințe:

• continuarea trebuie să fie suficient de verosimilă;
• continuarea nu trebuie să semene prea mult cu contextul deja generat și să amplifice astfel repetiția.

Prin aceasta, contrastive search încearcă să suprime tocmai acele continuări care par formal foarte probabile, dar practic duc la ciclism, șablonism sau generare excesiv de uniformă. Spre deosebire de eșantionarea pură, această abordare nu introduce aleatorietatea ca mecanism principal de combatere a degenerării, ci încearcă să aleagă în mod țintit continuări suficient de probabile, dar mai puțin degenerative.

Astfel de metode sunt deosebit de importante deoarece strategiile clasice bazate pe maximizare oferă adesea o încredere locală ridicată, dar plătesc pentru aceasta cu naturalețea textului. Contrastive search încearcă să păstreze punctele forte ale alegerii deterministe — coerența și stabilitatea — reducând simultan repetițiile și monotonia.

Mai simplu spus, contrastive search evită să ia o continuare doar pentru că este cea mai probabilă. El „penalizează" suplimentar variantele prea monotone, pentru ca textul să nu se cicleze și să nu devină prea șablonistic.

Adaptarea strategiei la sarcină

Cercetările mai recente subliniază că nu există o metodă universală: eficiența unei strategii specifice de decodare depinde de tipul sarcinii, dimensiunea modelului, alinierea și alți factori. Ceea ce funcționează bine pentru generarea dialogică sau eseuri poate funcționa mai slab în cod, matematică sau alte domenii deterministe.

Aceasta înseamnă că lupta împotriva degenerării neuronale nu presupune doar alegerea „celui mai bun" algoritm, ci și potrivirea metodei cu tipul sarcinii. În generarea deschisă (povești, dialoguri, răspunsuri lungi), metodele de eșantionare și schemele de selecție mai flexibile ajută adesea să mențină diversitatea și naturalețea. În sarcinile mai rigide și deterministe — de exemplu, programare, matematică sau sarcini cu un singur răspuns corect — o stocastică prea agresivă poate, dimpotrivă, reduce calitatea rezultatului.

Shi și coautori arată de asemenea că rezultatul final este influențat nu doar de strategia de decodare în sine, ci și de:

• dimensiunea modelului;
• gradul de aliniere al acestuia;
• sensibilitatea la hiperparametri;
• mediul de implementare și restricțiile de inferență.

De aici rezultă o concluzie practică importantă: aceeași metodă poate părea puternică într-o configurație și vizibil mai slabă în alta. Prin urmare, atenuarea degenerării neuronale în practică necesită aproape întotdeauna ajustarea parametrilor și verificarea pe o clasă specifică de sarcini, nu bazarea pe o singură rețetă „universală".

Mai simplu spus, o bună metodă de decodare depinde de ceea ce face exact modelul. Pentru textul liber funcționează mai bine anumite metode, pentru cod, matematică și alte sarcini exacte — altele.

Combinarea metodelor

În practică, metodele de atenuare sunt adesea aplicate nu izolat, ci în combinație. De exemplu, trunchierea distribuției poate fi utilizată împreună cu temperatura, iar strategiile mai complexe pot fi combinate cu restricții suplimentare privind alegerea token-urilor.

Sensul unor astfel de combinații constă în separarea funcțiilor:

• un mecanism stabilește nivelul general de diversitate;
• altul restricționează „coada zgomotoasă";
• al treilea reduce riscul de repetiții sau șablonism.

Însă creșterea numărului de mecanisme reglate simultan complică controlul asupra comportamentului modelului. Prin urmare, o schemă mai complexă nu înseamnă întotdeauna un rezultat mai bun: câștigul depinde adesea de cât de bine sunt reglați hiperparametrii și de cât de bine corespunde combinația specifică sarcinii.

Cu alte cuvinte, atenuarea degenerării neuronale se bazează cel mai adesea nu pe o metodă „magică", ci pe combinarea atentă a mai multor restricții, fiecare dintre acestea eliminând propria parte a problemei.

A nu se confunda cu model collapse

Degenerarea neuronală a textului în sensul lui Holtzman și coautori nu trebuie confundată cu model collapse — un fenomen separat, studiat în lucrările despre antrenarea recursivă a modelelor pe date sintetice.

În primul caz, este vorba în primul rând despre degenerarea textului în etapa de generare (inference), când o strategie de decodare nereușită duce la repetiții, șablonism sau pierderea coerenței. În al doilea — despre degradarea modelului în etapa de antrenare, când datele generate de model încep să „contamineze" setul de antrenare al generației următoare de modele, ceea ce poate duce la dispariția evenimentelor rare și la restrângerea distribuției.

Aceste fenomene sunt legate tematic, deoarece ambele privesc deteriorarea calității textului neuronal, însă în literatură sunt de obicei tratate ca probleme diferite: una se referă la decodare, cealaltă — la date și antrenare.

Semnificația pentru modelele de limbaj mari

În era modelelor de limbaj mari, problema degenerării neuronale nu a dispărut, ci s-a deplasat din domeniul generatoarelor mici de text în domeniul gestionării comportamentului unor sisteme mai puternice. Deși LLM-urile moderne sunt de obicei mai bine aliniate și cad mai rar în cicluri grosolane de repetiții, alegerea strategiei de decodare influențează în continuare semnificativ naturalețea, diversitatea și stabilitatea ieșirii.

Din această cauză, degenerarea neuronală a textului este privită nu ca un defect îngust al modelelor de limbaj timpurii, ci ca o problemă fundamentală a generării practice: o bună modelare probabilistică în sine nu garantează un text bun în etapa de inferență.

Vezi și

• Eșantionare Top-p
• Eșantionare Top-k
• Temperatură
• Modele de limbaj mari

Bibliografie

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; publicat la ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.