--- title: "Neural Text Degeneration (IT)" source: "https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)" wiki: "systems-analysis.info/int" article: "Neural_Text_Degeneration_(IT)" language: "it" categories: - "Category:Core LLM concepts" - "Category:Italian" - "Category:Large language models" - "Category:Machine learning" revision_id: 4878 wiki_created_at: 2026-09-06T23:41:19Z wiki_modified_at: 2026-09-06T23:41:19Z downloaded_at: 2026-09-07T23:05:27Z --- # Neural Text Degeneration (IT) **La degenerazione neurale del testo**, anche detta **degenerazione del testo nella generazione neurale** (ingl. *Neural Text Degeneration*), è una classe di patologie della generazione del testo nei modelli linguistici neurali, in cui l'output diventa innaturale: eccessivamente ripetitivo, stereotipato, poco informativo o privo di coerenza. Il termine si è diffuso ampiamente dopo il lavoro di Ari Holtzman e colleghi *The Curious Case of Neural Text Degeneration* (2019; ICLR 2020), in cui si dimostrava che le strategie di decoding basate sulla massimizzazione diretta della verosimiglianza producono spesso risultati di scarsa qualità nei compiti di generazione aperta del testo.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) ## Spiegazione semplice **La degenerazione neurale del testo** è una situazione in cui il modello **continua formalmente il testo**, ma lo fa in modo scadente dal punto di vista del linguaggio naturale. Di solito si manifesta così: - il modello comincia a ripetere le stesse parole o frasi; - il testo diventa troppo stereotipato e «privo di vita»; - la risposta perde coerenza semantica; - nella continuazione cominciano a comparire parole casuali o inadeguate. **In altre parole,** il modello o diventa troppo *«cauto»* e sceglie sempre le stesse cose, oppure, al contrario, riceve troppa libertà e inizia a produrre continuazioni deboli e rumorose. In entrambi i casi il testo cessa di assomigliare al linguaggio umano naturale.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) ## Storia dello studio Il problema fu formulato in dettaglio da Holtzman e colleghi nel 2019 sulla base della generazione aperta di testo — principalmente storie, continuazioni libere e risposte dialogiche. Gli autori mostrarono che i metodi di decoding orientati alla massimizzazione della probabilità, come la **ricerca greedy** (*greedy search*) e la **ricerca beam** (*beam search*), nei compiti aperti portano spesso a sequenze innaturali, ripetitive e poco informative.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Nello stesso lavoro fu dimostrato che anche l'approccio opposto — il **campionamento stocastico puro** senza troncamento — è problematico, poiché il modello può selezionare token dalla «coda inaffidabile» della distribuzione di probabilità. Ciò peggiora la coerenza e aumenta il rischio di continuazioni casuali e mal raccordate.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Lavori successivi hanno precisato e ampliato questa spiegazione. In particolare, Finlayson e colleghi hanno proposto un'interpretazione teorica del motivo per cui i metodi di troncamento (ad esempio Top-p) spesso aiutano a ridurre la degenerazione del testo: il troncamento della coda consente di evitare i token per i quali il modello è particolarmente inaffidabile.[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) Meister e colleghi hanno ulteriormente collegato il problema della degenerazione alla violazione della tipicità locale: il testo umano tende generalmente a mantenere un contenuto informativo vicino all'entropia condizionale attesa, piuttosto che massimizzare semplicemente la probabilità di ciascun token successivo.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) ## Principali manifestazioni La degenerazione neurale del testo può manifestarsi non solo sotto forma di ripetizioni evidenti, ma anche in forme più nascoste: dall'impoverimento semantico alla progressiva perdita di coerenza. Esteriormente, tali testi rimangono spesso grammaticalmente corretti, tuttavia cominciano a differire notevolmente dal linguaggio umano naturale per varietà, informatività e stabilità dello sviluppo del pensiero.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) ### Ripetizioni e loop La forma più nota è la **ripetizione di token, frasi o intere strutture sintattiche**. Il testo comincia a «girare in tondo», aggiungendo continuazioni quasi identiche ancora e ancora.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Tale degenerazione può manifestarsi a diversi livelli: - come ripetizione di singole parole; - come riproduzione ossessiva della stessa frase; - come ritorno ciclico alla stessa idea; - come copia ripetuta dello stesso schema sintattico con modifiche minime.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) È particolarmente caratteristico che le ripetizioni diventino spesso **auto-rinforzanti**: una struttura una volta comparsa inizia a rafforzarsi da sola, poiché il modello continua a fare affidamento sul frammento già generato e lo riproduce nuovamente in forma leggermente modificata. Di conseguenza, il testo può conservare l'apparenza di un avanzamento, ma in realtà cessa di svilupparsi contenutisticamente.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) ### Stereotipia e impoverimento del contenuto Anche in assenza di cicli evidenti, il modello può produrre un testo troppo prevedibile e poco informativo. Tale output rimane grammaticalmente corretto, ma diventa banale, monotono e povero di contenuto informativo.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) In questa forma di degenerazione il testo di solito appare «corretto», ma dà l'impressione di essere eccessivamente sicuro e omologato. Il modello preferisce le parole e le espressioni più attese, con il risultato che: - si riduce la varietà lessicale; - si ripetono più frequentemente gli stessi schemi linguistici; - scompaiono formulazioni meno ovvie ma più significative; - il testo diventa più levigato nella forma, ma più povero nel significato.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) È proprio per questo che la degenerazione non sempre appare come un errore manifesto: a volte si manifesta come un **testo troppo prevedibile, «piatto» e vuoto**, formalmente scritto correttamente, ma che quasi non fornisce nuove informazioni.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) ### Perdita di coerenza In presenza di eccessiva casualità o di un controllo debole sulla coda della distribuzione, la generazione può mantenere la correttezza grammaticale locale, ma perdere la coerenza semantica complessiva: nel testo cominciano a comparire parole fuori luogo, cambi di argomento inaspettati e rotture logiche.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) In tale situazione le frasi vicine possono singolarmente sembrare accettabili, tuttavia si indeboliscono tra loro i legami causali, tematici e logici. Ciò si manifesta nel fatto che: - una frase è grammaticalmente corretta, ma mal collegata alla precedente; - il pensiero cambia improvvisamente direzione senza una transizione chiara; - nel testo compaiono continuazioni localmente accettabili ma contestualmente fuori luogo; - il filo del ragionamento complessivo diventa lasso e instabile.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) In altre parole, il modello può mantenere la **fluidità locale** a livello di singole frasi, ma perdere la **coerenza globale** a livello dell'intero paragrafo o di una risposta lunga.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) ### Deriva semantica Un'altra forma di degenerazione è lo **slittamento progressivo del significato**, in cui il testo non collassa istantaneamente, ma si allontana lentamente dall'argomento originale, dal compito o dalla linea narrativa.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) A differenza dell'incoerenza manifesta, qui la degradazione si sviluppa gradualmente: - il modello inizia con una risposta pertinente; - poi aggiunge dettagli sempre più generici o debolmente collegati; - successivamente il tema originale si sfuma; - alla fine il testo può rimanere formalmente fluente, ma rispondere già male alla richiesta iniziale.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Tale deriva è particolarmente evidente nella generazione lunga: il modello non necessariamente cade in cicli, ma passo dopo passo perde la disciplina tematica, e la continuazione cessa di essere davvero rilevante.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) ### Riduzione dell'informatività La degenerazione può esprimersi non solo nelle ripetizioni, ma anche nel fatto che il testo smette di aggiungere nuove informazioni. Il modello continua a scrivere, tuttavia la «densità» semantica dell'output si riduce e la continuazione diventa vuota di contenuto.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) In tale testo parole e frasi continuano ad accumularsi, ma il progresso semantico rallenta. Le nuove frasi: - riformulano quanto già detto; - aggiungono un numero minimo di fatti nuovi; - sostituiscono il concreto con parole generiche; - mantengono il volume del testo senza una crescita comparabile del contenuto.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) Questo è particolarmente importante, poiché tale forma di degradazione può apparire meno evidente delle ripetizioni manifeste: il testo sembra «normale», ma a una lettura attenta risulta che ripete essenzialmente la stessa idea con parole diverse.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) ### Degenerazione latente senza guasti evidenti Non ogni degenerazione neurale appare come un cedimento grossolano. In alcuni casi il testo non contiene cicli evidenti, bruschi strappi logici o «rumore» palese, eppure si discosta comunque notevolmente dalla scrittura umana naturale.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) Tale forma latente si manifesta come combinazione di: - eccessiva prevedibilità; - ritmo uniforme delle frasi; - formulazioni prudenti ma deboli; - mancanza di sorpresa, sfumature e profondità semantica.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) È proprio per questo che la degenerazione neurale del testo non si riduce solo al looping. Essa comprende uno spettro più ampio di sintomi — dalle ripetizioni manifeste al sottile impoverimento semantico, in cui il testo rimane formalmente corretto ma perde varietà, espressività e valore contenutistico.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) ## Cause ### Disallineamento tra addestramento e decoding I modelli linguistici vengono solitamente addestrati a predire il token successivo tramite una distribuzione di probabilità. Tuttavia, durante la generazione il testo viene spesso estratto non come campione di tale distribuzione, ma attraverso procedure che **massimizzano rigidamente la probabilità** a ogni passo o sull'intera sequenza. Questa divergenza tra gli obiettivi di addestramento e le regole di decoding è una delle cause principali della degenerazione nei compiti aperti.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) ### «Coda inaffidabile» della distribuzione D'altra parte, la piena libertà di campionamento può anch'essa essere dannosa. Anche i token con probabilità molto bassa hanno di solito una probabilità non nulla, e tra essi si trovano molte opzioni deboli, rumorose o mal raccordate. Se il modello seleziona un token da tale coda, la qualità della continuazione può peggiorare drasticamente.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) ### Violazione della tipicità locale Meister e colleghi collegano la degenerazione al fatto che il testo naturale mantiene solitamente un contenuto informativo vicino all'entropia condizionale attesa. Quando il decoding si allontana sistematicamente da questa «tipicità», il testo può diventare o troppo banale o troppo rumoroso.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) ## Relazione con i metodi di decoding La degenerazione neurale del testo è strettamente correlata non solo alla qualità del modello linguistico in sé, ma anche al **modo esatto** in cui il token successivo viene selezionato dalla sua distribuzione di probabilità. Lo stesso insieme di probabilità può produrre risultati notevolmente diversi a seconda della strategia di decoding: alcuni metodi amplificano le ripetizioni e la stereotipia, altri aumentano la varietà ma rischiano di perdere la coerenza, altri ancora cercano di mantenere un compromesso tra questi estremi.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) ### Ricerca greedy e beam search La ricerca greedy e la ricerca beam sono particolarmente inclini alle ripetizioni e alla stereotipia nei compiti di generazione aperta, poiché privilegiano sistematicamente le continuazioni più probabili.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Nel caso della **ricerca greedy**, il modello seleziona a ogni passo il singolo token più probabile. Tale approccio funziona bene là dove il compito ha un insieme relativamente ristretto di risposte corrette, tuttavia nella generazione libera rende spesso il testo troppo prevedibile. Il modello sceglie ancora e ancora le continuazioni più «sicure», con il risultato che: - si rafforza la tendenza a ripetere le strutture già selezionate; - si riduce la varietà delle formulazioni; - il testo diventa più stereotipato e povero di contenuto.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Il **beam search** amplia parzialmente lo spazio di ricerca, poiché tiene traccia di diverse ipotesi più probabili simultaneamente. Tuttavia nei compiti di testo aperto questo non sempre preserva dalla degenerazione. Al contrario, a causa dell'orientamento generale verso la massimizzazione della verosimiglianza, anch'esso può privilegiare sistematicamente continuazioni troppo «corrette» ma poco naturali, aumentando il rischio di: - monotonia; - ripetitività; - testo eccessivamente levigato ma poco informativo.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) In altre parole, i metodi che scelgono troppo conseguentemente la continuazione più probabile spesso guadagnano in prevedibilità locale, ma perdono in naturalezza nella generazione lunga.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) ### Campionamento puro Il campionamento non strettamente limitato aumenta la varietà, ma senza filtri aggiuntivi cattura più frequentemente token deboli dalla coda della distribuzione, il che può peggiorare la coerenza del testo.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Nel **campionamento puro** il token successivo viene scelto casualmente in accordo con l'intera distribuzione di probabilità del modello. A differenza della ricerca greedy o del beam search, tale approccio dà al modello maggiore libertà e aiuta a evitare un troppo precoce «blocco» sullo stesso schema.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Tuttavia questa libertà ha un rovescio della medaglia. Anche se la probabilità di molti token è molto bassa, essi hanno di solito comunque una probabilità non nulla di essere selezionati. Per questo motivo il modello può catturare continuazioni dalla «coda» della distribuzione, dove si trovano più frequentemente: - parole casuali e contestualmente deboli; - continuazioni mal raccordate; - token localmente accettabili ma che peggiorano la coerenza complessiva del testo.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Di conseguenza, il campionamento puro spesso riduce la stereotipia, ma al tempo stesso rende il testo meno stabile: può rimanere vario, ma diventa più lasso, incoerente o semanticamente instabile.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) ### Metodi di troncamento della distribuzione I metodi di troncamento della distribuzione — principalmente Top-p e Top-k — sono stati proposti come modo pratico per ridurre la degenerazione. Essi limitano l'insieme dei token ammissibili e riducono così la probabilità di continuazioni inadeguate.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) La logica generale di questi metodi consiste nel non consentire al modello di selezionare il token successivo dall'intero vocabolario. Al contrario, viene considerata solo la parte più plausibile della distribuzione: - **Top-k** mantiene un numero fisso dei token più probabili; - **Top-p** mantiene un «nucleo» dinamico di token la cui probabilità cumulativa raggiunge una soglia prestabilita.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Tale limitazione riduce il rischio che il modello selezioni una continuazione troppo debole dalla coda inaffidabile, ma al tempo stesso non lo costringe ogni volta a prendere un solo «miglior» candidato. Grazie a ciò i metodi di troncamento risultano spesso una soluzione intermedia tra due estremi: - la massimizzazione troppo rigida; - il campionamento troppo libero e rumoroso.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Successivamente Finlayson e colleghi hanno proposto un'interpretazione teorica più rigorosa di questa efficacia. Essi dimostrano che i metodi di troncamento aiutano a scartare i token che con maggiore probabilità sono inaffidabili dal punto di vista della vera distribuzione del testo. Pertanto il troncamento può essere considerato non solo come un espediente ingegneristico euristico, ma anche come un modo per ridurre la probabilità di errori sistematici nella selezione del token successivo.[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) ### Strategie moderne Metodi più recenti, come il **locally typical sampling**, mirano a ridurre le ripetizioni degenerative preservando al contempo la qualità della generazione.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) Analogamente, il **contrastive search** è stato proposto come modo per aumentare la varietà senza sacrificare la coerenza del testo.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-contrastive2022-4) Questi metodi sviluppano l'idea che il problema non riguardi solo **quanti** token mantenere, ma anche **quali esattamente** token considerare buoni candidati. Il **locally typical sampling** si orienta non semplicemente verso l'alta probabilità, ma verso la vicinanza del contenuto informativo del token all'entropia condizionale attesa. Ciò consente di ridurre le situazioni in cui il modello: - sceglie continuazioni troppo banali e «vuote»; - rimane bloccato in ripetizioni degenerative; - diventa troppo prevedibile anche senza cicli evidenti.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) Il **contrastive search** utilizza una logica diversa: mira a scegliere continuazioni che siano al tempo stesso plausibili e non troppo simili al contesto già generato. Grazie a ciò si riduce la probabilità che il modello rinforzi le stesse strutture semplicemente perché localmente molto probabili.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-contrastive2022-4) Rispetto alle classiche strategie di decoding, questi metodi cercano non solo di limitare la scelta, ma di rendere il criterio di selezione stesso più sensibile alla qualità della generazione lunga — ovvero al fatto che il testo rimanga informativo, vario e coerente nel corso di più frasi o paragrafi.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3)[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-contrastive2022-4) ### Dipendenza dalla modalità di decoding La relazione tra degenerazione neurale e decoding non si riduce alla contrapposizione tra metodi «buoni» e «cattivi». Lo stesso algoritmo può comportarsi diversamente a seconda di quanto rigidamente o liberamente limita la distribuzione a ogni passo.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) In linea generale si possono distinguere tre modalità: - **scelta troppo rigida** — il modello prende quasi sempre i token più probabili, il che amplifica la stereotipia e le ripetizioni; - **scelta troppo libera** — il modello ottiene un accesso troppo ampio a continuazioni deboli, il che aumenta il rischio di incoerenza; - **scelta moderatamente limitata** — il modello preserva la varietà, ma rimane entro la parte sufficientemente affidabile della distribuzione.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) È proprio per questo che la degenerazione neurale viene spesso considerata come conseguenza non solo della qualità del modello stesso, ma anche di una **modalità di decoding inadeguata**: troppo rigida, troppo permissiva o mal accordata con il compito specifico di generazione.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) **In parole semplici,** la degenerazione si manifesta più spesso ai due estremi: quando il modello sceglie troppo rigidamente solo le parole più probabili, oppure, al contrario, riceve troppa libertà e inizia a produrre continuazioni casuali e deboli. Le strategie più stabili si trovano di solito tra questi regimi estremi.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) ## Metodi di attenuazione Sebbene non esista un metodo universale per eliminare completamente la degenerazione neurale del testo, nella pratica è stato sviluppato un insieme di tecniche che consentono di ridurne significativamente le manifestazioni più tipiche — principalmente ripetizioni, stereotipia, perdita di coerenza e cattura della «coda rumorosa» della distribuzione. Questi metodi differiscono per il modo in cui limitano la selezione del token successivo: alcuni semplicemente scartano le opzioni deboli, altri tengono conto della forma della distribuzione in modo più sottile, altri ancora cercano di bilanciare direttamente coerenza e varietà.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2)[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shi2024-5) ### Troncamento della distribuzione Il modo più diffuso per combattere la degenerazione neurale è limitare la selezione del token successivo non all'intero vocabolario, ma solo alla sua parte più plausibile. È proprio su questo che si basano Top-p e Top-k.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) L'idea centrale di questi metodi è che il modello non debba selezionare liberamente tra tutti i token possibili, poiché una parte significativa della distribuzione si trova nella «coda inaffidabile», dove si concentrano opzioni deboli, rumorose o mal raccordate. Il troncamento consente di **restringere artificialmente lo spazio di scelta** e di ridurre così la probabilità che la generazione si indirizzi bruscamente verso l'incoerenza o inizi a disintegrarsi.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) Nella pratica vengono utilizzate due schemi più noti: - **Top-k** — mantiene solo un numero fisso dei token più probabili; - **Top-p** (*nucleus sampling*) — mantiene un «nucleo» dinamico di token la cui probabilità cumulativa raggiunge una soglia prestabilita $p$.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Il loro significato comune è uno: non consentire al modello di scegliere tra un numero troppo elevato di continuazioni deboli. Al tempo stesso, Top-p è generalmente considerato più flessibile, poiché la dimensione dell'insieme ammissibile cambia da passo a passo in funzione della forma corrente della distribuzione.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Finlayson e colleghi hanno proposto un'interpretazione più rigorosa del motivo per cui i metodi di troncamento spesso funzionano: il troncamento aiuta a scartare i token che possono non appartenere al supporto della distribuzione «vera» del testo, ovvero quelli particolarmente inaffidabili dal punto di vista del modello. Pertanto tali metodi non si limitano a «tagliare meccanicamente la coda», ma in pratica riducono la probabilità di errori sistematici nella fase di selezione del token.[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) **In parole semplici,** il troncamento della distribuzione aiuta il modello a non avventurarsi troppo nell'area delle opzioni deboli e casuali. Grazie a ciò il testo rimane più spesso coerente, naturale e meno incline alla degenerazione. ### Metodi di campionamento più adattativi Il locally typical sampling, l'η-campionamento e approcci affini cercano non semplicemente di «tagliare la coda», ma di tener conto della forma della distribuzione e della struttura informativa del passo corrente di generazione.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) A differenza del semplice troncamento, tali metodi mirano a considerare non solo **quanto è probabile** un token, ma anche **quanto è tipico** per il contesto dato. Questo è importante perché la degenerazione non si origina solo da token troppo deboli, ma anche dall'eccessiva preferenza per continuazioni troppo «sicure» e banali.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) Ad esempio, il **locally typical sampling** si orienta verso la vicinanza del contenuto informativo del token all'entropia condizionale attesa. In altre parole, cerca di scegliere non semplicemente le parole più probabili, ma quelle che meglio corrispondono al livello «normale» di informatività per il contesto dato. Ciò consente di ridurre: - le ripetizioni degenerative; - l'eccessiva stereotipia; - l'impoverimento semantico del testo preservando la coerenza complessiva.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) Una logica analoga è utilizzata da altri metodi adattativi: anziché un semplice taglio fisso, essi cercano di adattarsi allo stato corrente della distribuzione. Grazie a ciò il modello è meno incline a cadere in due estremi: - diventare troppo prevedibile e «piatto»; - catturare continuazioni troppo deboli e rumorose.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3) Tali metodi sono generalmente più complessi da interpretare e regolare rispetto a Top-k o Top-p, tuttavia possono gestire meglio le forme sottili di degenerazione, in cui il problema non è la manifesta incoerenza, ma la perdita di informatività e la ripetitività degli schemi linguistici.[\[3\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-meister2023-3)[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shi2024-5) **In parole semplici,** i metodi più adattativi cercano non solo di eliminare le parole deboli, ma di conservare le continuazioni che meglio si adattano al contesto corrente per significato e «naturalezza». ### Contrastive search Il contrastive search e i metodi affini mirano a sostenere simultaneamente coerenza e varietà, riducendo le ripetizioni che spesso si manifestano con il decoding strettamente basato sulla massimizzazione.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-contrastive2022-4) L'idea dell'approccio contrastivo consiste nel non affidarsi esclusivamente alla probabilità del token successivo. Al contrario, la selezione del candidato è costruita come un compromesso tra due requisiti: - la continuazione deve essere sufficientemente plausibile; - la continuazione non deve essere troppo simile al contesto già generato e non deve pertanto amplificare la ripetizione.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-contrastive2022-4) Grazie a ciò il contrastive search cerca di sopprimere proprio quelle continuazioni che formalmente appaiono molto probabili, ma in pratica portano al looping, alla stereotipia o a una generazione eccessivamente monotona. A differenza del campionamento puro, questo approccio non introduce la casualità come meccanismo principale contro la degenerazione, ma cerca di scegliere intenzionalmente continuazioni **sufficientemente probabili ma meno degenerative**.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-contrastive2022-4) Tali metodi sono particolarmente importanti perché le classiche strategie basate sulla massimizzazione offrono spesso un'elevata sicurezza locale, ma la pagano con la naturalezza del testo. Il contrastive search cerca di preservare i punti di forza della scelta deterministica — coerenza e stabilità — riducendo al contempo le ripetizioni e la monotonia.[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-contrastive2022-4) **In parole semplici,** il contrastive search cerca di non prendere una continuazione solo perché è la più probabile. Penalizza ulteriormente le opzioni troppo monotone, affinché il testo non si blocchi in loop e non diventi troppo stereotipato. ### Adattamento della strategia al compito Ricerche più recenti sottolineano che non esiste un metodo universale: l'efficacia di una specifica strategia di decoding dipende dal tipo di compito, dalla dimensione del modello, dall'allineamento e da altri fattori. Ciò che funziona bene per la generazione dialogica o per i saggi può funzionare peggio nel codice, nella matematica o in altri domini deterministici.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shi2024-5) Ciò significa che la lotta alla degenerazione neurale non è solo la scelta del «miglior» algoritmo, ma anche la **corrispondenza del metodo al tipo di compito**. Nella generazione aperta (storie, dialoghi, risposte lunghe) i metodi di campionamento e gli schemi di selezione più flessibili spesso aiutano a preservare varietà e naturalezza. In compiti più rigidi e deterministici — ad esempio nella programmazione, nella matematica o nei compiti con una sola risposta corretta — una stocasticità eccessivamente aggressiva può, al contrario, ridurre la qualità del risultato.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shi2024-5) Shi e colleghi mostrano inoltre che il risultato finale è influenzato non solo dalla strategia di decoding in sé, ma anche da: - la dimensione del modello; - il grado di allineamento; - la sensibilità agli iperparametri; - l'ambiente di deployment e i vincoli di inferenza.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shi2024-5) Da ciò deriva un'importante conclusione pratica: lo stesso metodo può apparire forte in una configurazione e notevolmente più debole in un'altra. Pertanto l'attenuazione della degenerazione neurale nella pratica richiede quasi sempre la regolazione dei parametri e la verifica su una specifica classe di compiti, piuttosto che il ricorso a un'unica «ricetta universale».[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shi2024-5) **In parole semplici,** un buon metodo di decoding dipende da ciò che il modello sta facendo. Per il testo libero funzionano meglio certi metodi, per il codice, la matematica e altri compiti precisi — altri. ### Combinazione di metodi Nella pratica i metodi di attenuazione vengono spesso applicati non isolatamente, ma in combinazione tra loro. Ad esempio, il troncamento della distribuzione può essere utilizzato insieme alla temperatura, mentre le strategie più complesse possono essere combinate con vincoli aggiuntivi sulla selezione dei token.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shi2024-5) Il senso di tali combinazioni consiste nel separare le funzioni: - un meccanismo imposta il livello generale di varietà; - un altro limita la «coda rumorosa»; - un terzo riduce il rischio di ripetizioni o stereotipia.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[4\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-contrastive2022-4) Tuttavia l'aumento del numero di meccanismi regolati simultaneamente complica il controllo del comportamento del modello. Pertanto uno schema più complesso non significa sempre un risultato di qualità superiore: il guadagno dipende spesso da quanto bene sono scelti gli iperparametri e da quanto la combinazione specifica corrisponde al compito.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shi2024-5) **In altre parole,** l'attenuazione della degenerazione neurale si basa più spesso non su un unico metodo «magico», ma su un'attenta combinazione di diversi vincoli, ciascuno dei quali elimina la propria parte del problema. ## Da non confondere con model collapse La degenerazione neurale del testo nel senso di Holtzman e colleghi non va confusa con il **model collapse** — un fenomeno separato studiato nei lavori sull'addestramento ricorsivo di modelli su dati sintetici. Nel primo caso si tratta principalmente della degenerazione del testo **nella fase di generazione** (inference), quando una strategia di decoding inadeguata porta a ripetizioni, stereotipia o perdita di coerenza.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1) Nel secondo — alla degradazione del modello **nella fase di addestramento**, quando i dati generati dal modello iniziano a «contaminare» il set di addestramento della generazione successiva di modelli, il che può portare alla scomparsa degli eventi rari e al restringimento della distribuzione.[\[6\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shumailov2024-6) Questi fenomeni sono tematicamente correlati, poiché entrambi riguardano il peggioramento della qualità del testo neurale, tuttavia nella letteratura vengono solitamente trattati come problemi distinti: uno riguarda il decoding, l'altro i dati e l'addestramento.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[6\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shumailov2024-6) ## Rilevanza per i grandi modelli linguistici Nell'era dei grandi modelli linguistici il problema della degenerazione neurale non è scomparso, ma si è spostato dall'ambito dei piccoli generatori di testo a quello della gestione del comportamento di sistemi più potenti. Sebbene i moderni LLM siano generalmente meglio allineati e cadano meno frequentemente in grossolani cicli di ripetizioni, la scelta della strategia di decoding continua a influenzare notevolmente la naturalezza, la varietà e la stabilità dell'output.[\[5\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-shi2024-5) Per questo motivo la degenerazione neurale del testo viene considerata non come un difetto limitato ai modelli linguistici delle prime generazioni, ma come un problema fondamentale della generazione pratica: una buona modellazione probabilistica di per sé non garantisce un buon testo nella fase di inferenza.[\[1\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-holtzman2019-1)[\[2\]](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_note-finlayson2024-2) ## Vedi anche - Campionamento Top-p - Campionamento Top-k - Temperatura - Grandi modelli linguistici ## Letteratura - Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; pubblicato su ICLR 2020). *The Curious Case of Neural Text Degeneration*. arXiv:1904.09751. - Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). *Closing the Curious Case of Neural Text Degeneration*. arXiv:2310.01693. - Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). *Locally Typical Sampling*. TACL 2023. - Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). *A Thorough Examination of Decoding Methods in the Era of LLMs*. EMNLP 2024. - Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). *A Contrastive Framework for Neural Text Generation*. arXiv:2202.06417. - Shumailov, I. et al. (2024). *AI models collapse when trained on recursively generated data*. Nature 2024. ## Note 1. ↑ [1.00](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-0) [1.01](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-1) [1.02](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-2) [1.03](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-3) [1.04](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-4) [1.05](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-5) [1.06](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-6) [1.07](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-7) [1.08](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-8) [1.09](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-9) [1.10](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-10) [1.11](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-11) [1.12](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-12) [1.13](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-13) [1.14](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-14) [1.15](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-15) [1.16](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-16) [1.17](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-17) [1.18](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-18) [1.19](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-19) [1.20](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-20) [1.21](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-21) [1.22](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-22) [1.23](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-23) [1.24](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-24) [1.25](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-25) [1.26](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-26) [1.27](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-27) [1.28](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-28) [1.29](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-29) [1.30](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-30) [1.31](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-31) [1.32](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-32) [1.33](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-33) [1.34](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-34) [1.35](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-35) [1.36](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-36) [1.37](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-37) [1.38](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-38) [1.39](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-39) [1.40](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-40) [1.41](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-41) [1.42](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-42) [1.43](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-43) [1.44](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-44) [1.45](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-45) [1.46](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-46) [1.47](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-holtzman2019_1-47) Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019). *The Curious Case of Neural Text Degeneration*. arXiv:1904.09751. [1] 2. ↑ [2.00](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-0) [2.01](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-1) [2.02](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-2) [2.03](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-3) [2.04](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-4) [2.05](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-5) [2.06](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-6) [2.07](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-7) [2.08](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-8) [2.09](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-9) [2.10](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-10) [2.11](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-finlayson2024_2-11) Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). *Closing the Curious Case of Neural Text Degeneration*. arXiv:2310.01693. [2] 3. ↑ [3.00](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-0) [3.01](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-1) [3.02](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-2) [3.03](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-3) [3.04](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-4) [3.05](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-5) [3.06](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-6) [3.07](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-7) [3.08](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-8) [3.09](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-9) [3.10](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-10) [3.11](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-11) [3.12](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-12) [3.13](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-13) [3.14](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-14) [3.15](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-15) [3.16](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-16) [3.17](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-17) [3.18](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-18) [3.19](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-meister2023_3-19) Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). *Locally Typical Sampling*. *Transactions of the Association for Computational Linguistics*, 11. [3] 4. ↑ [4.0](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-contrastive2022_4-0) [4.1](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-contrastive2022_4-1) [4.2](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-contrastive2022_4-2) [4.3](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-contrastive2022_4-3) [4.4](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-contrastive2022_4-4) [4.5](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-contrastive2022_4-5) [4.6](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-contrastive2022_4-6) [4.7](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-contrastive2022_4-7) Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). *A Contrastive Framework for Neural Text Generation*. arXiv:2202.06417. [4] 5. ↑ [5.0](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shi2024_5-0) [5.1](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shi2024_5-1) [5.2](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shi2024_5-2) [5.3](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shi2024_5-3) [5.4](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shi2024_5-4) [5.5](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shi2024_5-5) [5.6](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shi2024_5-6) [5.7](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shi2024_5-7) [5.8](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shi2024_5-8) Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). *A Thorough Examination of Decoding Methods in the Era of LLMs*. EMNLP 2024. [5] 6. ↑ [6.0](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shumailov2024_6-0) [6.1](https://systems-analysis.info/int/Neural_Text_Degeneration_(IT)#cite_ref-shumailov2024_6-1) Shumailov, I. et al. (2024). *AI models collapse when trained on recursively generated data*. *Nature*. [6]