Neural Text Degeneration (SV)

Neuronal textdegeneration, även textdegeneration vid neural generering (eng. Neural Text Degeneration), är en klass av patologier vid textgenerering i neurala språkmodeller, där utdata blir onaturlig: överdrivet repetitiv, schablonartad, innehållsfattig eller förlorar sin koherens. Termen fick bred spridning efter arbetet av Ari Holtzman m.fl. The Curious Case of Neural Text Degeneration (2019; ICLR 2020), där det visades att avkodningsstrategier baserade på direkt maximering av sannolikhet ofta ger undermåliga resultat vid öppen textgenerering.

Enkel förklaring

Neuronal textdegeneration är en situation där modellen formellt fortsätter texten, men gör det på ett sätt som är dåligt ur naturligt språkbruk perspektiv.

Vanligtvis ser det ut så här:

• modellen börjar upprepa samma ord eller fraser;
• texten blir alltför schablonartad och "livlös";
• svaret förlorar sin semantiska koherens;
• slumpmässiga eller olämpliga ord börjar dyka upp i fortsättningen.

Med andra ord blir modellen antingen alltför "försiktig" och väljer hela tiden samma sak, eller får den tvärtom för stor frihet och börjar dra till sig svaga och brusiga fortsättningar. I båda fallen slutar texten att likna naturligt mänskligt tal.

Forskningshistoria

Problemet formulerades ingående av Holtzman m.fl. år 2019 utifrån öppen textgenerering – framför allt berättelser, fria fortsättningar och dialogsvar. Författarna visade att avkodningsmetoder inriktade på sannolikhetsmaximering, såsom girig sökning (greedy search) och strålsökning (beam search), i öppna uppgifter ofta leder till onaturliga, repetitiva och innehållsfattiga sekvenser.

I samma arbete visades att även den motsatta ansatsen – rent stokastisk sampling utan trunkering – är problematisk, eftersom modellen kan välja tokens från den "opålitliga svansen" i sannolikhetsfördelningen. Detta försämrar koherensen och ökar risken för slumpmässiga, dåligt sammanhängande fortsättningar.

Senare arbeten preciserade och utvidgade denna förklaring. Bland annat föreslog Finlayson m.fl. en teoretisk tolkning av varför trunkeringsmetoder (t.ex. Top-p) ofta hjälper till att minska textdegeneration: trunkering av svansen gör det möjligt att undvika tokens för vilka modellen är särskilt opålitlig.

Meister m.fl. kopplade dessutom degenereringsproblemet till ett brott mot lokal typikalitet: mänsklig text strävar vanligtvis efter att upprätthålla ett informationsinnehåll nära den förväntade betingade entropin, snarare än att helt enkelt maximera sannolikheten för varje nästa token.

Huvudsakliga yttringar

Neuronal textdegeneration kan yttra sig inte bara som uppenbara upprepningar, utan också i mer dolda former: från semantisk utarmning till gradvis koherensupplösning. Sådana texter förblir ofta grammatiskt korrekta på ytan, men börjar märkbart skilja sig från naturligt mänskligt tal vad gäller variation, informativitet och tankeutvecklingens stabilitet.

Upprepningar och fastlåsning

Den mest kända formen är upprepning av tokens, fraser eller hela syntaktiska konstruktioner. Texten börjar "gå i cirklar" och lägger till nästan identiska fortsättningar om och om igen.

Sådan degeneration kan yttra sig på olika nivåer:

• som upprepning av enskilda ord;
• som tvångsmässig återgivning av en och samma fras;
• som cyklisk återgång till en och samma tanke;
• som mångfaldigt kopiering av ett och samma syntaktiska mönster med minimala variationer.

Särskilt karaktäristiskt är att upprepningar ofta blir självförstärkande: en konstruktion som en gång uppstått börjar förstärka sig själv, eftersom modellen fortsätter att stödja sig på det redan genererade fragmentet och återger det igen i något förändrad form. Som ett resultat kan texten bevara skenets av att röra sig framåt, men upphör i praktiken att utvecklas innehållsmässigt.

Schablonartadhet och innehållsutarmning

Även om det inte finns uppenbara cykler kan modellen producera alltför förutsägbar och innehållsfattig text. Sådan utdata förblir grammatiskt korrekt, men blir banal, enformig och fattig på informationsinnehåll.

I denna form av degeneration ser texten vanligtvis "riktig" ut, men ger intrycket av att vara alltför säker och medelmåttig. Modellen föredrar de mest förväntade orden och vändningarna, vilket leder till att:

• det lexikala variationen minskar;
• samma språkliga schabloner upprepas oftare;
• mindre uppenbara men mer innehållsrika formuleringar försvinner;
• texten blir smidigare till formen men fattigare till innehållet.

Detta är just anledningen till att degeneration inte alltid ser ut som ett uppenbart fel: ibland yttrar det sig som en alltför förutsägbar, "jämn" och tom text som formellt är korrekt skriven men knappt tillför ny information.

Koherensförlust

Vid alltför stor slumpmässighet eller svag kontroll över fördelningens svans kan generering bevara lokal grammatisk korrekthet men förlora den övergripande semantiska sammanhängande: olämpliga ord, oväntade ämnesövergångar och logiska avbrott börjar dyka upp i texten.

I en sådan situation kan angränsande fraser var för sig se acceptabla ut, men de orsakssamband, tematiska och logiska kopplingar som finns dem emellan försvagas. Detta yttrar sig i att:

• en mening är grammatiskt korrekt men dåligt kopplad till föregående;
• tankegången plötsligt byter riktning utan tydlig övergång;
• lokalt acceptabla men kontextuellt olämpliga fortsättningar dyker upp i texten;
• det övergripande resonemangets gång blir lösare och instabilare.

Med andra ord kan modellen bevara lokal smidighet på enskilda frasers nivå, men förlora global koherens på hela styckens eller långa svars nivå.

Semantisk drift

Ännu en form av degeneration är gradvis meningsglidning, där texten inte kollapsar omedelbart utan sakta avlägsnar sig från det ursprungliga ämnet, uppgiften eller berättelselinjen.

Skillnaden mot tydlig inkoherens är att degraderingen här utvecklas gradvis:

• modellen börjar med ett relevant svar;
• lägger sedan till alltmer generella eller löst sammankopplade detaljer;
• därefter suddas det ursprungliga ämnet ut;
• i slutet kan texten förbli formellt flytande men svara dåligt på den ursprungliga frågeställningen.

Sådan drift är särskilt märkbar vid lång generering: modellen behöver inte nödvändigtvis falla i cykler, men förlorar steg för steg sin tematiska disciplin, och fortsättningen slutar att vara genuint relevant.

Minskning av informativitet

Degeneration kan yttra sig inte bara som upprepningar, utan också i att texten slutar att tillföra ny information. Modellen fortsätter att skriva, men den semantiska "tätheten" i utdata minskar och fortsättningen blir tom på innehåll.

I en sådan text fortsätter ord och meningar att ackumuleras, men den semantiska framåtrörelsen bromsas. Nya fraser:

• omformulerar det som redan sagts;
• lägger till ett minimalt antal nya fakta;
• ersätter det konkreta med allmänna ord;
• bibehåller textens volym utan motsvarande ökning av innehållet.

Detta är särskilt viktigt eftersom sådan degradering kan se mindre märkbar ut än uppenbara upprepningar: texten verkar "normal", men vid noggrann läsning visar det sig att den i huvudsak upprepar en och samma tanke med olika ord.

Dold degeneration utan uppenbara störningar

Inte all neuronal degeneration ser ut som ett grovt haveri. I vissa fall innehåller texten inga uppenbara cykler, skarpa logiska avbrott eller tydligt "brus", men avviker ändå märkbart från naturligt mänskligt skrivande.

Denna dolda form yttrar sig som en kombination av:

• alltför stor förutsägbarhet;
• enformig frasrytm;
• säkra men svaga formuleringar;
• brist på det oväntade, nyanser och semantiskt djup.

Detta är just anledningen till att neuronal textdegeneration inte reduceras till enbart fastlåsning. Den täcker ett bredare spektrum av symptom – från uppenbara upprepningar till subtil semantisk utarmning, där texten förblir formellt korrekt men förlorar variation, uttrycksfullhet och innehållsmässigt värde.

Orsaker

Diskrepans mellan träning och avkodning

Språkmodeller tränas vanligtvis för att förutsäga nästa token via en sannolikhetsfördelning. Men vid generering extraheras text ofta inte som ett sampel från denna fördelning, utan med hjälp av procedurer som strikt maximerar sannolikheten vid varje steg eller över hela sekvensen. Denna skillnad mellan träningsmål och avkodningsregler är en av de viktigaste orsakerna till degeneration i öppna uppgifter.

"Opålitlig svans" i fördelningen

Å andra sidan kan full frihet vid sampling också vara skadlig. Även mycket osannolika tokens har vanligtvis en icke-noll sannolikhet, och bland dem finns många svaga, brusiga eller dåligt sammanhängande alternativ. Om modellen väljer en token från en sådan svans kan kvaliteten på fortsättningen försämras kraftigt.

Brott mot lokal typikalitet

Meister m.fl. kopplar degeneration till det faktum att naturlig text vanligtvis upprätthåller ett informationsinnehåll nära den förväntade betingade entropin. När avkodning systematiskt avviker från denna "typikalitet" kan texten bli antingen alltför banal eller alltför brusig.

Samband med avkodningsmetoder

Neuronal textdegeneration är nära kopplad inte bara till kvaliteten på själva språkmodellen, utan också till hur exakt nästa token väljs från dess sannolikhetsfördelning. En och samma uppsättning sannolikheter kan ge märkbart olika resultat beroende på avkodningsstrategi: vissa metoder förstärker upprepningar och schablonartadhet, andra ökar variationen men riskerar att förlora koherens, ytterligare andra försöker hålla kompromissen mellan dessa ytterligheter.

Girig sökning och beam search

Girig sökning och strålsökning är särskilt benägna till upprepningar och schablonartadhet i öppna genereringsuppgifter, eftersom de systematiskt föredrar de mest sannolika fortsättningarna.

Vid girig sökning väljer modellen vid varje steg den enda mest sannolika tokenen. Denna metod fungerar bra där uppgiften har en relativt smal uppsättning korrekta svar, men vid fri generering gör den ofta texten alltför förutsägbar. Modellen väljer om och om igen de mest "säkra" fortsättningarna, vilket leder till att:

• benägenheten att upprepa redan valda konstruktioner förstärks;
• variationen i formuleringar minskar;
• texten blir mer schablonartad och fattig på innehåll.

Strålsökning (beam search) utvidgar sökorymden delvis, eftersom den spårar flera av de mest sannolika hypoteserna samtidigt. Men vid öppna textuppgifter räddar detta inte alltid från degeneration. Tvärtom kan den, på grund av sin allmänna inriktning på sannolikhetsmaximering, systematiskt föredra alltför "korrekta" men föga naturliga fortsättningar, vilket ökar risken för:

• enformighet;
• repetitivitet;
• alltför smidig men innehållsfattig text.

Med andra ord vinner metoder som alltför konsekvent väljer den mest sannolika fortsättningen ofta i lokal förutsägbarhet, men förlorar i naturlighet vid lång generering.

Ren sampling

Obegränsad sampling ökar variationen, men utan ytterligare filter fångar den oftare svaga tokens från fördelningens svans, vilket kan försämra textens koherens.

Vid ren sampling väljs nästa token slumpmässigt i enlighet med modellens fullständiga sannolikhetsfördelning. Till skillnad från girig sökning eller beam search ger detta tillvägagångssätt modellen mer frihet och hjälper till att undvika alltför tidig "fastlåsning" i ett och samma mönster.

Men denna frihet har en baksida. Även om sannolikheten för många tokens är mycket liten har de vanligtvis ändå en icke-noll chans att väljas. På grund av detta kan modellen fånga fortsättningar från fördelningens "svans", där man oftare hittar:

• slumpmässiga och kontextuellt svaga ord;
• dåligt sammanhängande fortsättningar;
• tokens som är lokalt acceptabla men försämrar textens övergripande koherens.

Som ett resultat minskar ren sampling ofta schablonartadheten, men gör samtidigt texten mindre stabil: den kan förbli varierad men blir lösare, mer inkonsekvent eller semantiskt instabil.

Trunkeringsmetoder för fördelningen

Trunkeringsmetoder för fördelningen – framför allt Top-p och Top-k – föreslogs som ett praktiskt sätt att minska degeneration. De begränsar mängden tillåtna tokens och minskar därigenom sannolikheten för misslyckade fortsättningar.

Den allmänna logiken bakom dessa metoder är att inte tillåta modellen att välja nästa token från hela ordförrådet. Istället betraktas bara den mest sannolika delen av fördelningen:

• Top-k behåller ett fast antal av de mest sannolika tokens;
• Top-p behåller en dynamisk "kärna" av tokens vars samlade sannolikhet når ett angivet tröskelvärde.

Denna begränsning minskar risken för att modellen väljer en alltför svag fortsättning från den opålitliga svansen, men tvingar den inte att varje gång ta det enda "bästa" alternativet. Tack vare detta utgör trunkeringsmetoder ofta en mellanväg mellan två ytterligheter:

• alltför sträng maximering;
• alltför fri och brusig sampling.

Finlayson m.fl. föreslog senare en mer stringent teoretisk tolkning av denna effektivitet. De visar att trunkeringsmetoder hjälper till att kasta bort tokens som med större sannolikhet är opålitliga ur det sanna textfördelningens synvinkel. Trunkering kan därför betraktas inte bara som ett ingenjörsmässigt heuristiskt knep, utan också som ett sätt att minska sannolikheten för systematiska fel vid valet av nästa token.

Moderna strategier

Senare metoder, såsom locally typical sampling, syftar till att minska degenerativa upprepningar samtidigt som genereringskvaliteten bibehålls. På liknande sätt föreslogs contrastive search som ett sätt att öka variationen utan att offra textens koherens.

Dessa metoder utvecklar idén att problemet inte bara handlar om hur många tokens som ska behållas, utan också om exakt vilka tokens som bör betraktas som goda kandidater.

Locally typical sampling orienterar sig inte enbart mot hög sannolikhet, utan mot närheten av tokenets informationsinnehåll till den förväntade betingade entropin. Detta gör det möjligt att minska situationer där modellen:

• väljer alltför banala och "tomma" fortsättningar;
• fastnar i degenerativa upprepningar;
• blir alltför förutsägbar även utan uppenbara cykler.

Contrastive search använder en annan logik: den strävar efter att välja fortsättningar som samtidigt förblir sannolika och inte alltför lika den redan genererade kontexten. Därigenom minskar sannolikheten att modellen förstärker samma konstruktioner bara för att de är lokalt mycket sannolika.

Jämfört med klassiska avkodningsstrategier försöker dessa metoder inte bara begränsa valet, utan göra själva valkriteriet mer känsligt för kvaliteten vid lång generering – det vill säga huruvida texten förblir innehållsrik, varierad och koherent under flera meningar eller stycken.

Beroende av avkodningsläge

Sambandet mellan neuronal degeneration och avkodning reduceras inte till en motsättning mellan "bra" och "dåliga" metoder. En och samma algoritm kan bete sig olika beroende på hur strikt eller fritt den begränsar fördelningen vid varje steg.

I allmänna termer kan man urskilja tre lägen:

• alltför strikt val – modellen tar nästan alltid de mest sannolika tokens, vilket förstärker schablonartadhet och upprepningar;
• alltför fritt val – modellen får alltför bred tillgång till svaga fortsättningar, vilket ökar risken för inkoherens;
• måttligt begränsat val – modellen bibehåller variationen men håller sig inom en tillräckligt pålitlig del av fördelningen.

Detta är just anledningen till att neuronal degeneration ofta betraktas som en följd inte bara av modellens kvalitet i sig, utan också av ett misslyckat avkodningsläge: alltför strikt, alltför mjukt eller dåligt anpassat till den specifika genereringsuppgiften.

Enkelt uttryckt uppstår degeneration oftast i de två ytterligheterna: när modellen antingen väljer alltför strikt bara de mest sannolika orden, eller tvärtom får för stor frihet och börjar dra till sig slumpmässiga svaga fortsättningar. De mest robusta strategierna befinner sig vanligtvis mellan dessa extremlägen.

Mildringsmetoder

Även om det inte finns någon universell metod för att helt eliminera neuronal textdegeneration har det i praktiken utvecklats ett antal metoder som märkbart kan minska dess mest typiska yttringar – framför allt upprepningar, schablonartadhet, koherensförlust och fångst av fördelningens "brussvans". Dessa metoder skiljer sig åt i hur exakt de begränsar valet av nästa token: vissa kapar helt enkelt svaga alternativ, andra tar hänsyn till fördelningens form på ett mer subtilt sätt, ytterligare andra försöker direkt balansera koherens och variation.

Trunkering av fördelningen

Det vanligaste sättet att bekämpa neuronal degeneration är att begränsa valet av nästa token inte till hela ordförrådet, utan enbart till dess mest sannolika del. Det är just detta som Top-p och Top-k bygger på.

Grundidén bakom dessa metoder är att modellen inte bör fritt välja bland alla möjliga tokens, eftersom en betydande del av fördelningen befinner sig i den "opålitliga svansen", där svaga, brusiga eller dåligt sammanhängande alternativ samlas. Trunkering gör det möjligt att artificiellt begränsa valrymden och därigenom minska sannolikheten för att genereringen abrupt hamnar i inkoherens eller börjar falla sönder.

I praktiken används de två mest kända schemana:

• Top-k – behåller bara ett fast antal av de mest sannolika tokens;
• Top-p (nucleus sampling) – behåller en dynamisk "kärna" av tokens vars samlade sannolikhet når ett angivet tröskelvärde $p$.

Deras gemensamma innebörd är densamma: att inte låta modellen välja från alltför många svaga fortsättningar. Top-p anses vanligtvis vara mer flexibelt, eftersom storleken på den tillåtna mängden varierar från steg till steg beroende på fördelningens aktuella form.

Finlayson m.fl. föreslog en mer stringent tolkning av varför trunkeringsmetoder ofta fungerar: trunkering hjälper till att kasta bort tokens som kanske inte tillhör stödet för textens "sanna" fördelning, det vill säga är särskilt opålitliga ur modellens synvinkel. Sådana metoder "kapar" därför inte bara svansen mekaniskt, utan minskar faktiskt sannolikheten för systematiska fel vid valet av token.

Enkelt uttryckt hjälper trunkering av fördelningen modellen att inte gå för långt in i området av svaga och slumpmässiga alternativ. Tack vare detta förblir texten oftare mer koherent, naturlig och mindre benägen till degeneration.

Mer adaptiva samplingsmetoder

Locally typical sampling, η-sampling och besläktade ansatser försöker inte bara "kapa svansen", utan tar hänsyn till fördelningens form och det aktuella genereringsstegets informationsstruktur.

Skillnaden mot enkel trunkering är att sådana metoder strävar efter att ta hänsyn inte bara till hur sannolik en token är, utan också till hur typisk den är för det givna sammanhanget. Detta är viktigt eftersom degeneration uppstår inte bara på grund av alltför svaga tokens, utan också på grund av alltför stor preferens för alltför "säkra" och banala fortsättningar.

Till exempel orienterar sig locally typical sampling mot närheten av tokenets informationsinnehåll till den förväntade betingade entropin. Med andra ord försöker den välja inte bara de mest sannolika orden, utan de som bättre motsvarar den "normala" informativitetsnivån för det givna sammanhanget. Detta gör det möjligt att minska:

• degenerativa upprepningar;
• alltför stor schablonartadhet;
• semantisk utarmning av texten med bibehållen övergripande koherens.

Liknande logik används av andra adaptiva metoder: istället för ett enkelt fast avskärande strävar de efter att anpassa sig till fördelningens aktuella tillstånd. Tack vare detta är modellen mindre benägen att falla i de två ytterligheterna:

• att bli alltför förutsägbar och "platt";
• att fånga alltför svaga och brusiga fortsättningar.

Sådana metoder är vanligtvis svårare att tolka och konfigurera än Top-k eller Top-p, men de kan bättre hantera subtila former av degeneration, där problemet inte är uppenbar inkoherens utan förlust av informativitet och upprepbarhet av språkliga schabloner.

Enkelt uttryckt försöker mer adaptiva metoder inte bara ta bort svaga ord, utan behålla de fortsättningar som bättre passar det aktuella sammanhanget i fråga om mening och "naturlighet".

Contrastive search

Contrastive search och besläktade metoder strävar efter att samtidigt upprätthålla koherens och variation, och minskar de upprepningar som ofta uppstår vid strikt maximeringsbaserad avkodning.

Idén med contrastive-ansatsen är att inte enbart förlita sig på sannolikheten för nästa token. Istället byggs valet av kandidat som en kompromiss mellan två krav:

• fortsättningen måste vara tillräckligt sannolik;
• fortsättningen får inte vara alltför lik den redan genererade kontexten och därigenom förstärka upprepning.

Tack vare detta försöker contrastive search undertrycka just de fortsättningar som formellt verkar mycket sannolika, men i praktiken leder till fastlåsning, schablonartadhet eller alltför enformig generering. Till skillnad från ren sampling introducerar detta tillvägagångssätt inte slumpmässighet som den huvudsakliga mekanismen mot degeneration, utan strävar efter att målmedvetet välja tillräckligt sannolika men mindre degenerativa fortsättningar.

Sådana metoder är särskilt viktiga eftersom klassiska maximeringsbaserade strategier ofta ger hög lokal säkerhet, men betalar för det med textens naturlighet. Contrastive search försöker bevara de deterministiska valets starka sidor – koherens och stabilitet – samtidigt som upprepningar och enformighet minskas.

Enkelt uttryckt väljer contrastive search inte en fortsättning enbart för att den är mest sannolik. Den "straffar" dessutom alltför enformiga alternativ så att texten inte fastnar i loopar eller blir alltför schablonartad.

Anpassning av strategi till uppgift

Senare forskning betonar att det inte finns någon universell metod: effektiviteten hos en specifik avkodningsstrategi beror på uppgiftens typ, modellstorlek, anpassning och andra faktorer. Det som fungerar bra för dialoggenerering eller essäer kan fungera sämre för kod, matematik eller andra deterministiska domäner.

Detta innebär att kampen mot neuronal degeneration inte bara handlar om att välja den "bästa" algoritmen, utan också om att matcha metoden med uppgiftstypen. Vid öppen generering (berättelser, dialoger, långa svar) hjälper samplingsmetoder och mer flexibla urvalsscheman ofta till att bevara variation och naturlighet. Vid mer rigida och deterministiska uppgifter – till exempel programmering, matematik eller uppgifter med ett entydigt korrekt svar – kan alltför aggressiv stokasticitet tvärtom sänka resultatkvaliteten.

Shi m.fl. visar också att det slutliga resultatet påverkas inte bara av själva avkodningsstrategin, utan också av:

• modellstorlek;
• graden av dess anpassning;
• känslighet för hyperparametrar;
• driftsättningsomgivning och inferensbegränsningar.

Härav följer en viktig praktisk slutsats: en och samma metod kan se stark ut i en konfiguration och märkbart svagare i en annan. Därför kräver mildrande av neuronal degeneration i praktiken nästan alltid parametertuning och verifiering på en specifik uppgiftsklass, snarare än att förlita sig på ett enda "universellt" recept.

Enkelt uttryckt beror den bästa avkodningsmetoden på vad modellen faktiskt gör. För fri text fungerar vissa metoder bättre, för kod, matematik och andra precisa uppgifter – andra.

Kombinering av metoder

I praktiken tillämpas mildringsmetoder ofta inte isolerat, utan i kombination med varandra. Till exempel kan trunkering av fördelningen användas tillsammans med temperatur, och mer komplexa strategier kan kombineras med ytterligare begränsningar för tokenvalet.

Meningen med sådana kombinationer är att dela upp funktionerna:

• en mekanism sätter den allmänna variationsnivån;
• en annan begränsar den "brusiga" svansen;
• en tredje minskar risken för upprepningar eller schablonartadhet.

Men ett ökat antal samtidigt konfigurerade mekanismer komplicerar kontrollen av modellbeteendet. Därför innebär ett mer komplext schema inte alltid ett bättre resultat: vinsten beror ofta på hur väl hyperparametrarna är valda och hur väl den specifika kombinationen passar uppgiften.

Med andra ord bygger mildrandet av neuronal degeneration oftast inte på en enda "magisk" metod, utan på en omsorgsfull kombination av flera begränsningar, där var och en eliminerar sin del av problemet.

Bör inte förväxlas med model collapse

Neuronal textdegeneration i Holtzman m.fl.:s mening bör inte blandas ihop med model collapse – ett separat fenomen som studeras i arbeten om rekursiv träning av modeller på syntetiska data.

I det förstnämnda fallet handlar det i första hand om textdegeneration vid genereringsfasen (inferens), när en misslycklad avkodningsstrategi leder till upprepningar, schablonartadhet eller koherensförlust. I det sistnämnda – om modellnedbrytning vid träningsfasen, när modellgenererade data börjar "kontaminera" träningsuppsättningen för nästa generation modeller, vilket kan leda till att sällsynta händelser försvinner och fördelningen smalnar.

Dessa fenomen är tematiskt relaterade, eftersom båda rör försämring av kvaliteten på neurala nätverkstexter, men i litteraturen behandlas de vanligtvis som separata problem: det ena hänför sig till avkodning, det andra – till data och träning.

Betydelse för stora språkmodeller

I de stora språkmodellernas era har problemet med neuronal degeneration inte försvunnit, utan förskjutits från området för mindre textgeneratorer till området för hantering av beteendet hos kraftfullare system. Även om moderna LLM:er vanligtvis är bättre anpassade och mer sällan faller i grova upprepningscykler, påverkar valet av avkodningsstrategi fortfarande märkbart naturligheten, variationen och stabiliteten i utdata.

Därför betraktas neuronal textdegeneration inte som ett smalt defekt hos tidiga språkmodeller, utan som ett fundamentalt problem vid praktisk generering: god probabilistisk modellering i sig garanterar inte god text vid inferensfasen.

Se även

• Top-p sampling
• Top-k sampling
• Temperatur
• Stora språkmodeller

Litteratur

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; publicerad på ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamditta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.