Neural Text Degeneration (TL)

Niyural na degenerasyon ng teksto, kilala rin bilang pagkasira ng teksto sa niyural na henerasyon (Ingles: Neural Text Degeneration), — ito ay isang klase ng mga patuloy na karamdaman ng henerasyon ng teksto sa mga niyural na modelo ng wika, kung saan ang output ay nagiging hindi natural: labis na paulit-ulit, pormularyo, walang sapat na nilalaman, o nawawalan ng pagkakaisa. Ang terminong ito ay naging malawak na ginagamit pagkatapos ng papel ni Ari Holtzman at mga kasamahan na The Curious Case of Neural Text Degeneration (2019; ICLR 2020), kung saan ipinakita na ang mga estratehiya ng decoding na batay sa direktang maximization ng likelihood ay madalas na nagbibigay ng mahinang resulta sa mga gawaing open-ended na henerasyon ng teksto.

Simpleng Paliwanag

Niyural na degenerasyon ng teksto — ito ay isang sitwasyon kung saan ang modelo ay pormal na nagpapatuloy ng teksto, ngunit ginagawa ito nang masama mula sa pananaw ng natural na pananalita.

Karaniwan itong ganito ang hitsura:

• nagsisimulang ulitin ng modelo ang parehong mga salita o parirala;
• ang teksto ay nagiging labis na pormularyo at "walang buhay";
• nawawala ang malinaw na kahulugang pagkakaugnay sa sagot;
• ang mga random o mahinang salita ay nagsisimulang lumabas sa pagpapatuloy.

Sa madaling salita, ang modelo ay nagiging masyadong "maingat" at palaging pumipili ng parehong bagay, o kabaligtaran, nakatanggap ng masyadong maraming kalayaan at nagsisimulang hatakin ang mahina at maingay na mga pagpapatuloy. Sa parehong kaso, ang teksto ay hindi na kahawig ng natural na pananalita ng tao.

Kasaysayan ng Pag-aaral

Ang problema ay detalyadong binuo nina Holtzman at mga kasamahan noong 2019 batay sa materyal ng open-ended na henerasyon ng teksto — lalo na mga kwento, libreng pagpapatuloy at mga tugon sa diyalogo. Ipinakita ng mga may-akda na ang mga paraan ng decoding na nakatuon sa maximization ng probabilidad, tulad ng greedy search at beam search, sa mga bukas na gawain ay madalas na humahantong sa hindi natural, paulit-ulit at walang sapat na nilalaman na mga pagkakasunud-sunod.

Sa parehong gawa, ipinakita rin na ang kabaligtaran na diskarte — purong stochastic sampling nang walang truncation — ay problematiko rin, dahil ang modelo ay maaaring pumili ng mga token mula sa "hindi mapagkakatiwalaang buntot" ng distribusyon ng probabilidad. Nagpapasama ito ng pagkakaisa at nagpapataas ng panganib ng mga random, mahinang magkakaugnay na pagpapatuloy.

Ang mga susunod na gawa ay nagbigay ng karagdagang paglilinaw at pagpapalawak sa paliwanag na ito. Sa partikular, iminungkahi ni Finlayson at mga kasamahan ang isang teoretikal na interpretasyon kung bakit ang mga paraan ng truncation (halimbawa, Top-p) ay kadalasang nakakatulong na mabawasan ang degenerasyon ng teksto: ang truncation ng buntot ay nagpapahintulot na maiwasan ang mga token kung saan ang modelo ay partikular na hindi mapagkakatiwalaan.

Idinagdag naman ni Meister at mga kasamahan ang koneksyon ng problema ng degenerasyon sa paglabag sa lokal na katipikalan: ang teksto ng tao, sa pangkalahatan, ay naghahangad na mapanatili ang nilalaman ng impormasyon na malapit sa inaasahang kondisyonal na entropy, at hindi lamang i-maximize ang probabilidad ng bawat susunod na token.

Mga Pangunahing Pagpapakita

Ang niyural na degenerasyon ng teksto ay maaaring magpakita hindi lamang sa anyo ng malinaw na pag-uulit, kundi pati na rin sa mas nakatagong mga anyo: mula sa semantikong kahirapan hanggang sa unti-unting pagkasira ng pagkakaisa. Sa panlabas, ang mga naturang teksto ay madalas na nananatiling gramatikong tama, ngunit nagsisimulang kapansin-pansing naiiba mula sa natural na pananalita ng tao sa pagkakaiba-iba, pagiging mapagbigay ng impormasyon at katatagan ng pag-unlad ng pag-iisip.

Pag-uulit at Pag-ikot

Ang pinakakilalang anyo — pag-uulit ng mga token, parirala o buong sintaktikong konstruksyon. Nagsisimulang "umikot" ang teksto, nagdaragdag ng halos parehong mga pagpapatuloy nang paulit-ulit.

Ang ganitong pagkasira ay maaaring magpakita sa iba't ibang antas:

• bilang pag-uulit ng mga indibidwal na salita;
• bilang obsesibong pagpapalit ng parehong parirala;
• bilang paikot na pagbabalik sa parehong pag-iisip;
• bilang maraming pagkopya ng parehong sintaktikong balangkas na may kaunting pagbabago.

Lalo na katangian na ang mga pag-uulit ay madalas na nagiging self-sustaining: ang isang konstruksyon na nalikha ay nagsisimulang palakasin ang sarili, dahil ang modelo ay patuloy na umaasa sa naihenera na na fragment at muling ginagawa ito sa bahagyang binagong anyo. Bilang resulta, ang teksto ay maaaring mapanatili ang hitsura ng pasulong na galaw, ngunit sa katunayan ay titigil sa pag-unlad ng nilalaman.

Pormularyo at Kahirapan ng Nilalaman

Kahit walang malinaw na mga ikot, ang modelo ay maaaring mag-output ng labis na predictable at walang sapat na nilalaman na teksto. Ang nasabing output ay nananatiling gramatikong tama, ngunit nagiging walang orihinalidad, monotono at mahirap sa nilalaman ng impormasyon.

Sa anyo ng degenerasyon na ito, ang teksto ay karaniwang mukhang "tama", ngunit nagbibigay ng impresyon ng labis na ligtas at mapanganib. Pinipili ng modelo ang pinaka-inaasahang mga salita at paraan, dahil sa:

• bumababa ang leksikal na pagkakaiba-iba;
• mas madalas na inuulit ang parehong mga pattern ng pananalita;
• nawawala ang hindi gaanong halatang, ngunit mas makabuluhang mga pagbuo;
• ang teksto ay nagiging mas maayos sa anyo, ngunit mas mahirap sa kahulugan.

Ikay mismo kaya ang degenerasyon ay hindi laging mukhang malinaw na pagkakamali: minsan ito ay nagpapakita bilang labis na predictable, "pantay" at walang laman na teksto, na pormal na nakasulat nang tama, ngunit halos hindi nagbibigay ng bagong impormasyon.

Pagkawala ng Pagkakaisa

Sa labis na randomness o mahinang kontrol sa buntot ng distribusyon, ang henerasyon ay maaaring mapanatili ang lokal na gramatikong kawastuhan, ngunit mawawala ang pangkalahatang semantikong pagkakaisa: ang mga hindi angkop na salita, hindi inaasahang mga paglipat ng paksa at mga lohikal na pagputol ay nagsisimulang lumabas sa teksto.

Sa ganitong sitwasyon, ang mga kalapit na parirala ay maaaring magmukhang katanggap-tanggap nang paisa-isa, ngunit ang mga sanhi-bunga, paksa at lohikal na ugnayan sa pagitan ng mga ito ay humihina. Ito ay nagpapakita sa:

• ang pangungusap ay gramatikong tama, ngunit mahina ang koneksyon sa nauna;
• ang pag-iisip ay biglang nagbabago ng direksyon nang walang malinaw na paglipat;
• ang mga lokal na katanggap-tanggap, ngunit kontekstuwal na hindi angkop na pagpapatuloy ay lumalabas sa teksto;
• ang pangkalahatang daloy ng pangangatwiran ay nagiging maluwag at hindi matatag.

Sa madaling salita, ang modelo ay maaaring mapanatili ang lokal na kahusayan sa antas ng mga indibidwal na parirala, ngunit mawawala ang pandaigdigang pagkakaisa sa antas ng buong talata o mahabang sagot.

Semantikong Paglalayo

Isa pang anyo ng degenerasyon — unti-unting paglipat ng kahulugan, kung saan ang teksto ay hindi biglang gumuguho, kundi dahan-dahang lumalayo mula sa orihinal na paksa, gawain o linya ng kwento.

Kakaiba sa malinaw na kawalan ng pagkakaisa, dito ang degradasyon ay unti-unting lumalaki:

• nagsisimula ang modelo sa may kaugnayan na sagot;
• pagkatapos ay nagdaragdag ng lalong pangkalahatang o mahina ang koneksyon na mga detalye;
• pagkatapos nito, ang orihinal na paksa ay nagsisimulang malabo;
• sa huli, ang teksto ay maaaring manatiling pormal na maayos, ngunit hindi na sapat na tumutugon sa orihinal na kahilingan.

Ang ganitong paglalayo ay lalo na kapansin-pansin sa mahabang henerasyon: ang modelo ay hindi kinakailangang bumagsak sa mga ikot, ngunit hakbang-hakbang ay nawawala ang disiplina sa paksa, at ang pagpapatuloy ay hindi na tunay na may kaugnayan.

Pagbaba ng Pagiging Mapagbigay ng Impormasyon

Ang degenerasyon ay maaaring ipahayag hindi lamang sa pag-uulit, kundi pati na rin sa katotohanan na ang teksto ay humihinto sa pagdaragdag ng bagong impormasyon. Ang modelo ay patuloy na sumusulat, ngunit ang semantikong "densidad" ng output ay bumababa, at ang pagpapatuloy ay nagiging walang laman sa nilalaman.

Sa naturang teksto, ang mga salita at pangungusap ay patuloy na nag-iipon, ngunit ang semantikong pag-unlad ay bumagal. Ang mga bagong parirala:

• binubuo muli ang nasabi na;
• nagdaragdag ng kaunting bagong katotohanan;
• pinapalitan ang mga partikular sa pangkalahatang mga salita;
• pinapanatili ang dami ng teksto nang walang katumbas na paglaki ng nilalaman.

Ito ay lalo na mahalaga, dahil ang ganitong degradasyon ay maaaring mukhang hindi gaanong kapansin-pansin kaysa sa malinaw na mga pag-uulit: ang teksto ay mukhang "normal", ngunit sa maingat na pagbabasa ay nagiging malinaw na pangunahing inuulit nito ang parehong pag-iisip sa iba't ibang salita.

Nakatagong Degenerasyon nang Walang Malinaw na Pagkabigo

Hindi lahat ng niyural na degenerasyon ay mukhang isang magaspang na pagkasira. Sa ilang mga kaso, ang teksto ay hindi naglalaman ng mga malinaw na ikot, mabibilis na lohikal na pagputol o halatang "ingay", ngunit sa kabila nito ay kapansin-pansing lumalayo mula sa natural na pagsusulat ng tao.

Ang nakatagong anyo na ito ay nagpapakita bilang kumbinasyon ng:

• labis na predictability;
• monotonong ritmo ng mga parirala;
• ligtas, ngunit mahinang mga pagbuo;
• kakulangan ng pagkakataon, nuances at semantikong lalim.

Iyon ang dahilan kung bakit ang niyural na degenerasyon ng teksto ay hindi lamang nabibilang sa pag-ikot. Sinasaklaw nito ang mas malawak na hanay ng mga sintomas — mula sa malinaw na pag-uulit hanggang sa maselang semantikong kahirapan, kung saan ang teksto ay nananatiling pormal na tama, ngunit nawawala ang pagkakaiba-iba, kakayahang ipahayag at nilalaman na halaga.

Mga Sanhi

Hindi Pagkakatugma sa Pagitan ng Pagsasanay at Decoding

Ang mga modelo ng wika ay karaniwang sinanay na hulaan ang susunod na token sa pamamagitan ng distribusyon ng probabilidad. Gayunpaman, sa panahon ng henerasyon, ang teksto ay madalas na hindi kinukuha bilang isang sample mula sa distribusyong ito, kundi sa tulong ng mga pamamaraan na mahigpit na nagma-maximize ng probabilidad sa bawat hakbang o sa buong pagkakasunud-sunod. Ang pagkakaibang ito sa pagitan ng mga layunin ng pagsasanay at mga panuntunan ng decoding ay isa sa mga pangunahing sanhi ng degenerasyon sa mga bukas na gawain.

"Hindi Mapagkakatiwalaang Buntot" ng Distribusyon

Sa kabilang banda, ang ganap na kalayaan sa sampling ay maaari ring makapinsala. Kahit ang mga napaka-malamang na token ay karaniwang may hindi zero na probabilidad, at sa kanila ay makikita ang maraming mahina, maingay o mahinang magkakaugnay na mga variant. Kung pipili ang modelo ng token mula sa naturang buntot, ang kalidad ng pagpapatuloy ay maaaring biglang lumala.

Paglabag sa Lokal na Katipikalan

Iniuugnay ni Meister at mga kasamahan ang degenerasyon sa katotohanang ang natural na teksto ay karaniwang pinapanatili ang nilalaman ng impormasyon na malapit sa inaasahang kondisyonal na entropy. Kapag ang decoding ay sistematikong lumalayo mula sa "katipikalan" na ito, ang teksto ay maaaring nagiging masyadong walang orihinalidad, o masyadong maingay.

Koneksyon sa mga Paraan ng Decoding

Ang niyural na degenerasyon ng teksto ay malapit na nauugnay hindi lamang sa kalidad ng modelo ng wika mismo, kundi pati na rin sa kung paano eksaktong pinipili ang susunod na token mula sa distribusyon ng probabilidad nito. Ang parehong hanay ng mga probabilidad ay maaaring magbigay ng kapansin-pansing iba't ibang resulta depende sa estratehiya ng decoding: ang ilang mga paraan ay nagpapatibay ng mga pag-uulit at pormularyo, ang iba ay nagpapataas ng pagkakaiba-iba, ngunit nanganganib na mawala ang pagkakaisa, at ang iba pa ay sumusubok na mapanatili ang kompromiso sa pagitan ng mga sukdulan na ito.

Greedy Search at Beam Search

Ang greedy search at beam search ay lalo na madaling mapayagan sa pag-uulit at pormularyo sa mga gawaing open-ended na henerasyon, dahil sistematikong pinipili nila ang pinaka-malamang na mga pagpapatuloy.

Sa kaso ng greedy search, ang modelo sa bawat hakbang ay pumipili ng isang pinaka-malamang na token. Ang pamamaraang ito ay gumagana nang maayos doon kung saan ang gawain ay may medyo makitid na hanay ng mga tamang sagot, ngunit sa libreng henerasyon ay madalas na ginagawang masyadong predictable ang teksto. Paulit-ulit na pinipili ng modelo ang pinaka-"ligtas" na mga pagpapatuloy, dahil sa:

• pinalakas ang pagkahilig sa pag-uulit ng mga napiling konstruksyon;
• nabawasan ang pagkakaiba-iba ng mga pagbuo;
• ang teksto ay nagiging mas pormularyo at mahirap sa nilalaman.

Ang beam search ay bahagyang nagpapalawak ng espasyo ng paghahanap, dahil sabay-sabay nitong sinusubaybayan ang ilang pinaka-malamang na mga hipotesis. Gayunpaman, sa mga gawaing bukas na teksto, hindi ito palaging nakakapigil sa degenerasyon. Sa kabaligtaran, dahil sa pangkalahatang oryentasyon sa maximization ng likelihood, maaari rin itong sistematikong mag-prefer ng masyadong "tama", ngunit hindi gaanong natural na mga pagpapatuloy, na nagpapataas ng panganib ng:

• kawalan ng iba't iba;
• pag-uulit;
• labis na maayos, ngunit walang nilalaman na teksto.

Sa madaling salita, ang mga paraan na masyadong patuloy na pumipili ng pinaka-malamang na pagpapatuloy ay madalas na nananalunan sa lokal na predictability, ngunit natatalunan sa naturalness ng mahabang henerasyon.

Purong Sampling

Ang hindi mahigpit na limitadong sampling ay nagpapataas ng pagkakaiba-iba, ngunit nang walang karagdagang mga filter, mas madalas na kumukuha ng mga mahinang token mula sa buntot ng distribusyon, na maaaring magpasama ng pagkakaisa ng teksto.

Sa purong sampling ang susunod na token ay random na pinipili ayon sa buong distribusyon ng probabilidad ng modelo. Hindi katulad ng greedy search o beam search, ang pamamaraang ito ay nagbibigay ng mas maraming kalayaan sa modelo at nakakatulong na maiwasan ang masyadong maagang "pagsisikip" sa parehong pattern.

Gayunpaman, ang kalayaang ito ay may kabaligtaran. Kahit na ang probabilidad ng maraming mga token ay napakalit, karaniwang mayroon pa rin silang hindi zero na pagkakataong mapili. Dahil dito, ang modelo ay maaaring kumita ng mga pagpapatuloy mula sa "buntot" ng distribusyon, kung saan mas madalas na matatagpuan ang:

• mga random at kontekstuwal na mahinang salita;
• mga mahinang magkakaugnay na pagpapatuloy;
• mga token na lokal na katanggap-tanggap, ngunit nagpapasama ng pangkalahatang pagkakaisa ng teksto.

Bilang resulta, ang purong sampling ay madalas na binabawasan ang pormularyo, ngunit sabay na ginagawang hindi gaanong matatag ang teksto: maaari itong manatiling iba't iba, ngunit nagiging mas maluwag, walang pagkakaayos o semantikong hindi matatag.

Mga Paraan ng Truncation ng Distribusyon

Ang mga paraan ng truncation ng distribusyon — lalo na ang Top-p at Top-k — ay iminungkahi bilang isang praktikal na paraan upang mabawasan ang degenerasyon. Nililimitahan nila ang hanay ng mga pinahihintulutang token at sa gayon ay binabawasan ang probabilidad ng mga mahinang pagpapatuloy.

Ang pangkalahatang lohika ng mga pamamaraang ito ay ang hindi papayagan ang modelo na pumili ng susunod na token mula sa buong bokabularyo. Sa halip, ang pinaka-malamang na bahagi lamang ng distribusyon ang isinasaalang-alang:

• Top-k — nag-iiwan ng isang nakapirming bilang ng pinaka-malamang na mga token;
• Top-p — nag-iiwan ng dinamikong "nucleus" ng mga token, na ang kabuuang probabilidad ay umaabot sa isang nakatakdang threshold.

Ang ganitong limitasyon ay nagbabawas ng panganib na pipili ang modelo ng masyadong mahinang pagpapatuloy mula sa hindi mapagkakatiwalaang buntot, ngunit hindi pinipilit ito na kumuha ng isa't isa lamang na "pinakamahusay" na opsyon sa bawat oras. Dahil dito, ang mga paraan ng truncation ay madalas na nasa pagitan ng dalawang sukdulan:

• masyadong mahigpit na maximization;
• masyadong malaya at maingay na sampling.

Namumukod-tangi si Finlayson at mga kasamahan na nag-alok ng mas mahigpit na teoretikal na interpretasyon ng bisa na ito. Ipinakita nila na ang mga paraan ng truncation ay nakakatulong na itapon ang mga token na mas malamang na hindi mapagkakatiwalaan mula sa pananaw ng tunay na distribusyon ng teksto. Samakatuwid, ang truncation ay maaaring tingnan hindi lamang bilang isang inhinyering na heuristic na pamamaraan, kundi pati na rin bilang isang paraan upang mabawasan ang probabilidad ng mga sistematikong pagkakamali sa panahon ng pagpili ng token.

Mga Modernong Estratehiya

Ang mga mas bagong paraan, tulad ng locally typical sampling, ay naghahangad na mabawasan ang mga degeneratibong pag-uulit habang pinapanatili ang kalidad ng henerasyon. Katulad nito, ang contrastive search ay iminungkahi bilang isang paraan upang mapataas ang pagkakaiba-iba nang hindi sinisasakripisyo ang pagkakaisa ng teksto.

Ang mga pamamaraang ito ay nagpapaunlad ng ideya na ang problema ay hindi lamang tungkol sa kung ilan ang mga token na dapat manatili, kundi tungkol din sa kung aling mga token ang dapat ituring na magagandang kandidato.

Ang locally typical sampling ay nakatuon hindi lamang sa mataas na probabilidad, kundi sa pagkalapitan ng nilalaman ng impormasyon ng token sa inaasahang kondisyonal na entropy. Nagbibigay-daan ito na mabawasan ang mga sitwasyon kung saan ang modelo:

• pumipili ng masyadong walang orihinalidad at "walang laman" na mga pagpapatuloy;
• natigil sa mga degeneratibong pag-uulit;
• nagiging masyadong predictable kahit na walang malinaw na mga ikot.

Ang contrastive search ay gumagamit ng ibang lohika: naghahangad itong pumili ng mga pagpapatuloy na sabay na nananatiling kapani-paniwala at hindi masyadong katulad ng naihenera na konteksto. Dahil dito, ang probabilidad na palalakasin ng modelo ang parehong mga konstruksyon ay nababawasan lamang dahil lokal na napaka-malamang ang mga ito.

Kumpara sa mga klasikong estratehiya ng decoding, ang mga pamamaraang ito ay hindi lamang sumusubok na limitahan ang pagpili, kundi ginagawang mas sensitibo ang mismong pamantayan ng pagpili sa kalidad ng mahabang henerasyon — iyon ay, kung mananatiling makabuluhan, iba't iba at magkakaugnay ang teksto sa loob ng ilang pangungusap o talata.

Depende sa Mode ng Decoding

Ang koneksyon sa pagitan ng niyural na degenerasyon at decoding ay hindi lamang nabibilang sa paghahambing ng "mabuti" at "masama" na mga paraan. Ang parehong algorithm ay maaaring kumilos nang iba depende sa kung gaano kahigpit o malaya nitong nililimitahan ang distribusyon sa bawat hakbang.

Sa pangkalahatang anyo, maaaring makilala ang tatlong mode:

• masyadong mahigpit na pagpili — ang modelo ay halos palaging kumukuha ng pinaka-malamang na mga token, na nagpapatibay ng pormularyo at pag-uulit;
• masyadong malayaang pagpili — ang modelo ay nakakakuha ng masyadong malawak na access sa mahina na mga pagpapatuloy, na nagpapataas ng panganib ng kawalan ng pagkakaisa;
• katamtamang limitadong pagpili — ang modelo ay pinapanatili ang pagkakaiba-iba, ngunit nananatili sa loob ng sapat na mapagkakatiwalaang bahagi ng distribusyon.

Iyon ang dahilan kung bakit ang niyural na degenerasyon ay madalas na itinuturing bilang kahihinatnan hindi lamang ng kalidad ng modelo mismo, kundi pati na rin ng hindi matagumpay na mode ng decoding: masyadong mahigpit, masyadong malambot o mahinang magkakaayon sa partikular na gawain ng henerasyon.

Sa simpleng salita, ang degenerasyon ay mas madalas na nangyayari sa dalawang sukdulan: kapag ang modelo ay masyadong mahigpit na pumipili ng pinaka-malamang na mga salita, o, kabaligtaran, nakatanggap ng masyadong maraming kalayaan at nagsisimulang hatakin ang mga random na mahinang pagpapatuloy. Ang mga pinaka-matatag na estratehiya ay karaniwang nasa pagitan ng dalawang sukdulan na ito.

Mga Paraan ng Pagpapagaan

Kahit walang unibersal na paraan upang ganap na maalis ang niyural na degenerasyon ng teksto, sa praktis ay nabuo ang isang hanay ng mga pamamaraan na nagpapahintulot na kapansin-pansing mabawasan ang pinaka-tipikal nitong mga pagpapakita — lalo na ang mga pag-uulit, pormularyo, pagkawala ng pagkakaisa at pagkuha ng "maingay" na buntot ng distribusyon. Ang mga pamamaraang ito ay naiiba sa kung paano eksaktong nililimitahan nila ang pagpili ng susunod na token: ang ilan ay simpleng pinuputol ang mga mahinang opsyon, ang iba ay isinasaalang-alang ang anyo ng distribusyon nang mas maingat, at ang iba pa ay sumusubok na direktang balansehin ang pagkakaisa at pagkakaiba-iba.

Truncation ng Distribusyon

Ang pinaka-karaniwan na paraan ng paglaban sa niyural na degenerasyon — ang limitahan ang pagpili ng susunod na token hindi sa buong bokabularyo, kundi sa pinaka-malamang na bahagi lamang nito. Ito ang batayan ng Top-p at Top-k.

Ang pangunahing ideya ng mga pamamaraang ito ay ang modelo ay hindi dapat malayang pumili sa lahat ng posibleng token, dahil ang malaking bahagi ng distribusyon ay nasa "hindi mapagkakatiwalaang buntot", kung saan nag-iipon ang mga mahina, maingay o mahinang magkakaugnay na mga variant. Ang truncation ay nagpapahintulot na artipisyal na paliitin ang espasyo ng pagpili at sa gayon ay bawasan ang probabilidad na ang henerasyon ay biglang mapupunta sa kawalan ng pagkakaisa o magsisimulang gumuho.

Sa praktis, dalawang pinaka-kilalang shema ang ginagamit:

• Top-k — nag-iiwan lamang ng isang nakapirming bilang ng pinaka-malamang na mga token;
• Top-p (nucleus sampling) — nag-iiwan ng dinamikong "nucleus" ng mga token, na ang kabuuang probabilidad ay umaabot sa isang nakatakdang threshold $p$.

Ang kanilang pangkalahatang kahulugan ay iisa: huwag hayaan ang modelo na pumili mula sa masyadong maraming mahina na pagpapatuloy. Kasabay nito, ang Top-p ay karaniwang itinuturing na mas nababaluktot, dahil ang laki ng pinahihintulutang hanay ay nagbabago mula sa hakbang patungong hakbang depende sa kasalukuyang anyo ng distribusyon.

Iminungkahi ni Finlayson at mga kasamahan ang mas mahigpit na interpretasyon kung bakit ang mga paraan ng truncation ay madalas na gumagana: nakakatulong ang truncation na itapon ang mga token na maaaring hindi kabilang sa support ng "tunay" na distribusyon ng teksto, iyon ay, lalo na hindi mapagkakatiwalaan mula sa pananaw ng modelo. Samakatuwid, ang mga naturang paraan ay hindi lamang mekanikal na "pinaputol ang buntot", kundi talagang binabawasan ang probabilidad ng mga sistematikong pagkakamali sa yugto ng pagpili ng token.

Sa simpleng salita, nakakatulong ang truncation ng distribusyon sa modelo na huwag pumunta nang masyadong malayo sa lugar ng mahina at random na mga opsyon. Dahil dito, ang teksto ay mas madalas na nananatiling mas magkakaugnay, natural at hindi gaanong madaling mapunta sa degenerasyon.

Mas Adaptive na Mga Paraan ng Sampling

Ang locally typical sampling, η-sampling at mga kaugnay na diskarte ay sumusubok na hindi lamang "putulin ang buntot", kundi isaalang-alang ang anyo ng distribusyon at ang estruktura ng impormasyon ng kasalukuyang hakbang ng henerasyon.

Kakaiba sa simpleng truncation, ang mga naturang paraan ay naghahangad na isaalang-alang hindi lamang kung gaano kalamang ang isang token, kundi pati na rin kung gaano ito katipiko para sa ibinigay na konteksto. Mahalaga ito, dahil ang degenerasyon ay nangyayari hindi lamang dahil sa masyadong mahina na mga token, kundi pati na rin dahil sa labis na kagustuhan para sa masyadong "ligtas" at walang orihinalidad na mga pagpapatuloy.

Halimbawa, ang locally typical sampling ay nakatuon sa pagkalapitan ng nilalaman ng impormasyon ng token sa inaasahang kondisyonal na entropy. Sa madaling salita, sumusubok itong pumili hindi lamang ng pinaka-malamang na mga salita, kundi ng mga mas angkop sa "normal" na antas ng pagiging mapagbigay ng impormasyon para sa ibinigay na konteksto. Nagpapahintulot ito na mabawasan ang:

• mga degeneratibong pag-uulit;
• labis na pormularyo;
• semantikong kahirapan ng teksto habang pinapanatili ang pangkalahatang pagkakaisa.

Ginamiit din ng iba pang adaptive na mga paraan ang katulad na lohika: sa halip na simpleng nakapirming truncation, naghahangad silang mag-adjust sa kasalukuyang estado ng distribusyon. Dahil dito, ang modelo ay hindi gaanong madaling mahulog sa dalawang sukdulan:

• nagiging masyadong predictable at "patag";
• kumukuha ng masyadong mahina at maingay na mga pagpapatuloy.

Ang mga naturang paraan ay karaniwang mas kumplikado sa interpretasyon at pag-configure kaysa sa Top-k o Top-p, gayunpaman maaari silang mas mahusay na harapin ang maselang anyo ng degenerasyon, kung saan ang problema ay hindi sa malinaw na kawalan ng pagkakaisa, kundi sa pagkawala ng pagiging mapagbigay ng impormasyon at pag-uulit ng mga pattern ng pananalita.

Sa simpleng salita, ang mas adaptive na mga paraan ay sumusubok na hindi lamang alisin ang mahina na mga salita, kundi panatilihin ang mga pagpapatuloy na mas angkop sa kasalukuyang konteksto sa kahulugan at "naturalness".

Contrastive Search

Ang contrastive search at mga kaugnay na paraan ay naghahangad na sabay na mapanatili ang pagkakaisa at pagkakaiba-iba, na nagbabawas ng mga pag-uulit na madalas na nangyayari sa strictly maximization-based decoding.

Ang ideya ng contrastive na diskarte ay ang hindi lamang umasa sa probabilidad ng susunod na token. Sa halip, ang pagpili ng kandidato ay itinayo bilang isang kompromiso sa pagitan ng dalawang kinakailangan:

• ang pagpapatuloy ay dapat na sapat na kapani-paniwala;
• ang pagpapatuloy ay hindi dapat masyadong katulad ng naihenera na konteksto at sa gayon ay nagpapatibay ng pag-uulit.

Dahil dito, ang contrastive search ay sumusubok na sugpuin ang mga pagpapatuloy na pormal na mukhang napaka-malamang, ngunit sa katunayan ay humahantong sa pag-ikot, pormularyo o labis na monotonong henerasyon. Hindi katulad ng purong sampling, ang pamamaraang ito ay hindi nagpapakilala ng randomness bilang pangunahing mekanismo ng paglaban sa degenerasyon, kundi sumusubok na sadyang piliin ang sapat na malamang, ngunit hindi gaanong degeneratibong mga pagpapatuloy.

Ang mga naturang paraan ay lalo na mahalaga dahil ang mga klasikong estratehiya batay sa maximization ay madalas na nagbibigay ng mataas na lokal na kumpiyansa, ngunit nagbabayad para dito sa naturalness ng teksto. Ang contrastive search ay sumusubok na mapanatili ang mga kalakasan ng deterministic na pagpili — pagkakaisa at katatagan — habang sabay na binabawasan ang mga pag-uulit at kawalan ng iba't iba.

Sa simpleng salita, ang contrastive search ay naghahangad na huwag kumuha ng pagpapatuloy lamang dahil ito ang pinaka-malamang. Karagdagang "pinaparusahan" nito ang masyadong monotonong mga opsyon, upang ang teksto ay hindi mag-ikot at hindi maging masyadong pormularyo.

Pagpili ng Estratehiya Ayon sa Gawain

Binibigyang-diin ng mga mas bagong pananaliksik na walang unibersal na paraan: ang bisa ng isang partikular na estratehiya ng decoding ay depende sa uri ng gawain, laki ng modelo, alignment at iba pang mga salik. Ang mahusay na gumagana para sa henerasyon ng diyalogo o sanaysay ay maaaring mas mahinang gumana sa code, matematika o iba pang mga deterministic na domain.

Ibig sabihin nito, ang paglaban sa niyural na degenerasyon ay hindi lamang pagpili ng "pinakamahusay" na algorithm, kundi pati na rin ang paghahambing ng paraan sa uri ng gawain. Sa open-ended na henerasyon (mga kwento, diyalogo, mahabang sagot), ang mga paraan ng sampling at mas nababaluktot na mga shema ng pagpili ay madalas na nakakatulong na mapanatili ang pagkakaiba-iba at naturalness. Sa mas mahigpit at deterministic na mga gawain — halimbawa, sa programming, matematika o mga gawain na may isang tamang sagot — ang masyadong agresibong stochasticity, sa kabaligtaran, ay maaaring magpababa ng kalidad ng resulta.

Ipinakita rin ni Shi at mga kasamahan na ang panghuling resulta ay naiimpluwensyahan hindi lamang ng mismong estratehiya ng decoding, kundi pati na rin ng:

• laki ng modelo;
• antas ng alignment nito;
• sensitivity sa mga hyperparameter;
• kapaligiran ng deployment at mga limitasyon ng inference.

Mula dito ay sumusunod ang isang mahalagang praktikal na konklusyon: ang parehong paraan ay maaaring mukhang malakas sa isang configuration at kapansin-pansing mas mahina — sa isa pa. Samakatuwid, ang pagpapagaan ng niyural na degenerasyon sa praktis ay halos palaging nangangailangan ng pag-tune ng mga parameter at pagsubok sa isang partikular na klase ng mga gawain, at hindi pag-asa sa isang "unibersal" na resipe.

Sa simpleng salita, ang magandang paraan ng decoding ay depende sa ginagawa ng modelo. Para sa libreng teksto, mas gumagana ang ilang mga paraan, para sa code, matematika at iba pang tumpak na mga gawain — ang iba.

Pagsasama ng mga Paraan

Sa praktis, ang mga paraan ng pagpapagaan ay madalas na inilalapat hindi nang hiwalay, kundi sa kumbinasyon sa isa't isa. Halimbawa, ang truncation ng distribusyon ay maaaring gamitin kasama ng temperatura, at ang mas kumplikadong mga estratehiya ay maaaring pagsamahin sa karagdagang mga limitasyon sa pagpili ng token.

Ang kahulugan ng mga naturang kumbinasyon ay ang paghahati ng mga tungkulin:

• ang isang mekanismo ay nagtatakda ng pangkalahatang antas ng pagkakaiba-iba;
• ang isa pa ay nililimitahan ang "maingay" na buntot;
• ang ikatlo ay nagbabawas ng panganib ng mga pag-uulit o pormularyo.

Gayunpaman, ang pagdaragdag ng bilang ng sabay-sabay na na-configure na mga mekanismo ay nagpapalubha ng kontrol sa pag-uugali ng modelo. Samakatuwid, ang mas kumplikadong shema ay hindi palaging nangangahulugang mas mataas na kalidad ng resulta: ang kita ay madalas na depende sa kung gaano kahusay ang mga napiling hyperparameter at kung gaano ang partikular na kumbinasyon ay tumutugma sa gawain.

Sa madaling salita, ang pagpapagaan ng niyural na degenerasyon ay kadalasang itinayo hindi sa isang "mahiwagang" paraan, kundi sa maingat na kumbinasyon ng ilang mga limitasyon, na ang bawat isa ay inaalis ang sarili nitong bahagi ng problema.

Huwag Malito sa Model Collapse

Ang niyural na degenerasyon ng teksto sa kahulugan ni Holtzman at mga kasamahan ay hindi dapat ihalo sa model collapse — isang hiwalay na penomenon na pinag-aaralan sa mga gawa tungkol sa recursive na pagsasanay ng mga modelo sa synthetic na data.

Sa unang kaso, pangunahing pinag-uusapan ang degenerasyon ng teksto sa yugto ng henerasyon (inference), kapag ang isang hindi matagumpay na estratehiya ng decoding ay humahantong sa mga pag-uulit, pormularyo o pagkawala ng pagkakaisa. Sa pangalawa — tungkol sa degradasyon ng modelo sa yugto ng pagsasanay, kapag ang data na nalikha ng modelo ay nagsisimulang "mag-contaminate" sa training set ng susunod na henerasyon ng mga modelo, na maaaring humantong sa pagkawala ng mga bihirang kaganapan at pagkitid ng distribusyon.

Ang mga penomenong ito ay tematikong nauugnay, dahil parehong kinakabisa ng pagkasira ng kalidad ng teksto ng neural network, gayunpaman sa panitikan ay karaniwang itinuturing bilang mga magkaibang problema: ang isa ay nauugnay sa decoding, ang isa pa — sa data at pagsasanay.

Kahalagahan para sa Malalaking Modelo ng Wika

Sa panahon ng malalaking modelo ng wika, ang problema ng niyural na degenerasyon ay hindi nawala, kundi lumipat mula sa larangan ng maliliit na generator ng teksto patungo sa larangan ng pamamahala ng pag-uugali ng mas makapangyarihang mga sistema. Kahit na ang mga modernong LLM ay karaniwang mas mahusay na naka-align at mas madalas na bumagsak sa magaspang na mga ikot ng pag-uulit, ang pagpili ng estratehiya ng decoding ay patuloy na kapansin-pansing nakakaimpluwensya sa naturalness, pagkakaiba-iba at katatagan ng output.

Dahil dito, ang niyural na degenerasyon ng teksto ay itinuturing na hindi bilang isang makitid na depekto ng mga maagang modelo ng wika, kundi bilang isang pundamental na problema ng praktikal na henerasyon: ang mahusay na probabilistikong modeling mismo ay hindi ginagarantiyahan ang mahusay na teksto sa yugto ng inference.

Tingnan Din

• Top-p sampling
• Top-k sampling
• Temperatura
• Malalaking Modelo ng Wika

Sanggunian

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; inilathala sa ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Finlayson, M., Hewitt, J., Koller, A., Swayamdipta, S., & Sabharwal, A. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. TACL 2023.
• Shi, C., Yang, H., Cai, D., Zhang, Z., Wang, Y., Yang, Y., & Lam, W. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. EMNLP 2024.
• Su, Y., Lan, T., Wang, Y., Yogatama, D., Kong, L., & Collier, N. (2022). A Contrastive Framework for Neural Text Generation. arXiv:2202.06417.
• Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 2024.