Top-p sampling (RO)

Eșantionarea Top‑p, cunoscută și sub denumirea de eșantionare nucleară (în engleză Nucleus Sampling), este o metodă stochastică de decodificare pentru modelele de limbaj autoregresive, utilizată pe scară largă inclusiv în modelele mari de limbaj (LLM). Metoda a fost propusă în 2019 de Ari Holtzman și coautori (preprintul arXiv — aprilie 2019; publicat la ICLR 2020) ca o alternativă îmbunătățită la eșantionarea Top‑k fixă. Ideea sa constă în selectarea dinamică a mulțimii de candidați la fiecare pas al generării, pe baza unui prag al probabilității cumulative $p$.

Premisă istorică: problema degenerării neuronale a textului

Înainte de apariția Top‑p, strategiile dominante de decodificare erau căutarea greedy (greedy search) și căutarea beam (beam search), bazate pe paradigma maximizării probabilității — alegerea secvenței de token-uri cu cea mai mare probabilitate cumulativă. Căutarea greedy alege la fiecare pas local token-ul cu probabilitatea maximă, iar căutarea beam urmărește în paralel mai multe ipoteze de generare.

Deși aceste metode erau eficiente în sarcini cu ieșire închisă (traducere automată, extragere de date), la tranziția spre sarcini de generare deschisă a textului (scriere de povești, sisteme de dialog) ele duceau frecvent la degenerarea neuronală a textului — o degradare a ieșirii în care textul devine șablonizat, pierde coerența sau se blochează în repetiții. Acest fenomen este descris în detaliu de Holtzman și coautori în lucrarea The Curious Case of Neural Text Degeneration.

Meister și coautori asociază problema degenerării cu faptul că textul uman tinde să mențină un conținut informațional apropiat de entropia condiționată așteptată, în loc să maximizeze pur și simplu probabilitatea locală a fiecărui token următor.

O alternativă a constituit-o eșantionarea stochastică pură (sampling without truncation), în care token-ul este ales aleatoriu conform probabilității sale. Totuși, această metodă a generat problema inversă: funcția Softmax nu atribuie niciodată unui token o probabilitate strict egală cu zero, astfel că într-un vocabular de zeci de mii de cuvinte există întotdeauna o zonă extinsă de token-uri zgomotoase. Eșantionarea pură crește riscul de a cădea în coada nesigură a distribuției, ceea ce poate degrada coerența textului generat. Necesitatea de a combina bogăția alegerii stochastice cu fiabilitatea constrângerilor deterministe a condus la dezvoltarea metodelor de trunchiere a distribuției, al căror reprezentant de frunte a devenit eșantionarea nucleară (Top‑p).

Explicație simplă

Eșantionarea Top-p este o modalitate de a restrânge alegerea token-ului următor doar la variantele cele mai plauzibile, fără a le fixa numărul în prealabil.

La generarea textului, modelul de limbaj evaluează la fiecare pas un număr mare de continuări posibile și atribuie fiecăreia o anumită probabilitate. Unele token-uri sunt foarte probabile, altele moderat probabile, iar cea mai mare parte a vocabularului formează așa-numita „coadă" a distribuției: variante cu probabilitate foarte mică, formal admisibile, dar care adesea sunt aleatorii, nepotrivite sau degradează coerența textului.

Eșantionarea Top-p elimină această coadă puțin probabilă nu după un număr fix de token-uri, ci după probabilitatea cumulativă. Mai întâi, toți candidații sunt ordonați de la cel mai probabil la cel mai puțin probabil. Apoi se selectează setul minim de token-uri de top a căror probabilitate totală atinge pragul dat $p$ — de exemplu, 0,9 sau 0,95. Ulterior, token-ul următor este ales aleatoriu doar din acest set, iar toate celelalte variante sunt excluse.

De exemplu, dacă modelul continuă fraza „Astăzi pe stradă a căzut o ploaie...", printre cele mai probabile variante s-ar putea număra „torențială" (0,45), „abundentă" (0,25), „zăpadă" (0,15) și „vânt" (0,10). La pragul $p=0.90$, algoritmul sumează token-urile în ordine descrescătoare a probabilității: 0,45 + 0,25 = 0,70 (mai mic decât 0,90), adaugă „zăpadă": 0,70 + 0,15 = 0,85 (încă mai mic decât 0,90), adaugă „vânt": 0,85 + 0,10 = 0,95 (pragul este depășit). Nucleul este format din patru token-uri. Toate variantele mai rare sunt eliminate, iar probabilitățile celor rămase sunt renormalizate: astfel, probabilitatea token-ului „torențială" după renormare va fi $0.45/0.95\approx 47.4\mathrm{\%}$, iar generatorul va alege token-ul următor tocmai din această distribuție actualizată.

Principala diferență față de Top‑k este că Top‑k alege întotdeauna un număr fix de cele mai bune cuvinte (de exemplu, 50), pe când Top‑p nu fixează numărul de variante în prealabil: uneori pot fi 3 cuvinte, uneori 20 — totul depinde de modul în care s-au distribuit probabilitățile la acel pas. Prin aceasta, metoda se adaptează la context și ajută la eliminarea „cozii" token-urilor puțin probabile, făcând textul mai natural.

Încă un exemplu. De exemplu, modelul continuă fraza „La micul dejun a băut un ceai fierbinte...". Printre cele mai probabile continuări s-ar putea număra: „ceai" (0,50), „cafea" (0,30), „ciocolată" (0,08), „supă" (0,04), „chefir" (0,03). Dacă pragul $p=0.80$ este setat, algoritmul începe să sumeze probabilitățile de sus în jos: 0,50 pentru „ceai", apoi 0,50 + 0,30 = 0,80. Pragul este deja atins, deci nucleul constă doar din două token-uri: „ceai" și „cafea". Toate celelalte variante sunt eliminate. După renormare, probabilitatea „ceaiului" în interiorul nucleului devine $0.50/0.80=62.5\mathrm{\%}$, iar probabilitatea „cafelei" — $0.30/0.80=37.5\mathrm{\%}$. Token-ul următor este ales doar dintre aceste două variante.

Cu alte cuvinte, modelul elimină mai întâi continuările puțin probabile și neinspirate, iar apoi alege dintre cele rămase. Acest lucru o ajută să scrie mai clar, mai natural și fără „zgomot" inutil.

Concept

Ideea de bază a Top‑p este de a alege la fiecare pas cea mai mică mulțime de token-uri cu cea mai mare probabilitate, a cărei probabilitate cumulativă nu este mai mică decât pragul dat $p$ (nucleul, în engleză nucleus).

Formal, fie $x_{(1)},x_{(2)},\dots$ token-urile din vocabularul $V$, sortate în ordine descrescătoare a probabilității condiționate $P(x\mid x_{1:i-1})$. Atunci nucleul $V^{(p)}$ este definit ca cel mai scurt prefix al acestei secvențe ordonate a cărui masă cumulativă atinge pragul:

$m=min\{n:\sum _{j=1}^{n}P(x_{(j)}\mid x_{1:i-1})\ge p\},V^{(p)}=\{x_{(1)},\dots ,x_{(m)}\}.$

Cu alte cuvinte, aceasta este mulțimea minimă prin incluziune a celor mai probabile token-uri, a cărei probabilitate cumulativă nu este mai mică decât $p$.

După determinarea nucleului, probabilitățile token-urilor din afara $V^{(p)}$ sunt anulate, iar în interiorul nucleului — renormalizate (împărțite la masa cumulativă efectivă $p^{\prime }=\sum _{x\in V^{(p)}}P(x\mid x_{1:i-1})$, astfel că suma devine egală cu 1). Token-ul următor este eșantionat din această distribuție trunchiată și renormalizată.

Adaptare dinamică

• Când distribuția este „ascuțită" (modelul este sigur), nucleul este mic: câteva token-uri ating deja masa ≥ $p$, ceea ce sporește coerența. În cazul limită, dacă probabilitatea celui mai probabil token depășește deja $p$ (de exemplu, $P(x_{(1)})=0.96$ la $p=0.95$), nucleul se restrânge la un singur token și Top‑p devine practic decodificare greedy (greedy search).
• Când distribuția este „plată" (multe continuări plauzibile), nucleul este mare: alegerea se extinde, diversitatea crește.

Comparație cu alte metode de decodificare

Top‑p vs. Top‑k

• Top‑k alege întotdeauna dintr-un număr fix $k$ de token-uri cele mai probabile. În distribuțiile „ascuțite", aceasta poate adăuga variante suplimentare puțin probabile „pentru număr", iar în distribuțiile „plate" — dimpotrivă, poate elimina continuări rezonabile care nu s-au încadrat în top‑$k$.
• Top‑p ajustează dimensiunea mulțimii de candidați în funcție de datele pasului curent, ceea ce face comportamentul mai flexibil și stabil pe diferite tipuri de distribuții.
• În practică, Top‑k și Top‑p pot fi aplicate simultan. În acest caz, mai întâi sunt selectate top‑$k$ token-uri, iar apoi în interiorul acestei mulțimi limitate se caută nucleul cu pragul $p$. Ordinea exactă și motivația depind de implementare, dar o astfel de combinație este documentată ca practică uzuală.

Mai simplu spus, Top-k decide în prealabil câte variante să păstreze, iar Top-p evaluează situația și păstrează atâtea cât este necesar în contextul dat. De aceea Top-p este de obicei mai flexibil, iar Top-k — mai simplu și mai previzibil.

Top‑p vs. Temperatură

• Temperatura (temperature) remodulează întreaga formă a distribuției (o face mai ascuțită sau mai netedă), dar nu trunchiază token-urile: chiar și variantele puțin probabile păstrează o șansă nenulă.
• Top‑p introduce o trunchiere strictă a cozii distribuției — token-urile cu probabilitate scăzută sunt complet excluse din eșantionare, ceea ce ajută la prevenirea continuărilor vădit nepotrivite.
• Ordinea de aplicare. În pipeline-urile standard (de exemplu, în Hugging Face Transformers) mai întâi se aplică temperatura logiturilor (se modifică forma distribuției), apoi poate fi aplicat Top‑k, și abia apoi Top‑p (trunchierea cozii). Aceasta explică de ce „dubla acțiune" este greu de controlat: modificarea temperaturii schimbă chiar masa cumulativă cu care lucrează ulterior Top‑p.

Mai simplu spus, temperatura schimbă cât de liber alege modelul cuvintele, iar Top-p decide ce variante pot fi alese deloc. Prin urmare, temperatura influențează gradul de aleatoritate, iar Top-p — cât de departe poate merge modelul în continuările mai puțin probabile.

Ordinea operațiilor în implementarea Hugging Face Transformers

Ordinea de aplicare a procesoarelor de eșantionare depinde de biblioteca specifică. În Hugging Face Transformers (începând cu v4.x), pentru tripletul de parametri discutat, procesoarele de logituri sunt adăugate în mod implicit în următoarea secvență:

1. Scalarea temperaturii logiturilor. Logitul fiecărui token este împărțit la valoarea temperaturii înainte de exponențierea funcției Softmax. Temperatura modifică forma distribuției, pregătind-o pentru filtrarea ulterioară.
2. Filtrul Top‑k (dacă este configurat): trunchiază vocabularul la un număr fix de candidați.
3. Filtrul Top‑p: trunchierea cumulativă este aplicată pool-ului de token-uri deja restrâns.
4. Renormalizarea probabilităților rămase și eșantionarea stochastică.

În practică, o combinație obișnuită este temperatura moderată (0,7) cu un nucleu larg Top‑p (0,95) și limita Top‑k (50): temperatura asigură variabilitatea de bază, Top‑k funcționează ca o siguranță grosieră, iar Top‑p realizează reglajul fin dependent de context.

Mai simplu spus, modelul face mai întâi alegerea mai mult sau mai puțin „liberă" cu ajutorul temperaturii, apoi limitează dacă este necesar numărul de candidați prin Top-k, iar în final elimină variantele prea slabe prin Top-p. O astfel de ordine ajută să se configureze mai întâi caracterul general al alegerii, iar apoi să se elimine surplusul.

Recomandare: ajustarea unui singur parametru pe rând

Furnizorii de modele recomandă ca la configurarea stilului de generare să se modifice fie temperature, fie top_p, dar nu ambii simultan. Această recomandare se regăsește în documentația oficială OpenAI, Azure OpenAI și Anthropic.

Justificarea practică: ambii parametri influențează forma distribuției de probabilitate (temperatura modifică panta curbei, iar Top‑p stabilește punctul de trunchiere), astfel că modificarea lor simultană îngreunează diagnosticarea — este imposibil de determinat care parametru anume a condus la îmbunătățirea sau degradarea ieșirii. În plus, la valori extreme mici ale ambilor parametri (de exemplu, Temperature ≈ 0 și Top‑p ≈ 0,01) nucleul se restrânge în practică la un singur token, transformând practic eșantionarea în căutare greedy.

Unele modele de tip reasoning restricționează suplimentar configurarea acestor parametri la nivelul API, ceea ce face ca problema modificării lor simultane să fie nerelevantă pentru astfel de modele (a se vedea secțiunea „Compatibilitate cu biblioteci și API").

O euristică inginerească uzuală: pentru sarcinile care necesită reproductibilitate ridicată — utilizarea temperaturii scăzute (până la zero); pentru sarcinile creative — menținerea temperaturii la nivelul de bază (1,0) și reglarea variabilității prin parametrul Top‑p, sau fixarea Top‑p la 1,0 și varierea temperaturii. Recomandările specifice pot diferi în funcție de furnizor.

Impactul asupra facticității și halucinațiilor

Alegerea strategiei de decodificare poate influența nu doar stilistica textului generat, ci și frecvența și tipul erorilor factuale. Fenomenul halucinațiilor — generarea cu încredere a informațiilor false sau contradictorii față de context — este una dintre problemele centrale ale inteligenței artificiale generative. Studiile empirice arată că efectul strategiilor de eșantionare asupra halucinațiilor depinde de sarcină, model și configurarea specifică a parametrilor.

Mecanismul apariției erorilor la eșantionarea stochastică

La valori ridicate ale Top‑p (de exemplu, 0,95), modelul formează un nucleu care acoperă 95% din masa probabilistică. În stări de entropie ridicată (de exemplu, la încercarea de a răspunde la un fapt puțin cunoscut), acest nucleu poate include sute de token-uri cu probabilitate scăzută. Eșantionarea stochastică în astfel de condiții poate extrage un token corect gramatical, dar fără legătură semantică cu adevărul factual. Odată inserat în context, un astfel de token poate influența pașii următori ai generării, deoarece modelul continuă generarea ținând cont de toate token-urile anterioare, inclusiv cele eronate.

Dihotomia sarcinilor deschise și închise

Experimentele la scară largă evidențiază dependența calității generării de tipul sarcinii. În sarcinile de scriere de eseuri sau sistemele de dialog, metodele stochastice (Top‑p, Temperature) rămân lidere, în timp ce în domeniile strict deterministe pot ceda semnificativ în fața abordărilor deterministe.

Pe benchmark-urile de sinteză a codului sursă (HumanEval, MBPP) și rezolvare a problemelor matematice (GSM8K), metodele deterministe (Beam Search, Greedy Decoding) obțin rezultate mai bune comparativ cu abordările bazate pe Top‑p. Dataset-ul GSM8K, care include 8.500 de probleme matematice ce necesită 2 până la 8 pași de calcul, ilustrează vulnerabilitatea alegerii stochastice în astfel de sarcini: injectarea aleatorietății prin distribuția trunchiată Top‑p poate perturba lanțul de raționament al modelului (Chain‑of‑Thought) la oricare dintre pașii intermediari. Tan și coautori subliniază că eficiența metodei de decodificare depinde puternic de sarcina concretă (task‑dependent).

Metode de combatere a halucinațiilor la nivelul decodificării

Pentru combaterea efectelor halucinatorii provocate de eșantionarea stochastică, au fost dezvoltate metode avansate de augmentare a decodificării:

• Decodificarea contrastivă (Contrastive Decoding, DoLa) — optimizează diferența de log-probabilitate între modelul principal și un model auxiliar mai mic, acționând ca un filtru de credibilitate.
• SH2 (Self‑Highlighted Hesitation) — forțează artificial decodificatorul să „ezite" atunci când lucrează cu token-uri de încredere scăzută.
• Proiecția dirijată a activărilor (SEA) — suprimă semnalele halucinatorii la nivelul reprezentărilor vectoriale.

Totodată, modelele moderne cu un alignment de calitate dețin o înțelegere mai profundă a facticității, ceea ce reduce entropia distribuțiilor lor interne și le face mai puțin susceptibile la degradarea faptelor chiar și la valori ridicate ale Top‑p.

Utilizare practică și recomandări

Top‑p este utilizat pe scară largă în LLM-urile moderne datorită combinației de flexibilitate și controlabilitate.

• Intervalul tipic de valori. În practică, se folosește frecvent Failed to parse (syntax error): {\displaystyle p \approx 0.90 ext{–}0.95} . Valoarea implicită diferă în funcție de furnizor: la OpenAI `top_p` = 1,0 (trunchierea este practic dezactivată), la Anthropic — 0,99, la multe modele Google Gemini — 0,95. În biblioteca Hugging Face Transformers, valoarea implicită a framework-ului este de asemenea 1,0, deși modelele individuale pot redefini aceasta în `generation_config.json`. Astfel, 0,9–0,95 reprezintă un interval practic recomandat uzual, dar nu un standard implicit universal.
  • Valorile apropiate de 1,0 (de exemplu, 0,98–0,99) măresc diversitatea: mai multe token-uri intră în nucleu.
  • Valorile mici (de exemplu, 0,80–0,90) sporesc determinismul și „reținerea" ieșirii.
  • La $p=1$, trunchierea prin Top‑p dispare: selecția se face din întregul vocabular (cu luarea în considerare a temperaturii și a altor filtre de decodificare, dacă sunt activate).

• Compatibilitate cu biblioteci și API.
  • În Hugging Face Transformers este implementat TopPLogitsWarper, unde se folosește suplimentar pragul `min_tokens_to_keep` (implicit 1). Aceasta este un detaliu de implementare de protecție: la valorile standard $p\in (0,1]$, un nucleu gol nu apare oricum prin definiție, dar parametrul garantează funcționarea corectă în cazurile limită.
  • În unele API-uri, parametrul `top_p` este disponibil, în timp ce `top_k` poate lipsi; suportul parametrilor și semantica acestora depind de modelul concret și de modul de funcționare. Modelele de tip reasoning restricționează de regulă configurarea stocasticității la nivelul API. De exemplu, în documentația actuală OpenAI, parametrii `temperature` și `top_p` sunt explicit suportați doar pentru GPT‑5.2 cu `reasoning.effort = none`; solicitările către GPT‑5.2 sau GPT‑5.1 cu alte valori `reasoning`, precum și către modele GPT‑5 mai vechi (`gpt‑5`, `gpt‑5‑mini`, `gpt‑5‑nano`) care transmit aceste câmpuri generează eroare. Modelele de tip reasoning din generațiile anterioare (o1, o3) le restricționează sau fixează de asemenea. La Anthropic, în Claude API cu gândirea extinsă activată (extended thinking), modificarea `temperature` și `top_k` este interzisă, însă `top_p` este permis în intervalul 0,95–1,0; pe platforme terțe (de exemplu, Amazon Bedrock), restricțiile pot diferi. Restricțiile furnizorilor se modifică frecvent de la o versiune la alta; se recomandă consultarea documentației actuale.

• Texte lungi și repetabilitate. O serie de experimente a demonstrat că nucleus sampling reduce tendința de degenerare (repetiții, fraze clișeice) comparativ cu greedy/beam și Top‑k fix, în special pe secvențe lungi.

Alternative moderne

După publicarea nucleus sampling în 2019, au fost propuse mai multe metode alternative de decodificare stochastică, care dezvoltă sau completează ideea Top‑p:

Eșantionarea Min‑p

Eșantionarea Min‑p (Nguyen et al., 2024) păstrează token-urile a căror probabilitate nu este mai mică de $p_{min}imesP(x_{(1)})$, adică stabilește un prag relativ față de cel mai probabil token. Acceptat pentru prezentare orală la ICLR 2025; implementat în mai multe framework-uri populare, inclusiv Hugging Face Transformers și vLLM.

Diferența cheie față de Top‑p constă în tipul de prag: Top‑p utilizează un prag absolut bazat pe suma cumulativă a probabilităților, în timp ce Min‑p stabilește un prag relativ, scalat față de probabilitatea celui mai probabil token.

Matematic, algoritmul funcționează astfel: la fiecare pas se determină probabilitatea maximă $P_{max}=P(x_{(1)}\mid x_{1:i-1})$, apoi se calculează pragul scalat $P_{extthreshold}=p_{min}imes{P}_{max}$. În pool-ul final intră doar token-urile a căror probabilitate individuală depășește acest prag.

Aceasta asigură adaptabilitate: dacă modelul este sigur în legătură cu cuvântul următor ($P_{max}=0.9$), la valoarea de bază $p_{min}=0.1$ pragul va fi 0,09, eliminând strict token-urile zgomotoase. Dacă modelul este nesigur ($P_{max}=0.1$), pragul scade la 0,01, lăsând în nucleu o diversitate largă de candidați.

O slăbiciune cunoscută a Top‑p se manifestă la eșantionarea cu temperatură ridicată ($T>1.0$): când distribuția este artificial netezită, Top‑p este forțat să includă în nucleu un număr mare de token-uri cu probabilitate scăzută pentru a atinge suma cumulativă dorită, ceea ce poate duce la degradarea coerenței. Min‑p gestionează mai bine astfel de condiții. În experimentele autorilor pe benchmark-uri de cunoștințe științifice și logice (GPQA), utilizând modelul Mistral Large la temperatura extremă $T=3.0$, algoritmul Min‑p a obținut o acuratețe de 13,84%, în timp ce Top‑p standard 0,9 a dat un rezultat de 0,89% — la nivelul zgomotului aleatoriu.

Totodată, în mediul academic există o dezbatere: unele lucrări critice (de exemplu, arXiv:2506.13681) pun sub semnul întrebării universalitatea avantajelor Min‑p pe toate metricile NLP, indicând necesitatea unor studii suplimentare.

Mai simplu spus, Min-p compară toate variantele nu cu suma totală a probabilităților, ci cu cea mai puternică variantă la pasul curent. Prin urmare, dacă modelul este sigur, elimină mai strict continuările slabe, iar dacă nu este sigur — lasă mai multe variante acceptabile. Datorită acestui fapt, Min-p poate menține mai bine echilibrul dintre coerență și diversitate, în special acolo unde Top-p începe să lase să treacă prea multe cuvinte slabe.

Locally typical sampling

Locally typical sampling (Meister et al., 2023) selectează token-urile al căror conținut informațional ($-\log P$) este apropiat de entropia condiționată, bazându-se pe conceptul teoretic-informațional de tipicitate.

Spre deosebire de Top‑p, care urmărește minimizarea dimensiunii nucleului alegând token-urile cu probabilitate maximă, Locally Typical Sampling rezolvă o problemă de optimizare bazată pe o metrică de distanță informațională. Algoritmul calculează conținutul informațional al fiecărui token ($-\log P(x)$) și măsoară distanța sa absolută față de entropia condiționată $H$ a modelului. Token-urile sunt clasificate nu după probabilitatea brută, ci după gradul lor de „tipicitate informațională" — apropierea de conținutul informațional așteptat al contextului. Token-urile sunt adăugate în nucleu (în ordinea crescătoare a distanței față de entropie) până la atingerea pragului de probabilitate cumulativă.

Consecinșa acestei abordări: în stările de entropie ridicată, algoritmul exclude în mod deliberat nu doar coada zgomotoasă puțin probabilă, ci și cuvintele excesiv de probabile care poartă prea puțină informație și fac textul banal. Aceasta reduce riscul buclelor degenerative și apropie metricile de repetabilitate a textului de valorile caracteristice textelor scrise de oameni.

Tail Free Sampling (TFS)

Tail Free Sampling (TFS) este o abordare mai puțin formalizată, dar practic interesantă pentru identificarea cozii zgomotoase, bazată pe analiza diferențială a spațiului probabilistic. Dacă Top‑p și Min‑p operează cu probabilități de ordinul întâi (suma cumulativă și fracțiile de bază), TFS analizează prima și a doua derivată a curbei de probabilități sortate. Metoda este descrisă în blogul lui Trenton Bricken și implementată în mai multe motoare de inferență, deși nu a fost publicată sub formă de articol recenzat.

Postulatul principal al TFS: includerea chiar și a unui singur token zgomotos în eșantionare reprezintă o amenințare exponențială pentru întreaga generare autoregresivă. Calculând a doua derivată a valorilor de probabilitate, algoritmul localizează „platoul" — porțiunile curbei unde scăderea probabilităților se încetinește și trece într-o coadă lungă și lentă. Punctul acestui punct de inflexiune devine limita dinamică de trunchiere: token-urile de dinaintea sa sunt considerate sigure semantic, iar întreaga coadă este eliminată.

În ciuda eleganței matematice, TFS necesită costuri computaționale mai intensive pentru calculul derivatelor în timp real, din cauza cărora cedează în fața algoritmilor mai ușori în produsele comerciale de masă.

p‑less sampling

$p$‑less sampling este o metodă care eliberează complet inginerul de necesitatea configurării hiperparametrilor de trunchiere. Problema fundamentală a tuturor metodelor anterioare — de la Top‑k și Top‑p până la Min‑p — constă în dependența de hiperparametri statici, ale căror valori necesită configurare expertă și pot fi optime pentru o sarcină (scriere creativă), dar nepotrivite pentru alta (programare).

Algoritmul $p$‑less, înrădăcinat în teoria informației, generează dinamic un prag de trunchiere unic la fiecare pas de decodificare, analizând topologia internă a întregii distribuții de probabilitate în timp real. Autorii raportează robustețe a metodei la fluctuațiile de temperatură (temperature robustness): la creșterea temperaturii, metodele tradiționale pot degrada semnificativ, în timp ce $p$‑less păstrează stabilitatea calității. Mai mult, prin renunțarea la logica scanării cumulative și renormalizării nucleelor mari, metoda, conform datelor autorilor, asigură o eficiență computațională mai ridicată în etapa de inferență și generează răspunsuri mai compacte fără pierderea acurateței pe dataset-uri de matematică, logică și scriere creativă.

η‑eșantionare

η‑eșantionarea (Hewitt et al., 2022) utilizează un prag de probabilitate dependent de entropie, adaptându-se la contextele cu entropie scăzută unde Top‑p poate trunchia excesiv.

Bibliografie

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; publicat la ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Fan, A., Lewis, M., & Dauphin, Y. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. arXiv:2202.00666.
• Ravfogel, S., Goldberg, Y., & Goldberger, J. (2023). Conformal Nucleus Sampling. ACL Findings 2023.
• Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. arXiv:2402.06925.
• Finlayson, M. et al. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Chen, S. J. et al. (2025). Decoding Game: On Minimax Optimality of Heuristic Text Generation Strategies. arXiv:2410.03968.
• Nguyen, M. et al. (2024). Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs. arXiv:2407.01082.
• Sen, J. et al. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.
• Bricken, T. Tail Free Sampling. [32].
• p‑less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding. arXiv:2509.23234.

Vezi și

• Temperatură
• Modele mari de limbaj