Top-p sampling (ID)

Pengambilan sampel Top‑p, juga dikenal sebagai pengambilan sampel nukleus (Ingg. Nucleus Sampling), adalah metode dekoding stokastik untuk model bahasa autoregresif, yang banyak digunakan termasuk dalam model bahasa besar (LLM). Metode ini diusulkan pada tahun 2019 oleh Ari Holtzman dan rekan-rekan (pracetak arXiv — April 2019; dipublikasikan di ICLR 2020) sebagai alternatif yang lebih baik dari pengambilan sampel Top‑k tetap. Idenya adalah memilih secara dinamis kumpulan kandidat pada setiap langkah generasi berdasarkan ambang batas probabilitas kumulatif $p$.

Latar Belakang Historis: Masalah Degenerasi Teks Neural

Sebelum munculnya Top‑p, strategi dekoding yang dominan adalah pencarian serakah (greedy search) dan pencarian balok (beam search), yang didasarkan pada paradigma maksimalisasi kemungkinan — memilih urutan token dengan probabilitas kumulatif tertinggi. Pencarian serakah pada setiap langkah secara lokal memilih token dengan probabilitas tertinggi, sedangkan pencarian balok secara paralel melacak beberapa hipotesis generasi.

Meskipun metode-metode ini efektif untuk tugas tertutup (terjemahan mesin, ekstraksi data), ketika beralih ke tugas generasi teks terbuka (penulisan cerita, sistem dialog), metode-metode tersebut sering menimbulkan degenerasi teks neural — kemunduran keluaran di mana teks menjadi klise, kehilangan koherensi, atau terjebak dalam pengulangan. Fenomena ini dijelaskan secara rinci oleh Holtzman dan rekan-rekan dalam karya The Curious Case of Neural Text Degeneration.

Meister dan rekan-rekan mengaitkan masalah degenerasi dengan fakta bahwa teks manusia cenderung mempertahankan kandungan informasi yang mendekati entropi kondisional yang diharapkan, bukan sekadar memaksimalkan probabilitas lokal setiap token berikutnya.

Alternatifnya adalah pengambilan sampel stokastik murni (sampling without truncation), di mana token dipilih secara acak sesuai dengan probabilitasnya. Namun metode ini menimbulkan masalah sebaliknya: fungsi Softmax tidak pernah memberikan probabilitas yang benar-benar nol kepada token mana pun, sehingga dalam kosakata yang terdiri dari puluhan ribu kata, selalu terdapat zona luas token-token yang berisik. Dengan pengambilan sampel murni, risiko jatuh ke dalam ekor distribusi yang tidak dapat diandalkan meningkat, yang dapat merusak koherensi teks yang dihasilkan. Kebutuhan untuk menggabungkan kekayaan pilihan stokastik dengan keandalan batasan deterministik mendorong pengembangan metode pemotongan distribusi, yang unggulannya adalah pengambilan sampel nukleus (Top‑p).

Penjelasan Sederhana

Pengambilan sampel Top-p adalah cara membatasi pilihan token berikutnya hanya pada opsi yang paling masuk akal, tanpa menetapkan jumlahnya lebih dahulu.

Saat menghasilkan teks, model bahasa pada setiap langkah mengevaluasi banyak kemungkinan kelanjutan dan memberikan probabilitas tertentu pada masing-masing. Beberapa token sangat mungkin, yang lain cukup mungkin, sedangkan sebagian besar kosakata membentuk apa yang disebut "ekor" distribusi: opsi dengan probabilitas sangat rendah yang secara formal diperbolehkan, namun sering kali bersifat acak, tidak tepat, atau merusak koherensi teks.

Pengambilan sampel Top-p memotong ekor yang berkemungkinan rendah ini bukan berdasarkan jumlah token yang tetap, melainkan berdasarkan probabilitas total. Pertama, semua kandidat diurutkan dari yang paling mungkin ke yang paling tidak mungkin. Kemudian dipilih kumpulan minimum token teratas yang probabilitas totalnya mencapai ambang batas $p$ yang ditentukan — misalnya, 0,9 atau 0,95. Setelah itu, token berikutnya dipilih secara acak hanya dari kumpulan ini, sementara semua opsi lainnya dikecualikan.

Sebagai contoh, jika model melanjutkan kalimat "Hari ini di luar turun…", di antara opsi yang paling mungkin mungkin ada "hujan" (0,45), "hujan deras" (0,25), "salju" (0,15), dan "angin" (0,10). Dengan ambang batas $p=0.90$, algoritma menjumlahkan token secara menurun berdasarkan probabilitas: 0,45 + 0,25 = 0,70 (kurang dari 0,90), menambahkan "salju": 0,70 + 0,15 = 0,85 (masih kurang dari 0,90), menambahkan "angin": 0,85 + 0,10 = 0,95 (ambang batas terlampaui). Nukleus terbentuk dari empat token. Semua opsi yang lebih jarang dibuang, dan probabilitas yang tersisa dinormalisasi ulang: dengan demikian, probabilitas token "hujan" setelah normalisasi ulang menjadi $0.45/0.95\approx 47.4\mathrm{\%}$, dan generator memilih token berikutnya tepat dari distribusi yang diperbarui ini.

Perbedaan utama dari Top‑k adalah bahwa Top‑k selalu mengambil jumlah tetap kata-kata terbaik (misalnya, 50), sedangkan Top‑p tidak menetapkan jumlah opsi terlebih dahulu: kadang bisa 3 kata, kadang 20 — semuanya bergantung pada bagaimana probabilitas terdistribusi pada langkah tersebut. Berkat ini, metode ini beradaptasi dengan konteks dan membantu memangkas "ekor" token yang berkemungkinan rendah, membuat teks lebih alami.

Satu contoh lagi. Misalnya, model melanjutkan kalimat "Untuk sarapan dia minum… yang panas". Di antara kelanjutan yang paling mungkin mungkin ada: "teh" (0,50), "kopi" (0,30), "cokelat" (0,08), "kaldu" (0,04), "kefir" (0,03). Jika ambang batas $p=0.80$ ditetapkan, algoritma mulai menjumlahkan probabilitas dari atas ke bawah: 0,50 untuk "teh", kemudian 0,50 + 0,30 = 0,80. Ambang batas sudah tercapai, yang berarti nukleus hanya terdiri dari dua token: "teh" dan "kopi". Semua opsi lainnya dibuang. Setelah normalisasi ulang, probabilitas "teh" di dalam nukleus menjadi $0.50/0.80=62.5\mathrm{\%}$, dan probabilitas "kopi" menjadi $0.30/0.80=37.5\mathrm{\%}$. Token berikutnya dipilih hanya di antara kedua opsi ini.

Dengan kata lain, model pertama-tama menghilangkan kelanjutan yang tidak mungkin dan buruk, lalu memilih dari yang tersisa. Ini membantunya menulis dengan lebih jelas, alami, dan tanpa "kebisingan" yang tidak perlu.

Konsep

Ide utama Top‑p adalah pada setiap langkah memilih himpunan terkecil dari token-token paling mungkin yang probabilitas totalnya tidak kurang dari ambang batas $p$ yang ditentukan (nukleus, Ingg. nucleus).

Secara formal, misalkan $x_{(1)},x_{(2)},\dots$ adalah token-token kosakata $V$ yang diurutkan berdasarkan probabilitas kondisional $P(x\mid x_{1:i-1})$ yang menurun. Maka nukleus $V^{(p)}$ didefinisikan sebagai prefiks terpendek dari urutan terurut ini yang massa kumulatifnya mencapai ambang batas:

$m=min\{n:\sum _{j=1}^{n}P(x_{(j)}\mid x_{1:i-1})\ge p\},V^{(p)}=\{x_{(1)},\dots ,x_{(m)}\}.$

Dengan kata lain, ini adalah himpunan token paling mungkin yang paling kecil berdasarkan inklusi, yang probabilitas totalnya tidak kurang dari $p$.

Setelah nukleus ditentukan, probabilitas token di luar $V^{(p)}$ dinolkan, sedangkan di dalam nukleus — dinormalisasi ulang (dibagi dengan massa kumulatif aktual $p^{\prime }=\sum _{x\in V^{(p)}}P(x\mid x_{1:i-1})$, sehingga jumlahnya menjadi 1). Token berikutnya diambil sampelnya dari distribusi yang dipotong dan dinormalisasi ulang ini.

Adaptasi Dinamis

• Pada distribusi "tajam" (model yakin), nukleus kecil: beberapa token sudah memberikan massa ≥ $p$, yang meningkatkan koherensi. Dalam kasus ekstrem, jika probabilitas token yang paling mungkin sudah melebihi $p$ (misalnya, $P(x_{(1)})=0.96$ saat $p=0.95$), nukleus menyempit menjadi satu token dan Top‑p pada dasarnya berubah menjadi dekoding serakah (greedy search).
• Pada distribusi "datar" (banyak kelanjutan masuk akal), nukleus besar: pilihan meluas, keberagaman meningkat.

Perbandingan dengan Metode Dekoding Lainnya

Top‑p vs. Top‑k

• Top‑k selalu memilih dari jumlah $k$ token yang paling mungkin. Pada distribusi "tajam", ini dapat menambahkan opsi yang tidak diperlukan dengan probabilitas rendah "untuk melengkapi jumlah", sedangkan pada distribusi "datar" — sebaliknya, memotong kelanjutan yang masuk akal yang tidak masuk dalam top‑$k$.
• Top‑p menyesuaikan ukuran kumpulan kandidat berdasarkan data langkah tersebut, yang membuat perilakunya lebih fleksibel dan stabil pada berbagai jenis distribusi.
• Dalam praktiknya, Top‑k dan Top‑p dapat diterapkan secara bersamaan. Dalam hal ini, pertama dipilih top‑$k$ token, kemudian dalam himpunan terbatas ini dicari nukleus dengan ambang batas $p$. Urutan dan motivasi yang tepat bergantung pada implementasi, tetapi kombinasi semacam itu terdokumentasi sebagai teknik yang umum.

Sederhananya, Top-k memutuskan terlebih dahulu berapa banyak opsi yang tersisa, sedangkan Top-p melihat situasinya dan menyisakan sebanyak yang diperlukan dalam konteks tertentu. Oleh karena itu, Top-p biasanya lebih fleksibel, sedangkan Top-k lebih sederhana dan dapat diprediksi.

Top‑p vs. Temperatur

• Temperatur (temperature) mengubah bentuk keseluruhan distribusi (membuatnya lebih tajam atau lebih halus), tetapi tidak memotong token: bahkan opsi yang sangat tidak mungkin pun tetap memiliki peluang yang bukan nol.
• Top‑p menerapkan pemotongan keras pada ekor distribusi — token berkemungkinan rendah sepenuhnya dikecualikan dari pengambilan sampel, yang membantu mencegah kelanjutan yang jelas tidak tepat.
• Urutan penerapan. Dalam pipeline standar (misalnya, di Hugging Face Transformers) pertama-tama temperatur diterapkan pada logit (mengubah bentuk distribusi), kemudian Top‑k dapat diterapkan, dan baru kemudian Top‑p (pemotongan ekor). Ini menjelaskan mengapa "pengaruh ganda" sulit dikontrol: perubahan temperatur mengubah massa kumulatif itu sendiri, yang kemudian diproses oleh Top‑p.

Sederhananya, temperatur mengubah seberapa bebas model memilih kata, sedangkan Top-p memutuskan opsi apa yang dapat dipilih sama sekali. Oleh karena itu, temperatur memengaruhi tingkat keacakan, sedangkan Top-p memengaruhi seberapa jauh model dapat pergi ke kelanjutan yang kurang mungkin.

Urutan Operasi dalam Implementasi Hugging Face Transformers

Urutan penerapan prosesor sampling bergantung pada pustaka tertentu. Di Hugging Face Transformers (mulai dari v4.x) untuk tiga parameter yang dibahas, logit-prosesor secara default ditambahkan dalam urutan berikut:

1. Penskalaan logit dengan temperatur. Logit setiap token dibagi dengan nilai temperatur sebelum eksponensiasi fungsi Softmax. Temperatur memodifikasi bentuk distribusi, mempersiapkannya untuk penyaringan selanjutnya.
2. Filter Top‑k (jika dikonfigurasi): memotong kosakata menjadi jumlah kandidat yang tetap.
3. Filter Top‑p: pemotongan kumulatif diterapkan pada kumpulan token yang sudah dipersempit.
4. Normalisasi ulang probabilitas yang tersisa dan pengambilan sampel stokastik.

Dalam praktiknya, kombinasi temperatur sedang (0,7) dengan nukleus Top‑p yang luas (0,95) dan batas Top‑k (50) adalah umum: temperatur memberikan variabilitas dasar, Top‑k berfungsi sebagai pengaman kasar, dan Top‑p melakukan penyesuaian halus yang bergantung pada konteks.

Sederhananya, model pertama-tama membuat pilihan lebih atau kurang "bebas" menggunakan temperatur, kemudian jika perlu membatasi jumlah kandidat melalui Top-k, dan kemudian menghapus opsi yang terlalu lemah melalui Top-p. Urutan ini membantu pertama-tama mengatur karakter umum pilihan, kemudian memangkas yang berlebihan.

Rekomendasi: Menyetel Satu Parameter pada Satu Waktu

Penyedia model merekomendasikan saat menyetel gaya generasi untuk mengubah salah satu dari temperature atau top_p, tetapi tidak keduanya secara bersamaan. Rekomendasi ini terdapat dalam dokumentasi resmi OpenAI, Azure OpenAI, dan Anthropic.

Alasan praktisnya: kedua parameter memengaruhi bentuk distribusi probabilitas (temperatur mengubah kecuraman kurva, sedangkan Top‑p menetapkan titik pemotongan), sehingga mengubah keduanya secara bersamaan mempersulit diagnosis — tidak mungkin menentukan parameter mana yang menyebabkan peningkatan atau penurunan keluaran. Selain itu, dengan nilai yang sangat rendah dari kedua parameter (misalnya, Temperature ≈ 0 dan Top‑p ≈ 0,01) nukleus dalam praktiknya menyempit menjadi satu token, secara efektif mengubah pengambilan sampel menjadi pencarian serakah.

Sejumlah model reasoning lebih lanjut membatasi penyetelan parameter ini pada tingkat API, sehingga pertanyaan tentang perubahan simultan tidak relevan untuk model-model tersebut (lihat bagian "Kompatibilitas dengan Pustaka dan API").

Heuristik rekayasa yang umum: untuk tugas yang memerlukan reproduksibilitas tinggi — gunakan temperatur rendah (hingga nol); untuk tugas kreatif — pertahankan temperatur pada tingkat dasar (1,0) dan atur variabilitas dengan parameter Top‑p, atau tetapkan Top‑p pada 1,0 dan variasikan temperatur. Rekomendasi spesifik dapat bervariasi antar penyedia.

Pengaruh pada Faktualitas dan Halusinasi

Pilihan strategi dekoding dapat memengaruhi tidak hanya gaya teks yang dihasilkan, tetapi juga frekuensi dan jenis kesalahan faktual. Fenomena halusinasi — generasi informasi palsu atau bertentangan dengan konteks secara percaya diri — adalah salah satu masalah sentral dalam AI generatif. Penelitian empiris menunjukkan bahwa efek strategi sampling pada halusinasi bergantung pada tugas, model, dan pengaturan parameter tertentu.

Mekanisme Munculnya Kesalahan dalam Pengambilan Sampel Stokastik

Pada nilai Top‑p yang tinggi (misalnya, 0,95) model membentuk nukleus yang mencakup 95% massa probabilitas. Dalam keadaan entropi tinggi (misalnya, saat mencoba menjawab fakta yang kurang dikenal) nukleus ini dapat mencakup ratusan token berkemungkinan rendah. Pengambilan sampel stokastik dalam kondisi seperti itu mampu mengekstrak token yang secara gramatikal benar tetapi secara semantik tidak terkait dengan kebenaran faktual. Setelah berada dalam konteks, token tersebut dapat memengaruhi langkah-langkah generasi selanjutnya, karena model melanjutkan generasi dengan mempertimbangkan semua token sebelumnya, termasuk yang salah.

Dikotomi Tugas Terbuka dan Tertutup

Eksperimen skala besar mengungkapkan ketergantungan kualitas generasi pada jenis tugas. Dalam tugas penulisan esai atau sistem dialog, metode stokastik (Top‑p, Temperature) tetap menjadi pemimpin, sedangkan dalam domain yang sangat deterministik, metode tersebut dapat jauh lebih rendah dari pendekatan deterministik.

Pada benchmark sintesis kode program (HumanEval, MBPP) dan penyelesaian masalah matematika (GSM8K), metode deterministik (Beam Search, Greedy Decoding) menunjukkan hasil yang lebih baik dibandingkan pendekatan berbasis Top‑p. Dataset GSM8K, yang mencakup 8.500 masalah matematika yang membutuhkan 2 hingga 8 langkah komputasi, mengilustrasikan kerentanan pilihan stokastik dalam tugas-tugas tersebut: injeksi keacakan melalui distribusi Top‑p yang dipotong dapat mengganggu rantai penalaran model (Chain‑of‑Thought) pada salah satu dari langkah-langkah perantara. Tan dan rekan-rekan menekankan bahwa efektivitas metode dekoding sangat bergantung pada tugas tertentu (task‑dependent).

Metode Mengatasi Halusinasi pada Tingkat Dekoding

Untuk mengatasi efek halusinasi yang dipicu oleh pengambilan sampel stokastik, metode augmentasi dekoding lanjutan telah dikembangkan:

• Dekoding Kontrastif (Contrastive Decoding, DoLa) — mengoptimalkan kesenjangan log-kemungkinan antara model utama dan model pembantu yang lebih kecil, bertindak sebagai filter kredibilitas.
• SH2 (Self‑Highlighted Hesitation) — secara artifisial membuat dekoder "ragu-ragu" saat bekerja dengan token berkeyakinan rendah.
• Proyeksi Aktivasi Terarah (SEA) — menekan sinyal halusinasi pada tingkat representasi vektor.

Pada saat yang sama, model-model modern dengan alignment yang berkualitas memiliki pemahaman faktualitas yang lebih dalam, yang mengurangi entropi distribusi internalnya dan membuat mereka kurang rentan terhadap degradasi fakta bahkan pada nilai Top‑p yang tinggi.

Penerapan Praktis dan Rekomendasi

Top‑p banyak digunakan dalam LLM modern berkat kombinasi fleksibilitas dan kemampuan kontrol.

• Rentang nilai yang umum. Dalam praktiknya, $p\approx 0.90\text{–}0.95$ sering digunakan. Nilai default berbeda-beda antar penyedia: di OpenAI `top_p` = 1,0 (pemotongan secara efektif dinonaktifkan), di Anthropic — 0,99, di banyak model Google Gemini — 0,95. Di pustaka Hugging Face Transformers default kerangka kerja juga sama dengan 1,0, meskipun model individual mungkin mendefinisikan ulangnya dalam `generation_config.json` mereka. Dengan demikian, 0,9–0,95 adalah rentang praktis yang direkomendasikan yang umum, tetapi bukan standar default universal.
  • Nilai yang mendekati 1,0 (misalnya, 0,98–0,99) meningkatkan keberagaman: lebih banyak token masuk ke dalam nukleus.
  • Nilai kecil (misalnya, 0,80–0,90) meningkatkan determinisme dan "pengekangan" keluaran.
  • Pada $p=1$ pemotongan dengan Top‑p menghilang: pilihan dilakukan di seluruh kosakata (dengan mempertimbangkan temperatur dan filter dekoding lainnya jika diaktifkan).

• Kompatibilitas dengan Pustaka dan API.
  • Di Hugging Face Transformers, TopPLogitsWarper diimplementasikan di mana ambang batas `min_tokens_to_keep` tambahan digunakan (default 1). Ini adalah detail implementasi pelindung: pada nilai standar $p\in (0,1]$ nukleus kosong tidak muncul dari definisi, namun parameter ini menjamin operasi yang benar dalam kasus batas.
  • Di sejumlah API, parameter `top_p` tersedia, sedangkan `top_k` mungkin tidak ada; dukungan parameter dan semantiknya bergantung pada model dan mode operasi tertentu. Model Reasoning, sebagai aturan, membatasi konfigurasi stokastik pada tingkat API. Misalnya, dalam dokumentasi terkini OpenAI, parameter `temperature` dan `top_p` secara eksplisit hanya didukung oleh GPT‑5.2 saat `reasoning.effort = none`; permintaan ke GPT‑5.2 atau GPT‑5.1 dengan nilai `reasoning` lainnya, serta ke model GPT‑5 yang lebih lama (`gpt‑5`, `gpt‑5‑mini`, `gpt‑5‑nano`) saat meneruskan field ini menghasilkan kesalahan. Model reasoning generasi sebelumnya (o1, o3) juga membatasi atau menetapkan nilainya. Di Anthropic dalam Claude API saat pemikiran diperluas diaktifkan (extended thinking), mengubah `temperature` dan `top_k` dilarang, namun `top_p` diizinkan dalam rentang 0,95–1,0; pada platform pihak ketiga (misalnya, Amazon Bedrock) pembatasannya mungkin berbeda. Pembatasan penyedia sering berubah dari versi ke versi; disarankan untuk merujuk ke dokumentasi terkini.

• Teks panjang dan pengulangan. Dalam serangkaian eksperimen ditunjukkan bahwa nucleus sampling mengurangi kecenderungan degenerasi (pengulangan, frasa klise) dibandingkan dengan greedy/beam dan Top‑k tetap, terutama pada urutan yang panjang.

Alternatif Modern

Setelah publikasi nucleus sampling pada tahun 2019, beberapa metode dekoding stokastik alternatif diusulkan, yang mengembangkan atau melengkapi ide Top‑p:

Pengambilan Sampel Min‑p

Pengambilan sampel Min‑p (Nguyen et al., 2024) mempertahankan token yang probabilitasnya tidak lebih rendah dari $p_{min}\times P(x_{(1)})$, yaitu menetapkan ambang batas relatif terhadap token yang paling mungkin. Diterima untuk presentasi lisan di ICLR 2025; diimplementasikan dalam beberapa kerangka kerja populer, termasuk Hugging Face Transformers dan vLLM.

Perbedaan utama dari Top‑p terletak pada jenis ambang batas: Top‑p menggunakan ambang batas absolut berdasarkan jumlah kumulatif probabilitas, sedangkan Min‑p menetapkan ambang batas relatif yang diskalakan dari probabilitas token yang paling mungkin.

Secara matematis, algoritma bekerja sebagai berikut: pada setiap langkah ditentukan probabilitas maksimum $P_{max}=P(x_{(1)}\mid x_{1:i-1})$, kemudian dihitung ambang batas berskala $P_{\text{threshold}}=p_{min}\times P_{max}$. Hanya token yang probabilitas individualnya melebihi ambang batas ini yang masuk ke dalam kumpulan akhir.

Ini memastikan adaptivitas: jika model yakin tentang kata berikutnya ($P_{max}=0.9$), dengan nilai dasar $p_{min}=0.1$ ambang batasnya adalah 0,09, secara ketat memotong token yang berisik. Jika model tidak yakin ($P_{max}=0.1$), ambang batas turun menjadi 0,01, membiarkan banyak kandidat yang beragam masuk ke dalam nukleus.

Kelemahan yang dikenal dari Top‑p muncul saat pengambilan sampel bertemperatur tinggi ($T>1.0$): ketika distribusi dihaluskan secara artifisial, Top‑p terpaksa menyertakan sejumlah besar token berkemungkinan rendah dalam nukleus untuk mencapai jumlah kumulatif yang ditentukan, yang dapat menyebabkan degradasi koherensi. Min‑p lebih baik menangani kondisi seperti itu. Dalam eksperimen para penulis pada benchmark pengetahuan ilmiah dan logika (GPQA) menggunakan model Mistral Large pada temperatur ekstrem $T=3.0$, algoritma Min‑p menunjukkan akurasi 13,84%, sedangkan Top‑p standar 0,9 memberikan hasil 0,89% — pada tingkat kebisingan acak.

Pada saat yang sama, dalam lingkungan akademik terdapat diskusi: beberapa karya kritis (misalnya, arXiv:2506.13681) mempertanyakan universalitas keunggulan Min‑p di semua metrik NLP, menunjukkan perlunya penelitian lebih lanjut.

Sederhananya, Min-p membandingkan semua opsi bukan dengan jumlah total probabilitas, melainkan dengan opsi terkuat pada langkah saat ini. Oleh karena itu, jika model yakin, Min-p lebih keras menghilangkan kelanjutan yang lemah, dan jika tidak yakin — menyisakan lebih banyak opsi yang dapat diterima. Berkat ini, Min-p dapat lebih baik menjaga keseimbangan antara koherensi dan keberagaman, terutama di mana Top-p mulai meloloskan terlalu banyak kata yang lemah.

Locally Typical Sampling

Locally typical sampling (Meister et al., 2023) memilih token yang muatan informasinya ($-\log P$) mendekati entropi kondisional, berdasarkan pada konsep tipikalitas teori informasi.

Berbeda dari Top‑p yang berupaya meminimalkan ukuran nukleus dengan memilih token berkemungkinan tertinggi, Locally Typical Sampling memecahkan masalah optimasi berdasarkan metrik jarak informasi. Algoritma menghitung kandungan informasi setiap token ($-\log P(x)$) dan mengukur jarak absolutnya ke entropi kondisional $H$ model. Token diperingkat bukan berdasarkan probabilitas mentah, melainkan berdasarkan tingkat "tipikalitas informasi" mereka — kedekatan dengan kandungan informasi yang diharapkan dari konteks. Token ditambahkan ke nukleus (dalam urutan meningkatnya jarak ke entropi) hingga ambang batas probabilitas kumulatif tercapai.

Konsekuensi dari pendekatan ini: dalam keadaan entropi tinggi, algoritma secara sengaja mengecualikan tidak hanya ekor berisik yang berkemungkinan rendah, tetapi juga kata-kata yang terlalu berkemungkinan tinggi yang membawa terlalu sedikit informasi dan membuat teks menjadi klise. Ini mengurangi risiko zikir degeneratif dan mendekatkan metrik pengulangan teks ke indikator yang khas untuk teks yang ditulis manusia.

Tail Free Sampling (TFS)

Tail Free Sampling (TFS) — pendekatan yang kurang terformalisasi, tetapi menarik secara praktis untuk mengidentifikasi ekor berisik, berdasarkan analisis diferensial ruang probabilitas. Jika Top‑p dan Min‑p beroperasi dengan probabilitas orde pertama (jumlah kumulatif dan pecahan dasar), maka TFS menganalisis turunan pertama dan kedua dari kurva probabilitas yang diurutkan. Metode ini dijelaskan dalam blog Trenton Bricken dan diimplementasikan dalam sejumlah inference engine, meskipun tidak diterbitkan dalam bentuk artikel yang ditinjau sejawat.

Postulat utama TFS: bahkan memasukkan satu token berisik ke dalam sampel membawa ancaman eksponensial bagi seluruh generasi autoregresif. Dengan menghitung turunan kedua dari nilai probabilitas, algoritma melokalisasi "dataran" — bagian kurva di mana penurunan probabilitas melambat dan beralih ke ekor yang panjang dan landai. Titik infleksi ini menjadi batas pemotongan dinamis: token sebelumnya dianggap aman secara semantik, sedangkan seluruh ekor dihapus.

Meskipun memiliki keanggunan matematis, TFS memerlukan biaya komputasi yang lebih intensif untuk menghitung turunan secara real-time, yang menyebabkannya kalah dari algoritma yang lebih ringan dalam produk komersial massal.

p‑less sampling

$p$‑less sampling — metode yang sepenuhnya membebaskan insinyur dari kebutuhan untuk menyetel hyperparameter pemotongan. Masalah fundamental dari semua metode sebelumnya — dari Top‑k dan Top‑p hingga Min‑p — terletak pada ketergantungan pada hyperparameter statis, yang nilainya memerlukan penyetelan ahli dan mungkin optimal untuk satu tugas (penulisan kreatif), tetapi tidak efektif untuk tugas lain (pemrograman).

Algoritma $p$‑less, yang berakar pada teori informasi, secara dinamis menghasilkan ambang batas pemotongan unik pada setiap langkah dekoding, menganalisis topologi internal seluruh distribusi probabilitas secara real-time. Para penulis melaporkan ketahanan metode terhadap fluktuasi temperatur (temperature robustness): ketika temperatur meningkat, metode tradisional dapat mengalami degradasi yang signifikan, sedangkan $p$‑less mempertahankan stabilitas kualitas. Selain itu, berkat pengabaian logika pemindaian kumulatif dan normalisasi ulang nukleus yang besar, metode ini, menurut data para penulis, memberikan efisiensi komputasi yang lebih tinggi pada tahap inferensi dan menghasilkan respons yang lebih ringkas tanpa kehilangan akurasi pada dataset matematika, logika, dan penulisan kreatif.

η‑sampling

η‑sampling (Hewitt et al., 2022) menggunakan ambang batas probabilitas yang bergantung pada entropi, beradaptasi dengan konteks berentriopi rendah di mana Top‑p dapat memotong secara berlebihan.

Daftar Pustaka

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; dipublikasikan di ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Fan, A., Lewis, M., & Dauphin, Y. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. arXiv:2202.00666.
• Ravfogel, S., Goldberg, Y., & Goldberger, J. (2023). Conformal Nucleus Sampling. ACL Findings 2023.
• Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. arXiv:2402.06925.
• Finlayson, M. et al. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Chen, S. J. et al. (2025). Decoding Game: On Minimax Optimality of Heuristic Text Generation Strategies. arXiv:2410.03968.
• Nguyen, M. et al. (2024). Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs. arXiv:2407.01082.
• Sen, J. et al. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.
• Bricken, T. Tail Free Sampling. [32].
• p‑less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding. arXiv:2509.23234.

Lihat Juga

• Temperatur
• Model Bahasa Besar