Top-p sampling (TR)

Top‑p örneklemesi, aynı zamanda çekirdek örneklemesi (İng. Nucleus Sampling) olarak da bilinir; — otoregresif dil modelleri için stokastik bir kod çözme yöntemidir ve büyük dil modelleri (LLM) dahil pek çok alanda yaygın biçimde kullanılmaktadır. Yöntem, 2019 yılında Ari Holtzman ve ortak yazarlar tarafından önerilmiştir (arXiv ön baskısı — Nisan 2019; ICLR 2020'de yayımlanmıştır) ve sabit Top‑k örneklemesine geliştirilmiş bir alternatif olarak sunulmuştur. Temel fikir, her üretim adımında kümülatif olasılık eşiği $p$'e göre aday kümesini dinamik olarak belirlemektir.

Tarihsel Arka Plan: Sinirsel Metin Dejenerasyonu Problemi

Top‑p'nin ortaya çıkışından önce hâkim kod çözme stratejileri, olasılık maksimizasyonu paradigmasına dayanan açgözlü arama (greedy search) ve ışın araması (beam search) idi; bu yöntemler en yüksek toplam olasılığa sahip token dizisini seçmeye yöneliktir. Açgözlü arama her adımda yerel olarak en yüksek olasılıklı tokeni seçerken, ışın araması birden fazla üretim hipotezini paralel olarak takip eder.

Bu yöntemler kapalı görevlerde (makine çevirisi, veri çıkarma) etkili olsa da açık uçlu metin üretimi görevlerine (hikâye yazımı, diyalog sistemleri) geçildiğinde çoğunlukla sinirsel metin dejenerasyonuna yol açmaktaydı; bu durum, metnin klişeleşmesi, tutarlılığını yitirmesi veya tekrarlara takılıp kalması olarak kendini göstermektedir. Bu olgu, Holtzman ve ortak yazarlar tarafından The Curious Case of Neural Text Degeneration adlı çalışmada ayrıntılı biçimde ele alınmıştır.

Meister ve ortak yazarlar, dejenerasyon sorununu, insan metninin her bir sonraki tokenın yerel olasılığını maksimize etmek yerine koşullu beklenti entropiye yakın bir bilgi içeriği koruma eğiliminde olmasıyla ilişkilendirmektedir.

Bir alternatif olarak saf stokastik örnekleme (sampling without truncation) gündeme geldi; bu yöntemde token, kendi olasılığına göre rastgele seçilmektedir. Ancak bu yöntem ters bir soruna yol açtı: Softmax fonksiyonu hiçbir tokena kesin olarak sıfır olasılık atamadığından, onlarca bin sözcükten oluşan bir sözlükte her zaman geniş bir gürültü tokeni bölgesi mevcuttur. Saf örneklemede dağılımın güvenilmez kuyruğuna girme riski artar; bu da üretilen metnin tutarlılığını bozabilmektedir. Stokastik seçimin zenginliğini deterministik kısıtlamaların güvenilirliğiyle birleştirme gerekliliği, dağılım kesme yöntemlerinin geliştirilmesine yol açmış; bu alandaki öncü yöntem çekirdek örneklemesi (Top‑p) olmuştur.

Basit Açıklama

Top-p örneklemesi, bir sonraki token seçimini yalnızca en olası seçeneklerle sınırlamanın bir yoludur; üstelik bu sayıyı önceden sabitlemez.

Metin üretimi sırasında dil modeli her adımda çok sayıda olası devam seçeneğini değerlendirir ve her birine belirli bir olasılık atar. Bazı tokenlar çok olası, bazıları orta derecede olası, sözlüğün büyük bölümü ise dağılımın "kuyruğunu" oluşturur: biçimsel olarak kabul edilebilir ancak çoğunlukla rastgele, bağlam dışı ya da metin tutarlılığını bozan, çok düşük olasılıklı seçenekler.

Top-p örneklemesi bu düşük olasılıklı kuyruğu sabit sayıda token bazında değil, toplam olasılık bazında keser. Önce tüm adaylar en olasıdan en az olasıya doğru sıralanır. Ardından toplam olasılıkları belirli bir eşik $p$'ye, örneğin 0,9 veya 0,95'e ulaşan minimum üst token kümesi seçilir. Bunun ardından bir sonraki token yalnızca bu kümeden rastgele seçilir, diğer tüm seçenekler dışarıda bırakılır.

Örneğin, model "Bugün dışarıda çok şiddetli bir…" cümlesini tamamlıyorsa, en olası seçenekler arasında "yağmur" (0,45), "sağanak" (0,25), "kar" (0,15) ve "rüzgâr" (0,10) bulunabilir. $p=0.90$ eşiği için algoritma olasılıkları azalan sırayla toplar: 0,45 + 0,25 = 0,70 (0,90'dan az), "kar" eklenir: 0,70 + 0,15 = 0,85 (hâlâ 0,90'dan az), "rüzgâr" eklenir: 0,85 + 0,10 = 0,95 (eşik aşıldı). Çekirdek dört tokenden oluşturulur. Daha nadir tüm seçenekler atılır, kalan tokenlerin olasılıkları normalleştirilir: böylece "yağmur" tokenının yeniden normalleştirme sonrası olasılığı $0.45/0.95\approx 47.4\mathrm{\%}$ olur ve üretici bir sonraki tokeni tam olarak bu güncellenmiş dağılımdan seçer.

Top‑k'dan temel fark şudur: Top‑k her zaman en iyi sözcüklerin sabit sayısını alır (örneğin 50), oysa Top‑p seçenek sayısını önceden sabitlemez; bazen 3 sözcük, bazen 20 olabilir; bu tamamen o adımda olasılıkların nasıl dağıldığına bağlıdır. Bu sayede yöntem bağlama uyum sağlar ve düşük olasılıklı tokenların "kuyruğunu" keserek metni daha doğal kılar.

Bir örnek daha. Örneğin model "Kahvaltıda sıcak bir… içti" cümlesini tamamlıyorsa, en olası devamlar şunlar olabilir: "çay" (0,50), "kahve" (0,30), "çikolata" (0,08), "et suyu" (0,04), "kefir" (0,03). $p=0.80$ eşiği ayarlandıysa algoritma olasılıkları yukarıdan aşağıya toplar: "çay" için 0,50, ardından 0,50 + 0,30 = 0,80. Eşiğe ulaşıldı; yani çekirdek yalnızca iki tokenden oluşur: "çay" ve "kahve". Diğer tüm seçenekler atılır. Yeniden normalleştirme sonrası çekirdek içinde "çay"ın olasılığı $0.50/0.80=62.5\mathrm{\%}$, "kahve"nin olasılığı ise $0.30/0.80=37.5\mathrm{\%}$ olur. Bir sonraki token yalnızca bu iki seçenek arasından seçilir.

Başka bir deyişle, model önce düşük olasılıklı ve uygun olmayan devamları ortadan kaldırır, sonra kalanlar arasından seçim yapar. Bu, modelin daha anlaşılır, doğal ve gereksiz "gürültü" içermeyen metinler yazmasına yardımcı olur.

Kavram

Top‑p'nin temel fikri, her adımda toplam olasılığı belirli bir eşik $p$'ye eşit ya da daha büyük olan en küçük en olası token kümesini (çekirdek, İng. nucleus) seçmektir.

Biçimsel olarak, $x_{(1)},x_{(2)},\dots$ — koşullu olasılığa $P(x\mid x_{1:i-1})$ göre azalan sırada sıralanmış $V$ sözlüğünün tokenleri olsun. Bu durumda çekirdek $V^{(p)}$, kümülatif kütlesi eşiğe ulaşan bu sıralı dizinin en kısa öneki olarak tanımlanır:

$m=min\{n:\sum _{j=1}^{n}P(x_{(j)}\mid x_{1:i-1})\ge p\},V^{(p)}=\{x_{(1)},\dots ,x_{(m)}\}.$

Başka bir deyişle, bu toplam olasılıkları $p$'den az olmayan en olası tokenların en küçük kapsama kümesidir.

Çekirdek belirlendikten sonra $V^{(p)}$ dışındaki tokenların olasılıkları sıfırlanır, çekirdek içindeki tokenlar ise yeniden normalleştirilir (gerçek kümülatif kütleye $p^{\prime }=\sum _{x\in V^{(p)}}P(x\mid x_{1:i-1})$ bölünür, böylece toplam 1 olur). Bir sonraki token bu kesilmiş ve yeniden normalleştirilmiş dağılımdan örneklenir.

Dinamik Uyum

• "Keskin" dağılımda (model emin olduğunda) çekirdek küçüktür: birkaç token zaten ≥ $p$ kütlesine ulaşır, bu da tutarlılığı artırır. Uç durumda, en olası tokenın olasılığı zaten $p$'i aşıyorsa (örneğin $p=0.95$ için $P(x_{(1)})=0.96$), çekirdek tek bir tokene daralır ve Top‑p fiilen açgözlü kod çözmeye (greedy search) dönüşür.
• "Düz" dağılımda (pek çok makul devam seçeneği olduğunda) çekirdek büyüktür: seçim genişler, çeşitlilik artar.

Diğer Kod Çözme Yöntemleriyle Karşılaştırma

Top‑p ile Top‑k Karşılaştırması

• Top‑k, her zaman en olası $k$ tokenın sabit sayısından seçim yapar. "Keskin" dağılımlarda bu, "sayıyı doldurmak" için gereksiz düşük olasılıklı seçenekler ekleyebilir; "düz" dağılımlarda ise tam tersine, ilk $k$'ye giremeyen makul devamları dışarıda bırakabilir.
• Top‑p, adım verilerine göre aday kümesinin boyutunu ayarlar; bu da farklı dağılım türlerinde daha esnek ve kararlı bir davranış sağlar.
• Pratikte Top‑k ve Top‑p aynı anda uygulanabilir. Bu durumda önce ilk $k$ token seçilir, ardından bu sınırlı küme içinde $p$ eşiğiyle çekirdek aranır. Kesin sıra ve gerekçe uygulamaya bağlıdır, ancak bu kombinasyon yaygın bir yöntem olarak belgelenmiştir.

Özetle, Top-k önceden kaç seçenek bırakılacağına karar verirken Top-p duruma göre bakar ve mevcut bağlamda gerektiği kadar seçeneği bırakır. Bu nedenle Top-p genellikle daha esnekken, Top-k daha basit ve tahmin edilebilirdir.

Top‑p ile Sıcaklık Karşılaştırması

• Sıcaklık (temperature), dağılımın tüm şeklini yeniden düzenler (daha keskin ya da daha düzgün kılar), ancak tokenleri kesmez: düşük olasılıklı seçenekler bile sıfırdan farklı bir şansa sahip olmaya devam eder.
• Top‑p, dağılım kuyruğu üzerinde katı kesme uygular — düşük olasılıklı tokenlar örneklemeden tamamen çıkarılır; bu, açıkça bağlam dışı devamların önlenmesine yardımcı olur.
• Uygulama sırası. Standart işlem hatlarında (örneğin Hugging Face Transformers'da) önce logitlere sıcaklık uygulanır (dağılımın şekli değiştirilir), ardından Top‑k uygulanabilir ve ancak sonra Top‑p (kuyruk kesme) devreye girer. Bu, "çift etkinin" neden kontrol edilmesinin zor olduğunu açıklar: sıcaklığı değiştirmek, Top‑p'nin ardından çalıştığı kümülatif kütleyi kendisini değiştirir.

Özetle, sıcaklık modelin sözcükleri ne kadar özgürce seçtiğini değiştirirken, Top-p hangi seçeneklerin seçilebileceğine karar verir. Bu nedenle sıcaklık rastgelelik derecesini etkilerken, Top-p modelin ne kadar düşük olasılıklı devamlar önerebileceğini belirler.

Hugging Face Transformers Uygulamasında İşlem Sırası

Örnekleme işlemcilerinin uygulama sırası belirli kitaplığa göre değişir. Hugging Face Transformers'da (v4.x sürümünden itibaren) tartışılan üç parametre için logit işlemciler varsayılan olarak şu sırayla eklenir:

1. Logitlerin sıcaklık ölçeklendirmesi. Her tokenın logiti, Softmax fonksiyonunun üstelleştirilmesinden önce sıcaklık değerine bölünür. Sıcaklık, dağılımın şeklini değiştirerek onu sonraki filtrelemeye hazırlar.
2. Top‑k filtresi (yapılandırılmışsa): sözlüğü sabit sayıda adayla sınırlar.
3. Top‑p filtresi: kümülatif kesme, zaten daraltılmış token havuzuna uygulanır.
4. Kalan olasılıkların yeniden normalleştirilmesi ve stokastik örnekleme.

Pratikte, orta düzeyde sıcaklık (0,7), geniş Top‑p çekirdeği (0,95) ve Top‑k limiti (50) kombinasyonu yaygındır: sıcaklık temel varyasyonu sağlar, Top‑k kaba bir güvence işlevi görür, Top‑p ise bağlama duyarlı ince ayarı gerçekleştirir.

Özetle, model önce sıcaklık aracılığıyla seçimi az ya da çok "özgür" kılar, ardından gerekiyorsa Top-k ile aday sayısını sınırlar ve son olarak Top-p aracılığıyla çok zayıf seçenekleri kaldırır. Bu sıra, önce genel seçim karakterini ayarlamaya, sonra gereksizleri ayıklamaya yardımcı olur.

Öneri: Parametreleri Teker Teker Ayarlama

Model sağlayıcılar, üretim stilini ayarlarken temperature ya da' top_pyi değiştirmeyi önerir; ikisini aynı anda kullanmayı önermez. Bu öneri, OpenAI, Azure OpenAI ve Anthropic'in resmi belgelerinde yer almaktadır.

Pratik gerekçe: her iki parametre de olasılık dağılımının şeklini etkiler (sıcaklık eğrinin dikliğini değiştirirken Top‑p kesme noktasını belirler); bu nedenle ikisini aynı anda değiştirmek teşhisi güçleştirir — hangi parametrenin çıktıyı iyileştirdiğini ya da bozduğunu belirlemek imkânsız hale gelir. Ayrıca her iki parametrenin de aşırı düşük değerlerinde (örneğin Temperature ≈ 0 ve Top‑p ≈ 0,01) çekirdek pratikte tek bir tokena daralır ve örnekleme fiilen açgözlü aramaya dönüşür.

Bazı reasoning modelleri bu parametrelerin ayarlanmasını API düzeyinde ek olarak kısıtlar; bu durum, söz konusu modeller için bu parametrelerin birlikte değiştirilmesi sorununu geçersiz kılar (bkz. "Kitaplıklar ve API ile Uyumluluk" bölümü).

Yaygın mühendislik sezgisi: yüksek tekrarlanabilirlik gerektiren görevler için düşük sıcaklık kullanın (sıfıra kadar); yaratıcı görevler için sıcaklığı temel düzeyde (1,0) bırakın ve varyasyon miktarını Top‑p parametresiyle ayarlayın ya da Top‑p'yi 1,0'da sabitleyip sıcaklığı değiştirin. Belirli öneriler sağlayıcıdan sağlayıcıya farklılık gösterebilir.

Olgusallık ve Halüsinasyonlar Üzerindeki Etki

Kod çözme stratejisinin seçimi yalnızca üretilen metnin stilistik özelliklerini değil, aynı zamanda olgusal hataların sıklığını ve türünü de etkileyebilir. Halüsinasyon fenomeni — yanlış ya da bağlamla çelişen bilgilerin güvenle üretilmesi — üretken yapay zekanın temel sorunlarından biridir. Ampirik araştırmalar, örnekleme stratejilerinin halüsinasyonlar üzerindeki etkisinin göreve, modele ve parametre ayarlarına bağlı olduğunu göstermektedir.

Stokastik Örneklemede Hata Oluşum Mekanizması

Yüksek Top‑p değerlerinde (örneğin 0,95) model, olasılık kütlesinin %95'ini kapsayan bir çekirdek oluşturur. Yüksek entropi durumlarında (örneğin az bilinen bir gerçeği yanıtlamaya çalışırken) bu çekirdek yüzlerce düşük olasılıklı token içerebilir. Bu koşullarda stokastik örnekleme, dilbilgisel olarak doğru ancak olgusal gerçekle anlamsal bağlantısı olmayan bir token çekebilir. Bağlama dahil olan bu token, model önceki tüm tokenları (hatalı olanlar dahil) dikkate alarak üretmeye devam ettiğinden sonraki üretim adımlarını etkileyebilir.

Açık ve Kapalı Görevlerin İkilemi

Büyük ölçekli deneyler, üretim kalitesinin görev türüne olan bağımlılığını ortaya koymaktadır. Makale yazımı veya diyalog sistemi görevlerinde stokastik yöntemler (Top‑p, Sıcaklık) öne çıkmaya devam ederken, kesin olarak belirlenmiş alanlarda deterministik yaklaşımların gerisinde kalabilirler.

Kod sentezi benchmark'larında (HumanEval, MBPP) ve matematik problemi çözümünde (GSM8K) deterministik yöntemler (Beam Search, Greedy Decoding), Top‑p tabanlı yaklaşımlara kıyasla daha iyi sonuçlar sergilemektedir. 2 ila 8 hesaplama adımı gerektiren 8.500 matematik problemini içeren GSM8K dataset'i, bu tür görevlerdeki stokastik seçimin savunmasızlığını gözler önüne serer: Top‑p'nin kesilmiş dağılımı aracılığıyla rastgelelik enjekte etmek, ara adımların herhangi birinde modelin akıl yürütme zincirini (Chain‑of‑Thought) bozabilir. Tan ve ortak yazarlar, kod çözme yönteminin etkinliğinin büyük ölçüde göreve bağlı olduğunu (task‑dependent) vurgular.

Kod Çözme Düzeyinde Halüsinasyonlarla Mücadele Yöntemleri

Stokastik örneklemeden kaynaklanan halüsinasyon etkilerine karşı mücadele için gelişmiş kod çözme zenginleştirme yöntemleri geliştirilmiştir:

• Karşıtsal kod çözme (Contrastive Decoding, DoLa) — temel model ile daha küçük yardımcı model arasındaki log-olabilirlik farkını optimize ederek güvenilirlik filtresi işlevi görür.
• SH2 (Self‑Highlighted Hesitation) — kod çözücüyü düşük güvenlikli tokenlarla çalışırken yapay olarak "tereddüt etmeye" zorlar.
• Yönlendirilmiş aktivasyon yansıtma (SEA) — halüsinasyon sinyallerini vektör temsili düzeyinde baskılar.

Bununla birlikte, kaliteli hizalamaya (alignment) sahip modern modeller, olgusallık konusunda daha derin bir anlayışa sahiptir; bu durum, dahili dağılımlarının entropisini düşürür ve modelleri yüksek Top‑p değerlerinde bile olgu bozulmasına daha az duyarlı kılar.

Pratik Kullanım ve Öneriler

Top‑p, esneklik ve kontrol edilebilirlik dengesini sağladığı için modern LLM'lerde yaygın olarak kullanılmaktadır.

• Tipik değer aralığı. Pratikte çoğunlukla $p\approx 0.90\text{–}0.95$ kullanılır. Varsayılan değer sağlayıcıdan sağlayıcıya farklılık gösterir: OpenAI'da `top_p` = 1,0 (kesme fiilen devre dışı), Anthropic'te — 0,99, pek çok Google Gemini modelinde — 0,95. Hugging Face Transformers kitaplığında framework varsayılanı da 1,0'dır; ancak bazı modeller bunu kendi `generation_config.json` dosyasında geçersiz kılabilir. Böylece 0,9–0,95, evrensel bir varsayılan standart olmakla birlikte yaygın tavsiye edilen pratik aralık olarak öne çıkmaktadır.
  • 1,0'a yakın değerler (örneğin 0,98–0,99) çeşitliliği artırır: çekirdeğe daha fazla token girer.
  • Küçük değerler (örneğin 0,80–0,90) çıktının deterministikliğini ve "ölçülülüğünü" artırır.
  • $p=1$ olduğunda Top‑p ile kesme ortadan kalkar: seçim tüm sözlük üzerinden yapılır (sıcaklık ve diğer etkin kod çözme filtreleri dikkate alınarak).

• Kitaplıklar ve API ile Uyumluluk.
  • Hugging Face Transformers'da, ek olarak `min_tokens_to_keep` (varsayılan 1) eşiği kullanan TopPLogitsWarper uygulanmaktadır. Bu, uygulama ayrıntısına yönelik bir koruma mekanizmasıdır: standart $p\in (0,1]$ değerlerinde boş çekirdek tanımdan zaten oluşmaz, ancak parametre sınır durumlarında doğru çalışmayı garanti eder.
  • Bazı API'larda `top_p` parametresi mevcut olsa da `top_k` bulunmayabilir; parametrelerin desteklenmesi ve anlambilimi belirli modele ve çalışma moduna bağlıdır. Reasoning modelleri, genellikle stokastiği API düzeyinde kısıtlar. Örneğin, güncel OpenAI belgelerine göre `temperature` ve `top_p` parametreleri yalnızca `reasoning.effort = none` ayarıyla GPT‑5.2'de açıkça desteklenmektedir; farklı `reasoning` değerleriyle GPT‑5.2 veya GPT‑5.1'e yapılan istekler ve eski nesil GPT‑5 modelleri (`gpt‑5`, `gpt‑5‑mini`, `gpt‑5‑nano`) bu alanlar gönderildiğinde hata verir. Önceki nesil reasoning modelleri (o1, o3) de bu parametreleri kısıtlar ya da sabitler. Anthropic'te, Claude API'sinde genişletilmiş düşünme (extended thinking) etkinleştirildiğinde `temperature` ve `top_k` değiştirilmesi yasaktır; ancak `top_p`, 0,95–1,0 aralığında izin verilir; üçüncü taraf platformlarda (örneğin Amazon Bedrock) kısıtlamalar farklı olabilir. Sağlayıcı kısıtlamaları sürümden sürüme sıklıkla değişir; güncel belgelere başvurulması önerilir.

• Uzun metinler ve tekrarlanabilirlik. Bir dizi deneyde, nucleus sampling'in özellikle uzun dizilerde greedy/beam ve sabit Top‑k'ya kıyasla bozulma (tekrarlar, kalıplaşmış ifadeler) eğilimini azalttığı gösterilmiştir.

Modern Alternatifler

Nucleus sampling'in 2019'daki yayımlanmasının ardından, Top‑p fikrini geliştiren veya tamamlayan çeşitli alternatif stokastik kod çözme yöntemleri önerilmiştir:

Min‑p Örneklemesi

Min‑p örneklemesi (Nguyen ve diğerleri, 2024), olasılığı $p_{min}\times P(x_{(1)})$'den düşük olmayan, yani eşiği en olası tokene göre belirleyen tokenleri bırakır. ICLR 2025'te sözlü sunum olarak kabul edilmiş olup Hugging Face Transformers ve vLLM dahil çeşitli popüler framework'lerde uygulanmaktadır.

Top‑p'den temel fark, eşik türündedir: Top‑p, kümülatif olasılık toplamına dayalı mutlak bir eşik kullanırken, Min‑p en olası tokenın olasılığından ölçeklenen göreli bir eşik belirler.

Algoritma matematiksel olarak şu şekilde çalışır: her adımda maksimum olasılık $P_{max}=P(x_{(1)}\mid x_{1:i-1})$ belirlenir, ardından ölçeklendirilmiş eşik $P_{\text{threshold}}=p_{min}\times P_{max}$ hesaplanır. Son havuza yalnızca bireysel olasılığı bu eşiği aşan tokenlar alınır.

Bu, adaptif bir davranış sağlar: model bir sonraki sözcük konusunda emindeyse ($P_{max}=0.9$), temel $p_{min}=0.1$ ile eşik 0,09 olur ve gürültülü tokenlar sert biçimde dışarıda bırakılır. Model emin değilse ($P_{max}=0.1$), eşik 0,01'e düşer ve çekirdeğe geniş çeşitlilikte adaylar alınır.

Top‑p'nin bilinen zayıflığı, yüksek sıcaklıklı örneklemede ($T>1.0$) kendini gösterir: dağılım yapay olarak düzleştirildiğinde Top‑p, belirli kümülatif toplamı yakalamak için çekirdeğe çok sayıda düşük olasılıklı token dahil etmek zorunda kalır ve bu durum tutarlılığın bozulmasına yol açabilir. Min‑p bu tür koşullarda daha iyi başa çıkar. Yazarların Mistral Large modeli ve aşırı sıcaklık $T=3.0$ kullanılarak bilimsel ve mantıksal bilgi benchmark'larında (GPQA) gerçekleştirilen deneylerinde Min‑p algoritması %13,84 doğruluk gösterirken, standart Top‑p 0,9 — rastgele gürültü düzeyine yakın — %0,89 sonuç vermiştir.

Bununla birlikte akademik çevrelerde bir tartışma sürmektedir: bazı eleştirel çalışmalar (örneğin arXiv:2506.13681), Min‑p'nin tüm NLP metriklerinde evrensel üstünlüğünü sorgulamakta ve konunun daha fazla incelenmesi gerektiğine işaret etmektedir.

Özetle, Min-p tüm seçenekleri toplam olasılık toplamıyla değil, mevcut adımdaki en güçlü seçenekle karşılaştırır. Bu nedenle model emindeyse zayıf devamları daha sert bir biçimde eler; emin değilse daha fazla kabul edilebilir seçenek bırakır. Bu sayede Min-p, özellikle Top-p'nin çok fazla zayıf sözcük geçirmeye başladığı durumlarda, tutarlılık ile çeşitlilik arasındaki dengeyi daha iyi koruyabilir.

Locally Typical Sampling

Locally typical sampling (Meister ve diğerleri, 2023), bilgi teorik tipiklik kavramına dayanarak bilgi yükü ($-\log P$) koşullu entropiye yakın olan tokenleri seçer.

Çekirdeği en yüksek olasılıklı tokenleri seçerek küçültmeye çalışan Top‑p'nin aksine, Locally Typical Sampling, bilgi uzaklığı metriğine dayalı bir optimizasyon problemini çözer. Algoritma her tokenın bilgi içeriğini ($-\log P(x)$) hesaplar ve bunu modelin koşullu entropisi $H$'ne mutlak mesafesiyle ölçer. Tokenlar ham olasılığa değil, "bilgisel tipikliklerine" — bağlamın beklenen bilgi içeriğine yakınlıklarına — göre sıralanır. Tokenlar, kümülatif olasılık eşiğine ulaşılana kadar (entropiye uzaklıklarının artan sırasıyla) çekirdeğe eklenir.

Bu yaklaşımın bir sonucu olarak yüksek entropi durumlarında algoritma, yalnızca gürültülü düşük olasılıklı kuyruğu değil, aynı zamanda çok az bilgi taşıyan ve metni sıradanlaştıran aşırı yüksek olasılıklı sözcükleri de bilerek dışlar. Bu, bozulma döngülerine girme riskini azaltır ve metnin tekrarlanabilirlik metriklerini insan tarafından yazılan metinlerin göstergelerine yaklaştırır.

Tail Free Sampling (TFS)

Tail Free Sampling (TFS) — gürültülü kuyruğu tespit etmek için olasılık uzayının diferansiyel analizine dayanan, daha az biçimselleştirilmiş ancak pratik açıdan ilgi çekici bir yaklaşımdır. Top‑p ve Min‑p birinci dereceden olasılıklarla (kümülatif toplam ve temel kesirler) çalışırken, TFS sıralanmış olasılık eğrisinin birinci ve ikinci türevlerini analiz eder. Yöntem, Trenton Bricken'ın blogunda tanımlanmış ve çeşitli inference motorlarında uygulanmış olmakla birlikte, hakemli bir makale olarak yayımlanmamıştır.

TFS'nin temel varsayımı: örneklemeye tek bir gürültülü tokenın dahil edilmesinin bile tüm otoregresif üretim için katlanımlı bir tehdit oluşturduğudur. Olasılık değerlerinin ikinci türevini hesaplayarak algoritma, olasılıkların düşüşünün yavaşladığı ve uzun düz bir kuyruk şeklinde devam ettiği "plato" bölgelerini belirler. Bu bükülme noktası dinamik kesme sınırı hâline gelir: öncesindeki tokenlar anlamsal olarak güvenli kabul edilirken kuyruğun tamamı kaldırılır.

Matematiksel zarafetine karşın TFS, gerçek zamanlı türev hesaplaması için daha yoğun hesaplama kaynağı gerektirir; bu nedenle kitlesel ticari ürünlerde daha hafif algoritmaların gerisinde kalır.

p‑less Örneklemesi

$p$‑less örneklemesi — mühendisi kesme hiperparametrelerini ayarlama zorunluluğundan tamamen kurtaran bir yöntemdir. Top‑k ve Top‑p'den Min‑p'ye kadar tüm önceki yöntemlerin temel sorunu, uzmanlık gerektiren statik hiperparametrelere bağımlılıklarında yatar; bu değerler bir görev (yaratıcı yazım) için optimal olabilirken başka bir görev (programlama) için yetersiz kalabilir.

Bilgi teorisine köklenmiş $p$‑less algoritması, tüm olasılık dağılımının iç topolojisini gerçek zamanlı olarak analiz ederek her kod çözme adımında kendine özgü bir kesme eşiği dinamik olarak üretir. Yazarlar, yöntemin sıcaklık dalgalanmalarına karşı dayanıklılığını (temperature robustness) raporlamaktadır: sıcaklık arttığında geleneksel yöntemler önemli ölçüde bozulabilirken, $p$‑less kalite kararlılığını korur. Ayrıca kümülatif tarama ve büyük çekirdeklerin yeniden normalleştirilmesi mantığından vazgeçilmesi sayesinde yöntem, yazarların verilerine göre, çıkarım aşamasında daha yüksek hesaplama verimliliği sağlar ve matematik, mantık ve yaratıcı yazım dataset'lerinde doğruluktan ödün vermeksizin daha kompakt yanıtlar üretir.

η‑Örneklemesi

η‑örneklemesi (Hewitt ve diğerleri, 2022), Top‑p'nin fazla kesme yapabileceği düşük entropi bağlamlarına uyum sağlayarak entropiye bağlı olasılık eşiği kullanır.

Ayrıca bakınız

• Sıcaklık
• Büyük Dil Modelleri

Kaynakça

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019; ICLR 2020'de yayımlandı). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Fan, A., Lewis, M., & Dauphin, Y. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. arXiv:2202.00666.
• Ravfogel, S., Goldberg, Y., & Goldberger, J. (2023). Conformal Nucleus Sampling. ACL Findings 2023.
• Tan, Q. ve diğerleri. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. arXiv:2402.06925.
• Finlayson, M. ve diğerleri. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Chen, S. J. ve diğerleri. (2025). Decoding Game: On Minimax Optimality of Heuristic Text Generation Strategies. arXiv:2410.03968.
• Nguyen, M. ve diğerleri. (2024). Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs. arXiv:2407.01082.
• Sen, J. ve diğerleri. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.
• Bricken, T. Tail Free Sampling. [32].
• p‑less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding. arXiv:2509.23234.