Top-p sampling (UR)

Top‑p سیمپلنگ، جسے مرکزی نمونہ کشی (انگریزی: Nucleus Sampling) بھی کہا جاتا ہے، — خودبخود رجعی زبان کے ماڈلوں کے لیے ایک اسٹوکیسٹک ڈی کوڈنگ طریقہ ہے جو بڑے زبانی ماڈلوں (LLM) میں بھی وسیع پیمانے پر استعمال ہوتا ہے۔ یہ طریقہ 2019 میں Ari Holtzman اور ان کے ساتھیوں نے تجویز کیا (arXiv پری پرنٹ — اپریل 2019؛ ICLR 2020 میں اشاعت) بطور ایک بہتر متبادل کے مقابلے میں مقررہ Top‑k سیمپلنگ کے۔ اس کا مرکزی خیال یہ ہے کہ نسل کے ہر مرحلے پر مجموعی امکان کی حد $p$ کے ذریعے امیدوار ٹوکنوں کا ایک متحرک مجموعہ منتخب کیا جائے۔

نیورل متن کی تنزلی کا مسئلہ: تاریخی پس منظر

Top‑p کے ظہور سے پہلے، ڈی کوڈنگ کی غالب حکمت عملیاں لالچی تلاش (greedy search) اور شعاع تلاش (beam search) تھیں، جو امکان کی زیادہ سے زیادہ کاری کے اصول پر مبنی تھیں — یعنی سب سے زیادہ مجموعی امکان رکھنے والے ٹوکنوں کی ترتیب کا انتخاب۔ لالچی تلاش ہر مرحلے پر زیادہ سے زیادہ امکان والا ٹوکن مقامی طور پر منتخب کرتی ہے، جبکہ شعاع تلاش متعدد نسلی مفروضوں کو بیک وقت ٹریک کرتی ہے۔

اگرچہ یہ طریقے بند مسائل (مشین ترجمہ، ڈیٹا نکالنا) میں مؤثر تھے، لیکن کھلی متنی نسل کے کاموں (کہانی لکھنا، مکالماتی نظام) میں منتقل ہونے پر یہ اکثر نیورل متن کی تنزلی کا باعث بنتے تھے — ایک ایسی صورتحال جس میں متن سانچہ بنتا، ربط کھوتا، یا دہرائے جانے کے چکر میں پھنس جاتا۔ اس مظہر کو Holtzman اور ساتھیوں نے اپنی تحقیق The Curious Case of Neural Text Degeneration میں تفصیل سے بیان کیا ہے۔

Meister اور ساتھی تنزلی کے مسئلے کو اس بات سے جوڑتے ہیں کہ انسانی متن متوقع مشروط اینٹروپی کے قریب معلوماتی مواد کو برقرار رکھنے کی کوشش کرتا ہے، نہ کہ محض ہر اگلے ٹوکن کے مقامی امکان کو زیادہ سے زیادہ کرنے کی۔

اس کا متبادل خالص اسٹوکیسٹک سیمپلنگ (sampling without truncation) بنا، جس میں ٹوکن کو اس کے امکان کے مطابق بے ترتیب منتخب کیا جاتا ہے۔ تاہم اس طریقے نے ایک الٹا مسئلہ پیدا کیا: Softmax فنکشن کسی بھی ٹوکن کو ہرگز صفر امکان نہیں دیتا، اس لیے ہزاروں الفاظ پر مشتمل ذخیرہ الفاظ میں شور والے ٹوکنوں کا ہمیشہ ایک وسیع علاقہ موجود رہتا ہے۔ خالص سیمپلنگ میں تقسیم کی غیر قابل اعتماد دم میں گرنے کا خطرہ بڑھ جاتا ہے، جو نسل شدہ متن کی ربط کاری کو خراب کر سکتا ہے۔ اسٹوکیسٹک انتخاب کی دولت کو تعینی پابندیوں کی قابل اعتماد کے ساتھ جوڑنے کی ضرورت نے تقسیم کاٹنے کے طریقوں کی ترقی کا باعث بنا، جن میں سرفہرست مرکزی سیمپلنگ (Top‑p) ہے۔

سادہ وضاحت

Top-p سیمپلنگ — یہ اگلے ٹوکن کے انتخاب کو صرف سب سے زیادہ قابل قبول اختیارات تک محدود کرنے کا ایک طریقہ ہے، بغیر ان کی تعداد پہلے سے مقرر کیے۔

متن تیار کرتے وقت زبانی ماڈل ہر مرحلے پر بہت سے ممکنہ تسلسلوں کا جائزہ لیتا ہے اور ہر ایک کو ایک مخصوص امکان دیتا ہے۔ کچھ ٹوکن بہت زیادہ امکانی ہوتے ہیں، کچھ معتدل، اور ذخیرہ الفاظ کا بڑا حصہ تقسیم کی른موسوم دم بناتا ہے: بہت کم امکانی اختیارات جو رسمی طور پر قابل قبول ہیں، مگر اکثر بے ترتیب، غیر موزوں، یا متن کی ربط کو کمزور کرنے والے ہوتے ہیں۔

Top-p سیمپلنگ اس کم امکانی دم کو ٹوکنوں کی مقررہ تعداد کے مطابق نہیں، بلکہ کل امکان کی بنیاد پر کاٹتا ہے۔ پہلے تمام امیدواروں کو سب سے زیادہ امکانی سے سب سے کم امکانی تک ترتیب دیا جاتا ہے۔ پھر اوپری ٹوکنوں کا کم سے کم مجموعہ منتخب کیا جاتا ہے جن کا کل امکان مقررہ حد $p$ تک پہنچتا ہے — مثلاً 0.9 یا 0.95۔ اس کے بعد اگلا ٹوکن صرف اسی مجموعے سے بے ترتیب منتخب کیا جاتا ہے، اور باقی تمام اختیارات خارج کر دیے جاتے ہیں۔

مثال کے طور پر، اگر ماڈل جملے کو جاری رکھ رہا ہو اور سب سے زیادہ امکانی اختیارات یہ ہوں: بارش (0.45)، موسلادھار بارش (0.25)، برف (0.15) اور ہوا (0.10)۔ حد $p=0.90$ پر، الگورتھم ٹوکنوں کو گھٹتے امکان کی ترتیب میں جمع کرتا ہے: 0.45 + 0.25 = 0.70 (0.90 سے کم)، برف شامل کرتا ہے: 0.70 + 0.15 = 0.85 (ابھی بھی 0.90 سے کم)، ہوا شامل کرتا ہے: 0.85 + 0.10 = 0.95 (حد پار ہو گئی)۔ مرکز چار ٹوکنوں سے بنا۔ تمام نایاب اختیارات ہٹا دیے جاتے ہیں اور باقی امکانات دوبارہ معمول پر لائے جاتے ہیں: اس طرح بارش کے ٹوکن کا دوبارہ معمول پر لانے کے بعد امکان $0.45/0.95\approx 47.4\mathrm{\%}$ ہو گا، اور جنریٹر اسی تازہ تقسیم سے اگلا ٹوکن منتخب کرے گا۔

Top‑k سے اہم فرق یہ ہے کہ Top‑k ہمیشہ بہترین الفاظ کی مقررہ تعداد لیتا ہے (مثلاً 50)، جبکہ Top‑p اختیارات کی تعداد پہلے سے مقرر نہیں کرتا: کبھی یہ 3 الفاظ ہو سکتے ہیں، کبھی 20 — یہ سب اس بات پر منحصر ہے کہ اس مرحلے پر امکانات کیسے تقسیم ہوئے۔ اس کی وجہ سے یہ طریقہ سیاق و سباق کے مطابق ڈھلتا ہے اور کم امکانی ٹوکنوں کی دم کاٹنے میں مدد کرتا ہے، جس سے متن زیادہ فطری بنتا ہے۔

ایک اور مثال۔ مثلاً، ماڈل جملے کو جاری رکھ رہا ہے اور سب سے زیادہ امکانی تسلسل یہ ہو سکتے ہیں: چائے (0.50)، کافی (0.30)، چاکلیٹ (0.08)، شوربہ (0.04)، لسی (0.03)۔ اگر حد $p=0.80$ مقرر ہے تو الگورتھم اوپر سے نیچے امکانات جمع کرنا شروع کرتا ہے: چائے کے لیے 0.50، پھر 0.50 + 0.30 = 0.80۔ حد پہنچ گئی، یعنی مرکز صرف دو ٹوکنوں پر مشتمل ہے: چائے اور کافی۔ باقی تمام اختیارات ہٹا دیے جاتے ہیں۔ دوبارہ معمول پر لانے کے بعد مرکز کے اندر چائے کا امکان $0.50/0.80=62.5\mathrm{\%}$ اور کافی کا امکان $0.30/0.80=37.5\mathrm{\%}$ ہو جاتا ہے۔ اگلا ٹوکن صرف انہی دو اختیارات کے درمیان منتخب ہوتا ہے۔

دوسرے الفاظ میں، ماڈل پہلے کم امکانی اور ناکام تسلسل ہٹاتا ہے، پھر باقی میں سے انتخاب کرتا ہے۔ اس سے اسے زیادہ واضح، فطری اور غیر ضروری شور کے بغیر لکھنے میں مدد ملتی ہے۔

تصور

Top‑p کا بنیادی خیال یہ ہے کہ ہر مرحلے پر سب سے زیادہ امکانی ٹوکنوں کا کم سے کم مجموعہ منتخب کیا جائے جن کا کل امکان مقررہ حد $p$ (مرکز، انگریزی: nucleus) سے کم نہ ہو۔

رسمی طور پر، فرض کیجیے $x_{(1)},x_{(2)},\dots$ — ذخیرہ الفاظ $V$ کے ٹوکن، مشروط امکان $P(x\mid x_{1:i-1})$ کی گھٹتی ترتیب سے ترتیب دیے گئے ہیں۔ تب مرکز $V^{(p)}$ کو اس ترتیب شدہ سلسلے کے سب سے چھوٹے سابقے کے طور پر تعریف کیا جاتا ہے جس کی مجموعی کمیت حد تک پہنچتی ہے:

$m=min\{n:\sum _{j=1}^{n}P(x_{(j)}\mid x_{1:i-1})\ge p\},V^{(p)}=\{x_{(1)},\dots ,x_{(m)}\}.$

دوسرے الفاظ میں، یہ سب سے زیادہ امکانی ٹوکنوں کا ضمن کے اعتبار سے کم سے کم مجموعہ ہے جن کا کل امکان $p$ سے کم نہیں ہے۔

مرکز کا تعین ہونے کے بعد $V^{(p)}$ سے باہر کے ٹوکنوں کے امکانات صفر ہو جاتے ہیں، اور مرکز کے اندر والوں کو دوبارہ معمول پر لایا جاتا ہے (اصل مجموعی کمیت $p^{\prime }=\sum _{x\in V^{(p)}}P(x\mid x_{1:i-1})$ سے تقسیم کیا جاتا ہے تاکہ مجموعہ 1 ہو)۔ اگلا ٹوکن اس کٹی ہوئی اور دوبارہ معمول پر لائی گئی تقسیم سے سیمپل کیا جاتا ہے۔

متحرک موافقت

• تیز تقسیم میں (ماڈل پراعتماد ہو) مرکز چھوٹا ہوتا ہے: چند ٹوکن پہلے ہی ≥ $p$ کمیت دے دیتے ہیں، جو ربط کاری بڑھاتا ہے۔ انتہائی صورت میں، اگر سب سے زیادہ امکانی ٹوکن کا امکان پہلے ہی $p$ سے زیادہ ہو (مثلاً $P(x_{(1)})=0.96$ جب $p=0.95$)، تو مرکز ایک ٹوکن تک سکڑ جاتا ہے اور Top‑p عملاً لالچی ڈی کوڈنگ (greedy search) بن جاتا ہے۔
• چپٹی تقسیم میں (بہت سے قابل قبول تسلسل) مرکز بڑا ہوتا ہے: انتخاب پھیلتا ہے، تنوع بڑھتا ہے۔

دیگر ڈی کوڈنگ طریقوں سے موازنہ

Top‑p بمقابلہ Top‑k

• Top‑k ہمیشہ مقررہ تعداد $k$ سب سے زیادہ امکانی ٹوکنوں میں سے انتخاب کرتا ہے۔ تیز تقسیم میں یہ تعداد پوری کرنے کے لیے اضافی کم امکانی اختیارات شامل کر سکتا ہے، جبکہ چپٹی تقسیم میں، برعکس، ٹاپ‑$k$ میں نہ آنے والے معقول تسلسل کاٹ سکتا ہے۔
• Top‑p اس مرحلے کے ڈیٹا کے مطابق امیدوار مجموعے کا حجم ڈھالتا ہے، جو مختلف قسم کی تقسیموں پر رویے کو زیادہ لچکدار اور مستحکم بناتا ہے۔
• عملی طور پر Top‑k اور Top‑p بیک وقت بھی استعمال کیے جا سکتے ہیں۔ اس صورت میں پہلے ٹاپ‑$k$ ٹوکن منتخب ہوتے ہیں، پھر اس محدود مجموعے کے اندر حد $p$ کے ساتھ مرکز تلاش کیا جاتا ہے۔ ترتیب اور محرک کا انحصار نفاذ پر ہے، لیکن یہ امتزاج ایک عام طریقے کے طور پر دستاویز کیا گیا ہے۔

سادہ الفاظ میں، Top-k پہلے سے طے کرتا ہے کہ کتنے اختیارات رکھنے ہیں، جبکہ Top-p صورتحال دیکھ کر فیصلہ کرتا ہے اور اتنے رکھتا ہے جتنے اس سیاق میں ضروری ہوں۔ اس لیے Top-p عموماً زیادہ لچکدار ہے، اور Top-k زیادہ سادہ اور قابل پیش گوئی۔

Top‑p بمقابلہ درجہ حرارت

• درجہ حرارت (temperature) پوری تقسیم کی شکل بدلتا ہے (اسے تیز یا ہموار کرتا ہے)، لیکن ٹوکنوں کو نہیں کاٹتا: کم امکانی اختیارات بھی غیر صفر موقع رکھتے ہیں۔
• Top‑p تقسیم کی دم کو سخت طریقے سے کاٹتا ہے — کم امکانی ٹوکن سیمپلنگ سے مکمل طور پر خارج ہو جاتے ہیں، جو واضح طور پر غیر موزوں تسلسل کو روکنے میں مدد کرتا ہے۔
• اطلاق کی ترتیب۔ معیاری پائپ لائنوں میں (مثلاً Hugging Face Transformers میں) پہلے لاجٹس پر درجہ حرارت لگایا جاتا ہے (تقسیم کی شکل بدلتی ہے)، پھر Top‑k لگ سکتا ہے، اور اس کے بعد ہی Top‑p (دم کاٹنا)۔ یہی وجہ ہے کہ دوہرا اثر قابو کرنا مشکل ہوتا ہے: درجہ حرارت میں تبدیلی اس مجموعی کمیت کو بدل دیتی ہے جس پر پھر Top‑p کام کرتا ہے۔

سادہ الفاظ میں، درجہ حرارت یہ بدلتا ہے کہ ماڈل الفاظ کتنی آزادی سے منتخب کرتا ہے، جبکہ Top-p طے کرتا ہے کہ کون سے اختیارات اصولاً منتخب ہو سکتے ہیں۔ اس لیے درجہ حرارت بے ترتیبی کی ڈگری پر اثر ڈالتا ہے، اور Top-p اس بات پر کہ ماڈل کم امکانی تسلسلوں میں کتنی دور جا سکتا ہے۔

Hugging Face Transformers کے نفاذ میں عمل کی ترتیب

سیمپلنگ پروسیسرز کے اطلاق کی ترتیب مخصوص لائبریری پر منحصر ہے۔ Hugging Face Transformers (v4.x سے) میں زیر بحث تین پیرامیٹرز کے لیے لاجٹ پروسیسرز ڈیفالٹ طور پر درج ذیل ترتیب سے شامل کیے جاتے ہیں:

1. لاجٹس کی درجہ حراری اسکیلنگ۔ Softmax فنکشن کی مضاعفت سے پہلے ہر ٹوکن کا لاجٹ درجہ حرارت کی قدر سے تقسیم ہوتا ہے۔ درجہ حرارت تقسیم کی شکل تبدیل کرتا ہے، اسے اگلی فلٹرنگ کے لیے تیار کرتا ہے۔
2. Top‑k فلٹر (اگر ترتیب دیا گیا ہو): ذخیرہ الفاظ کو امیدواروں کی مقررہ تعداد تک کاٹتا ہے۔
3. Top‑p فلٹر: پہلے سے محدود ٹوکنوں کے پول پر مجموعی کاٹ لگائی جاتی ہے۔
4. باقی امکانات کی دوبارہ معمول پر لانا اور اسٹوکیسٹک سیمپلنگ۔

عملاً معتدل درجہ حرارت (0.7) کے ساتھ وسیع Top‑p مرکز (0.95) اور Top‑k حد (50) کا امتزاج عام ہے: درجہ حرارت بنیادی تنوع فراہم کرتا ہے، Top‑k ایک موٹے حفاظتی فیوز کے طور پر کام کرتا ہے، اور Top‑p سیاق و سباق پر منحصر باریک ایڈجسٹمنٹ کرتا ہے۔

سادہ الفاظ میں، ماڈل پہلے درجہ حرارت کے ذریعے انتخاب کو کم یا زیادہ آزاد کرتا ہے، پھر ضرورت پڑنے پر Top-k سے امیدواروں کی تعداد محدود کرتا ہے، اور پھر Top-p کے ذریعے بہت کمزور اختیارات ہٹاتا ہے۔ یہ ترتیب پہلے انتخاب کی عمومی نوعیت ڈھالنے میں مدد دیتی ہے، پھر غیر ضروری کو کاٹتی ہے۔

سفارش: ایک وقت میں ایک پیرامیٹر ایڈجسٹ کریں

ماڈل فراہم کنندگان نسل کے انداز کو ترتیب دیتے وقت یا تو temperature یا top_p تبدیل کرنے کی سفارش کرتے ہیں، مگر دونوں بیک وقت نہیں۔ یہ سفارش OpenAI، Azure OpenAI اور Anthropic کی سرکاری دستاویزات میں موجود ہے۔

عملی وجہ یہ ہے: دونوں پیرامیٹر امکانی تقسیم کی شکل پر اثر ڈالتے ہیں (درجہ حرارت منحنی کی تیزی بدلتا ہے، اور Top‑p کاٹنے کا نقطہ مقرر کرتا ہے)، اس لیے دونوں کو بیک وقت بدلنا تشخیص مشکل کر دیتا ہے — یہ طے نہیں کیا جا سکتا کہ کون سے پیرامیٹر نے پیداوار میں بہتری یا بگاڑ لایا۔ اس کے علاوہ، دونوں کی انتہائی کم قدروں پر (مثلاً Temperature ≈ 0 اور Top‑p ≈ 0.01) مرکز عملاً ایک ٹوکن تک سکڑ جاتا ہے، جو سیمپلنگ کو لالچی تلاش میں بدل دیتا ہے۔

کچھ reasoning ماڈلز API کی سطح پر ان پیرامیٹرز کی ترتیب کو مزید محدود کرتے ہیں، جو ایسے ماڈلوں کے لیے ان کے بیک وقت تبدیل کرنے کے سوال کو غیر متعلق بنا دیتا ہے (دیکھیں لائبریریوں اور API کے ساتھ مطابقت سیکشن)۔

عام انجینیرنگ اصول: زیادہ دوبارہ پیداواریت کی ضرورت والے کاموں کے لیے — کم درجہ حرارت (صفر تک)؛ تخلیقی کاموں کے لیے — درجہ حرارت بنیادی سطح (1.0) پر رکھیں اور Top‑p پیرامیٹر سے تنوع ایڈجسٹ کریں، یا Top‑p کو 1.0 پر مقرر رکھیں اور درجہ حرارت متغیر کریں۔ مخصوص سفارشات فراہم کنندگان کے درمیان مختلف ہو سکتی ہیں۔

حقائق پر اثر اور مغالطے

ڈی کوڈنگ کی حکمت عملی کا انتخاب نہ صرف نسل شدہ متن کے اسلوب پر، بلکہ حقائقی غلطیوں کی تعداد اور نوعیت پر بھی اثر ڈال سکتا ہے۔ مغالطوں کا مظہر — یعنی جھوٹی یا سیاق و سباق سے متضاد معلومات کی پراعتماد نسل — جینریٹو AI کی مرکزی مشکلات میں سے ایک ہے۔ تجرباتی تحقیق سے پتہ چلتا ہے کہ سیمپلنگ حکمت عملیوں کا مغالطوں پر اثر کام، ماڈل اور مخصوص پیرامیٹر ترتیب پر منحصر ہے۔

اسٹوکیسٹک سیمپلنگ میں غلطیوں کا طریقہ کار

Top‑p کی زیادہ قدروں پر (مثلاً 0.95) ماڈل ایک مرکز بناتا ہے جو 95% امکانی کمیت کا احاطہ کرتا ہے۔ زیادہ اینٹروپی والی حالتوں میں (مثلاً کم معروف حقیقت کا جواب دیتے وقت) اس مرکز میں سیکڑوں کم امکانی ٹوکن شامل ہو سکتے ہیں۔ ایسے حالات میں اسٹوکیسٹک سیمپلنگ ایک ایسا ٹوکن نکال سکتا ہے جو گرامری طور پر درست ہو، مگر حقائقی سچ سے معنوی طور پر غیر متعلق ہو۔ سیاق میں آنے کے بعد، یہ ٹوکن نسل کے بعد کے مراحل پر اثر ڈال سکتا ہے، کیونکہ ماڈل تمام پچھلے ٹوکنوں — بشمول غلط والوں — کو مدنظر رکھ کر نسل جاری رکھتا ہے۔

کھلے اور بند کاموں کا دوطرفہ تناؤ

بڑے پیمانے کے تجربات نسل کے معیار کی کام کی نوعیت پر انحصار ظاہر کرتے ہیں۔ مضمون نویسی یا مکالماتی نظاموں میں اسٹوکیسٹک طریقے (Top‑p، Temperature) سرفہرست رہتے ہیں، جبکہ سخت تعینی شعبوں میں وہ تعینی طریقوں سے نمایاں طور پر پیچھے رہ سکتے ہیں۔

پروگرام کوڈ ترکیب (HumanEval، MBPP) اور ریاضی مسائل حل کرنے (GSM8K) کے بینچ مارکس پر تعینی طریقے (Beam Search، Greedy Decoding) Top‑p پر مبنی طریقوں کے مقابلے میں بہتر نتائج دکھاتے ہیں۔ GSM8K ڈیٹاسیٹ، جس میں 2 سے 8 حسابی مراحل کی ضرورت والے 8,500 ریاضی سوالات شامل ہیں، ایسے کاموں میں اسٹوکیسٹک انتخاب کی کمزوری کی مثال دیتا ہے: Top‑p کی کٹی ہوئی تقسیم سے بے ترتیبی کا انجیکشن کسی بھی درمیانی مرحلے پر ماڈل کی استدلال کی زنجیر (Chain‑of‑Thought) توڑ سکتا ہے۔ Tan اور ساتھی اس بات پر زور دیتے ہیں کہ ڈی کوڈنگ طریقے کی تاثیر کام پر سخت انحصار کرتی ہے (task‑dependent)۔

ڈی کوڈنگ کی سطح پر مغالطوں سے نمٹنے کے طریقے

اسٹوکیسٹک سیمپلنگ سے پیدا ہونے والے مغالطاتی اثرات سے نمٹنے کے لیے ڈی کوڈنگ اضافہ کاری کے جدید طریقے تیار کیے گئے ہیں:

• متضاد ڈی کوڈنگ (Contrastive Decoding، DoLa) — اصل ماڈل اور چھوٹے معاون ماڈل کے درمیان لاگ امکان کے فرق کو بہتر بناتا ہے، قابل اعتبار فلٹر کا کام کرتا ہے۔
• SH2 (Self‑Highlighted Hesitation) — ڈی کوڈر کو کم اعتماد والے ٹوکنوں پر کام کرتے وقت مصنوعی طور پر ہچکچاہٹ پیدا کراتا ہے۔
• سمت بند ایکٹیویشن پروجیکشن (SEA) — ویکٹر نمائندگی کی سطح پر مغالطاتی اشاروں کو دباتا ہے۔

اس کے ساتھ ہی، معیاری alignment کے ساتھ جدید ماڈلز حقائق کی گہری سمجھ رکھتے ہیں، جو ان کی اندرونی تقسیمات کی اینٹروپی کم کرتا ہے اور انہیں Top‑p کی زیادہ قدروں پر بھی حقائقی تنزلی کے لیے کم حساس بناتا ہے۔

عملی استعمال اور سفارشات

Top‑p لچک اور قابو کے امتزاج کی وجہ سے جدید LLM میں وسیع پیمانے پر استعمال ہوتا ہے۔

• قدروں کی عام حد۔ عملاً اکثر $p\approx 0.90\text{–}0.95$ استعمال ہوتا ہے۔ ڈیفالٹ قدر فراہم کنندگان میں مختلف ہے: OpenAI میں `top_p` = 1.0 (کاٹنا عملاً غیر فعال ہے)، Anthropic میں — 0.99، بہت سے Google Gemini ماڈلز میں — 0.95۔ Hugging Face Transformers لائبریری میں فریم ورک کی ڈیفالٹ قدر بھی 1.0 ہے، اگرچہ الگ الگ ماڈل اسے اپنی `generation_config.json` میں اوور رائڈ کر سکتے ہیں۔ اس طرح، 0.9–0.95 ایک عام تجویز کردہ عملی حد ہے، مگر ڈیفالٹ کا کوئی عالمگیر معیار نہیں۔
  • 1.0 کے قریب قدریں (مثلاً 0.98–0.99) تنوع بڑھاتی ہیں: مرکز میں زیادہ ٹوکن شامل ہوتے ہیں۔
  • کم قدریں (مثلاً 0.80–0.90) تعینیت اور پیداوار کی محتاط پن بڑھاتی ہیں۔
  • $p=1$ پر Top‑p کاٹنا ختم ہو جاتا ہے: انتخاب پورے ذخیرہ الفاظ سے ہوتا ہے (درجہ حرارت اور دیگر فعال ڈی کوڈنگ فلٹروں کو مدنظر رکھتے ہوئے)۔

• لائبریریوں اور API کے ساتھ مطابقت۔
  • Hugging Face Transformers میں TopPLogitsWarper نافذ ہے جہاں اضافی طور پر `min_tokens_to_keep` حد (ڈیفالٹ 1) استعمال ہوتی ہے۔ یہ نفاذ کی ایک حفاظتی تفصیل ہے: معیاری قدروں $p\in (0,1]$ پر خالی مرکز تعریف سے پیدا ہی نہیں ہوتا، تاہم یہ پیرامیٹر حدی صورتوں میں درست کام کی ضمانت دیتا ہے۔
  • کچھ API میں `top_p` پیرامیٹر دستیاب ہے، جبکہ `top_k` غیر موجود ہو سکتا ہے؛ پیرامیٹرز کی حمایت اور ان کے معنی مخصوص ماڈل اور آپریشن موڈ پر منحصر ہیں۔ Reasoning ماڈلز عموماً API کی سطح پر اسٹوکیسٹک ترتیب محدود کرتے ہیں۔ مثلاً، OpenAI کی موجودہ دستاویزات میں `temperature` اور `top_p` پیرامیٹرز صرف GPT‑5.2 میں `reasoning.effort = none` پر واضح طور پر حمایت یافتہ ہیں؛ GPT‑5.2 یا GPT‑5.1 سے دیگر `reasoning` قدروں کے ساتھ، نیز پرانے GPT‑5 ماڈلز (`gpt‑5`، `gpt‑5‑mini`، `gpt‑5‑nano`) کو ان فیلڈز کے ساتھ درخواستیں غلطی پیدا کرتی ہیں۔ پچھلی نسل کے Reasoning ماڈلز (o1، o3) بھی انہیں محدود یا مقرر کرتے ہیں۔ Anthropic میں Claude API میں وسیع استدلال (extended thinking) فعال ہونے پر `temperature` اور `top_k` تبدیل کرنا منع ہے، تاہم `top_p` کی 0.95–1.0 کی حد میں اجازت ہے؛ تھرڈ پارٹی پلیٹ فارمز (مثلاً Amazon Bedrock) پر پابندیاں مختلف ہو سکتی ہیں۔ فراہم کنندگان کی پابندیاں اکثر ورژن بہ ورژن بدلتی ہیں؛ موجودہ دستاویزات سے تصدیق کی سفارش ہے۔

• طویل متون اور دوبارہ پیداواریت۔ تجربات کی ایک سیریز نے ثابت کیا کہ nucleus sampling لمبی ترتیبوں میں بالخصوص greedy/beam اور مقررہ Top‑k کے مقابلے میں تنزلی (دہرائو، سانچہ بند جملے) کی طرف رجحان کم کرتا ہے۔

جدید متبادل

nucleus sampling کی 2019 میں اشاعت کے بعد، Top‑p کے خیال کو آگے بڑھانے یا مکمل کرنے والے اسٹوکیسٹک ڈی کوڈنگ کے کئی متبادل طریقے تجویز کیے گئے:

Min‑p سیمپلنگ

Min‑p سیمپلنگ (Nguyen et al., 2024) ان ٹوکنوں کو رکھتا ہے جن کا امکان $p_{min}\times P(x_{(1)})$ سے کم نہ ہو، یعنی سب سے زیادہ امکانی ٹوکن کے نسبت ایک حد مقرر کرتا ہے۔ ICLR 2025 میں زبانی پیشکش کے لیے قبول کیا گیا؛ کئی مقبول فریم ورکس میں نافذ کیا گیا، بشمول Hugging Face Transformers اور vLLM۔

Top‑p سے اہم فرق حد کی نوعیت میں ہے: Top‑p امکانات کے مجموعی جمع پر مبنی مطلق حد استعمال کرتا ہے، جبکہ Min‑p سب سے زیادہ امکانی ٹوکن کے امکان سے مقیاس بند نسبی حد مقرر کرتا ہے۔

ریاضی کے اعتبار سے الگورتھم یوں کام کرتا ہے: ہر مرحلے پر زیادہ سے زیادہ امکان $P_{max}=P(x_{(1)}\mid x_{1:i-1})$ کا تعین ہوتا ہے، پھر مقیاس بند حد $P_{\text{threshold}}=p_{min}\times P_{max}$ حساب ہوتی ہے۔ حتمی پول میں صرف وہ ٹوکن شامل ہوتے ہیں جن کا انفرادی امکان اس حد سے زیادہ ہو۔

یہ موافقت یقینی بناتا ہے: اگر ماڈل اگلے لفظ کے بارے میں پراعتماد ہو ($P_{max}=0.9$)، بنیادی $p_{min}=0.1$ پر حد 0.09 ہوگی، شور والے ٹوکن سخت طریقے سے کٹ جائیں گے۔ اگر ماڈل غیر یقینی ہو ($P_{max}=0.1$)، حد 0.01 تک گر جاتی ہے، مرکز میں امیدواروں کی وسیع قسم آ جاتی ہے۔

Top‑p کی معروف کمزوری زیادہ درجہ حرارت سیمپلنگ ($T>1.0$) پر ظاہر ہوتی ہے: جب تقسیم مصنوعی طور پر ہموار ہو جاتی ہے، تو Top‑p کو مقررہ مجموعی جمع حاصل کرنے کے لیے بہت سے کم امکانی ٹوکن مرکز میں شامل کرنا پڑتے ہیں، جو ربط کاری میں تنزلی کا باعث بن سکتا ہے۔ Min‑p ایسے حالات میں بہتر کام کرتا ہے۔ مصنفین کے تجربات میں Mistral Large ماڈل کے ساتھ GPQA بینچ مارک پر انتہائی درجہ حرارت $T=3.0$ پر Min‑p الگورتھم نے 13.84% درستی دکھائی، جبکہ معیاری Top‑p 0.9 نے 0.89% نتیجہ دیا — بے ترتیب شور کی سطح پر۔

اس کے ساتھ ہی علمی دنیا میں بحث جاری ہے: کچھ تنقیدی تحقیقات (مثلاً arXiv:2506.13681) تمام NLP میٹرکس پر Min‑p کے فوائد کی عالمگیریت پر سوال اٹھاتی ہیں، مزید مطالعے کی ضرورت کی نشاندہی کرتی ہیں۔

سادہ الفاظ میں، Min-p تمام اختیارات کو امکانات کے مجموعی جمع سے نہیں، بلکہ موجودہ مرحلے کے سب سے مضبوط اختیار سے موازنہ کرتا ہے۔ اس لیے اگر ماڈل پراعتماد ہو تو یہ کمزور تسلسلوں کو سختی سے ہٹاتا ہے، اور اگر غیر یقینی ہو تو زیادہ قابل قبول اختیارات رکھتا ہے۔ اس کی وجہ سے Min-p ربط کاری اور تنوع کے درمیان توازن بہتر رکھ سکتا ہے، خاص طور پر جہاں Top-p بہت زیادہ کمزور الفاظ گزرنے دینے لگتا ہے۔

Locally Typical Sampling

Locally typical sampling (Meister et al., 2023) ان ٹوکنوں کو منتخب کرتا ہے جن کا معلوماتی بوجھ ($-\log P$) مشروط اینٹروپی کے قریب ہو، اطلاعی نظریے کے عام طور پر کے تصور پر مبنی ہے۔

Top‑p کے برعکس، جو زیادہ سے زیادہ امکانی ٹوکنوں کو منتخب کرتے ہوئے مرکز کا حجم کم سے کم کرنے کی کوشش کرتا ہے، Locally Typical Sampling معلوماتی فاصلے کی میٹرک پر مبنی بہتری کا مسئلہ حل کرتا ہے۔ الگورتھم ہر ٹوکن کا معلوماتی مواد ($-\log P(x)$) حساب کرتا ہے اور ماڈل کی مشروط اینٹروپی $H$ سے اس کا مطلق فاصلہ ناپتا ہے۔ ٹوکنوں کو خام امکان کے بجائے ان کی معلوماتی عام ہونے — یعنی سیاق کے متوقع معلوماتی مواد سے قربت — کے حساب سے ترتیب دیا جاتا ہے۔ ٹوکنوں کو مرکز میں (اینٹروپی تک فاصلے کی ترتیب سے) اس وقت تک شامل کیا جاتا ہے جب تک مجموعی امکان کی حد نہ پہنچ جائے۔

اس نقطہ نظر کا نتیجہ: زیادہ اینٹروپی والی حالتوں میں الگورتھم نہ صرف شور والے کم امکانی دم کو بلکہ ضرورت سے زیادہ امکانی الفاظ کو بھی جو بہت کم معلومات رکھتے ہیں اور متن کو سطحی بناتے ہیں، ہدف بنا کر خارج کرتا ہے۔ یہ تنزلی چکر کے خطرے کو کم کرتا ہے اور متن کی دہرائو کی میٹرکس کو انسانوں کے لکھے متن کی خصوصیات کے قریب لاتا ہے۔

Tail Free Sampling (TFS)

Tail Free Sampling (TFS) — شور والے دم کی نشاندہی کا ایک کم رسمی مگر عملاً دلچسپ طریقہ، جو امکانی فضا کے تفرقاتی تجزیے پر مبنی ہے۔ اگر Top‑p اور Min‑p پہلے درجے کے امکانات (مجموعی جمع اور بنیادی حصص) پر کام کرتے ہیں، تو TFS ترتیب شدہ امکانی منحنی کی پہلی اور دوسری مشتق کا تجزیہ کرتا ہے۔ یہ طریقہ Trenton Bricken کے بلاگ میں بیان ہوا اور کئی inference انجنوں میں نافذ ہوا، اگرچہ نظرثانی شدہ مقالے کی شکل میں شائع نہیں ہوا۔

TFS کا بنیادی اصول: سیمپل میں ایک بھی شور والے ٹوکن کا آنا پوری خودبخود رجعی نسل کے لیے ہندسی خطرہ لاتا ہے۔ امکانات کی دوسری مشتق حساب کرکے الگورتھم سطح کی نشاندہی کرتا ہے — منحنی کے وہ حصے جہاں امکانات کی گراوٹ سست ہو جاتی ہے اور لمبی پھیلی دم میں بدل جاتی ہے۔ یہ موڑ متحرک کاٹنے کی حد بن جاتا ہے: اس سے پہلے کے ٹوکن معنوی طور پر محفوظ سمجھے جاتے ہیں، اور پوری دم ہٹا دی جاتی ہے۔

ریاضی کی خوبصورتی کے باوجود، TFS کو مشتقات کی حقیقی وقت میں حساب کاری کے لیے زیادہ وسائل چاہیے، جس کی وجہ سے وہ بڑے پیمانے کی تجارتی مصنوعات میں ہلکے الگورتھم سے پیچھے رہ جاتا ہے۔

p‑less Sampling

$p$‑less sampling — ایک طریقہ جو انجینیر کو کاٹنے کے ہائپر پیرامیٹرز ترتیب دینے کی ضرورت سے مکمل چھٹکارا دلاتا ہے۔ Top‑k اور Top‑p سے لے کر Min‑p تک تمام پچھلے طریقوں کا بنیادی مسئلہ ساکت ہائپر پیرامیٹرز پر انحصار ہے، جن کی قدروں کو ماہرانہ ترتیب کی ضرورت ہوتی ہے اور جو ایک کام (تخلیقی لکھنا) کے لیے بہترین ہو سکتی ہیں مگر دوسرے (پروگرامنگ) کے لیے ناکام۔

اطلاعی نظریے میں جڑا $p$‑less الگورتھم، ڈی کوڈنگ کے ہر مرحلے پر حقیقی وقت میں پوری امکانی تقسیم کی اندرونی ٹوپولوجی کا تجزیہ کرتے ہوئے ایک منفرد کاٹنے کی حد متحرک طور پر بناتا ہے۔ مصنفین درجہ حراری اتار چڑھاؤ کے خلاف طریقے کی استحکام (temperature robustness) کی اطلاع دیتے ہیں: درجہ حرارت بڑھنے پر روایتی طریقے نمایاں طور پر خراب ہو سکتے ہیں، جبکہ $p$‑less معیار کا استحکام برقرار رکھتا ہے۔ مزید برآں، مجموعی اسکیننگ اور بڑے مرکزوں کی دوبارہ معمول پر لانے کی منطق ترک کرنے سے، مصنفین کے مطابق، یہ طریقہ inference کے مرحلے پر زیادہ وسائلی کارکردگی اور ریاضی، منطق اور تخلیقی لکھنے کے ڈیٹاسیٹس پر درستی کھوئے بغیر زیادہ مختصر جوابات پیدا کرتا ہے۔

η‑سیمپلنگ

η‑سیمپلنگ (Hewitt et al., 2022) اینٹروپی پر منحصر امکانی حد استعمال کرتا ہے، کم اینٹروپی والے سیاق کے مطابق ڈھلتا ہے جہاں Top‑p ضرورت سے زیادہ کاٹ سکتا ہے۔

ادبیات

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019؛ ICLR 2020 میں شائع)۔ The Curious Case of Neural Text Degeneration۔ arXiv:1904.09751۔
• Fan, A., Lewis, M., & Dauphin, Y. (2018)۔ Hierarchical Neural Story Generation۔ arXiv:1805.04833۔
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023)۔ Locally Typical Sampling۔ arXiv:2202.00666۔
• Ravfogel, S., Goldberg, Y., & Goldberger, J. (2023)۔ Conformal Nucleus Sampling۔ ACL Findings 2023۔
• Tan, Q. et al. (2024)۔ A Thorough Examination of Decoding Methods in the Era of LLMs۔ arXiv:2402.06925۔
• Finlayson, M. et al. (2024)۔ Closing the Curious Case of Neural Text Degeneration۔ arXiv:2310.01693۔
• Chen, S. J. et al. (2025)۔ Decoding Game: On Minimax Optimality of Heuristic Text Generation Strategies۔ arXiv:2410.03968۔
• Nguyen, M. et al. (2024)۔ Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs۔ arXiv:2407.01082۔
• Sen, J. et al. (2025)۔ Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs۔ arXiv:2506.05387۔
• Bricken, T. Tail Free Sampling۔ [32]۔
• p‑less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding۔ arXiv:2509.23234۔

یہ بھی دیکھیں

• درجہ حرارت
• بڑے زبانی ماڈلز