Temperature (LLM) (UR)

درجہ حرارت (انگریزی: Temperature) بڑے زبانی ماڈلز (LLM) کے تناظر میں ایک hyperparameter ہے جو متن کی تخلیق کے دوران بے ترتیبی اور "تخلیقیت" کی سطح کو کنٹرول کرتا ہے۔ یہ decoding کے ہر مرحلے پر اگلے token کی احتمالی تقسیم کی "تیزی" یا، اس کے برعکس، "ہمواری" کو منظم کرتا ہے۔ درجہ حرارت کو تبدیل کرکے، تخلیق شدہ متن میں پیش گوئی (coherence) اور تنوع (تخلیقیت) کے درمیان توازن کو کنٹرول کیا جا سکتا ہے۔

سادہ وضاحت

درجہ حرارت ایک ایسا parameter ہے جو یہ طے کرتا ہے کہ ماڈل اگلا لفظ کتنی احتیاط سے یا، اس کے برعکس، کتنی آزادی سے منتخب کرتا ہے۔ بڑے زبانی ماڈل کے پاس تقریباً کبھی بھی صرف ایک ممکنہ تسلسل نہیں ہوتا: عام طور پر ہر مرحلے پر کئی مناسب اختیارات ہوتے ہیں، اور ان میں سے ہر ایک کا اپنا احتمال ہوتا ہے۔ درجہ حرارت ماڈل کے علم پر یا اس پر نہیں، "وہ کیا جانتا ہے"، بلکہ اس پر اثر انداز ہوتا ہے کہ وہ تخلیق کے دوران ان اختیارات کے درمیان کس طرح انتخاب کرتا ہے۔

کم درجہ حرارت پر ماڈل زیادہ محتاط رویہ اختیار کرتا ہے۔ یہ سب سے زیادہ متوقع الفاظ پر زیادہ "بھروسہ" کرتا ہے اور سب سے زیادہ متوقع تسلسل سے کم ہٹتا ہے۔ نتیجتاً متن عام طور پر زیادہ یکساں، قابل پیش گوئی، رسمی طور پر درست اور منطقی ہوتا ہے۔ یہ طریقہ کار وہاں مفید ہے جہاں الفاظ کی درستی، جواب کا استحکام، نتیجے کی تکرار پذیری اور غیر ضروری تنوع کی کمی سے کم سے کم کرنا اہم ہو۔ تاہم اس نقطہ نظر کا ایک منفی پہلو بھی ہے: متن بہت زیادہ سانچے والا، خشک، یکنواخت اور بعض اوقات بہت زیادہ "محتاط" ہو سکتا ہے۔ بہت کم درجہ حرارت پر ماڈل ایک ہی تراکیب کو مسلسل دہرانا بھی شروع کر سکتا ہے (loop میں پھنسنا)، سب سے زیادہ متوقع لیکن ہمیشہ مناسب نہ ہونے والے تسلسل پر "اٹک" کر۔

زیادہ درجہ حرارت پر ماڈل زیادہ جرأتمند رویہ اختیار کرتا ہے۔ یہ نہ صرف سب سے زیادہ متوقع بلکہ کم واضح الفاظ کا انتخاب بھی زیادہ بار کرتا ہے۔ اس کی وجہ سے جوابات زیادہ متنوع، زندہ دل، غیر روایتی اور بعض اوقات زیادہ اصلی بن جاتے ہیں۔ یہ تخلیقی کاموں، brain storming، خیالات کی تخلیق، ادبی متن یا کئی مختلف الفاظ کی تلاش میں مفید ہو سکتا ہے۔ لیکن تنوع کے ساتھ ساتھ خطرہ بھی بڑھتا ہے: متن کم مربوط، کم درست، اور انتہائی صورتوں میں عجیب، غیر منطقی یا بے ترتیب ہو سکتا ہے۔

ایک آسان تصور یہ ہے کہ درجہ حرارت علم کا نہیں بلکہ الفاظ کے انتخاب میں خطرے کا ضابط ہے۔ کم درجہ حرارت ماڈل کو تقریباً ہمیشہ "سب سے محفوظ" اختیار چننے پر مجبور کرتا ہے۔ زیادہ درجہ حرارت اسے زیادہ بار "خطرہ مول لینے" اور کم واضح تسلسل آزمانے کی اجازت دیتا ہے۔

ایک اور مفید تصویر: درجہ حرارت کا موازنہ اس سے کیا جا سکتا ہے کہ انسان کسی سوال کا جواب کیسے دیتا ہے۔ اگر سرکاری، درست اور محتاط جواب درکار ہو تو انسان عموماً سب سے غیر جانبدار اور متوقع الفاظ منتخب کرتا ہے — یہ کم درجہ حرارت سے مشابہ ہے۔ اگر کام کوئی غیر معمولی خیال، استعارہ، کہانی کا موڑ یا کئی غیر روایتی اختیارات سوچنا ہو تو الفاظ زیادہ آزاد اور جرأتمند ہو جاتے ہیں — یہ زیادہ درجہ حرارت سے مشابہ ہے۔

اس طرح، درجہ حرارت تخلیق کی دو خصوصیات کے درمیان توازن کا ذمہ دار ہے:

• جواب کی قابل پیش گوئی اور استحکام؛
• الفاظ کا تنوع اور غیر متوقع ہونا۔

جتنا درجہ حرارت کم ہو، اتنا ماڈل سب سے زیادہ متوقع اور معیاری تسلسل کے قریب ہو۔ جتنا درجہ حرارت زیادہ ہو، اتنا تنوع کی گنجائش زیادہ، لیکن نتیجے کی سختی اور ربط پر کنٹرول اتنا کمزور۔

نظری تعریف

ریاضی کے اعتبار سے، درجہ حرارت ($T$) کو softmax فنکشن میں تقسیم کار کے طور پر متعارف کرایا جاتا ہے، جو ماڈل کے آؤٹ پٹ logits ($u_i$) کو احتمالات کی تقسیم ($P_i$) میں تبدیل کرتا ہے۔ فارمولہ درج ذیل ہے:

$P_i^{(T)}=\frac{e^{u_i/T}}{\sum _j{e}^{u_j/T}}$

جہاں:

• $P_i^{(T)}$ — درجہ حرارت $T$ پر $i$-ویں token کا حتمی احتمال۔
• $u_i$ — ماڈل کی طرف سے فراہم کردہ $i$-ویں token کے لیے logit (غیر معمول شدہ اسکور)۔
• $T$ — درجہ حرارت parameter (سختاً مثبت عدد)۔ مثال کے طور پر، OpenAI API میں زیادہ تر ماڈلز کے لیے قابل قبول حد 0 سے 2.0 ہے، جہاں 0 greedy decoding کا خصوصی معاملہ ہے (نیچے دیکھیں)۔ دیگر لائبریریوں (Hugging Face Transformers، llama.cpp) میں درجہ حرارت کوئی بھی مثبت قدر اختیار کر سکتا ہے۔

اہم: درجہ حرارت آؤٹ پٹ پر صرف sampling والے موڈ میں اثر ڈالتا ہے۔ بغیر sampling کے موڈ میں (greedy decoding، کلاسیکی beam search) درجہ حرارت parameter کوئی اثر نہیں ڈالتا۔ مثال کے طور پر، Hugging Face Transformers میں درجہ حرارت کو کام کرنے کے لیے do_sample=True فعال کرنا ضروری ہے۔

درجہ حرارت کی قدر کا اثر

• $T=1$ (معیاری قدر): احتمالات کی تقسیم بغیر تبدیلی کے رہتی ہے۔ یہ معیاری softmax ہے جو ماڈل کی اصل پیش گوئیوں کی عکاسی کرتا ہے۔
• $T<1$ (کم درجہ حرارت، مثلاً $0.2$ – $0.7$): تقسیم زیادہ تیز یا عروجی ہو جاتی ہے۔ سب سے زیادہ متوقع tokens کے احتمالات بڑھتے ہیں، اور کم متوقع کے احتمالات کم ہوتے ہیں۔ یہ تخلیق کو زیادہ deterministic اور قابل پیش گوئی بناتا ہے۔ ماڈل زیادہ بار واضح، زیادہ تکرار ہونے والے الفاظ منتخب کرتا ہے، جو متن کی coherence اور گرامری درستی بڑھاتا ہے، لیکن اس کا تنوع کم کرتا ہے۔
• $T>1$ (زیادہ درجہ حرارت، مثلاً $1.1$ – $1.5$): تقسیم زیادہ ہموار یا یکساں ہو جاتی ہے۔ tokens کے احتمالات کے درمیان فرق کم ہو جاتا ہے، جو کم متوقع (اور زیادہ "غیر متوقع") tokens کے منتخب ہونے کا موقع بڑھاتا ہے۔ یہ متن کو زیادہ تخلیقی، متنوع اور غیر متوقع بناتا ہے، لیکن غیر مربوط یا گرامری غلط جملوں کی تخلیق کا خطرہ بڑھاتا ہے۔

سرحدی صورتیں

• $T\to 0$: حد میں، جب درجہ حرارت صفر کی طرف جاتا ہے، softmax فنکشن argmax بن جاتا ہے۔ ماڈل ہمیشہ سب سے زیادہ logit والا token منتخب کرے گا۔ یہ موڈ greedy decoding کے مساوی ہے اور مکمل طور پر deterministic ہے۔ یہ اکثر دہرانے والے اور سانچے والے متن کا باعث بنتا ہے۔ نوٹ: قدر $T=0$ کو براہ راست فارمولے میں نہیں ڈالا جا سکتا (صفر سے تقسیم)؛ بہت سی implementations میں اسے greedy decoding کے قریب، زیادہ سے زیادہ محتاط انتخاب کے خصوصی موڈ کے طور پر ہینڈل کیا جاتا ہے۔ اس کے ساتھ ساتھ تمام hosted API $T=0$ پر مکمل determinism کی ضمانت نہیں دیتے — مثلاً Anthropic API میں صفر درجہ حرارت پر بھی نتائج قدرے مختلف ہو سکتے ہیں۔
• $T\to \mathrm{\infty }$: جب درجہ حرارت لامحدودیت کی طرف جاتا ہے، احتمالات کی تقسیم یکساں ہو جاتی ہے۔ لغت کے تمام tokens یکساں احتمال والے بن جاتے ہیں، اور ماڈل بے ترتیب "stream of consciousness" تخلیق کرتا ہے، مکمل طور پر coherence کھو دیتا ہے۔ عملی طور پر لامحدودیت کی ضرورت نہیں: $T>2.0$ پر بھی تقسیم تقریباً یکساں ہو جاتی ہے، اور متن غیر مربوط tokens کا مجموعہ بن جاتا ہے۔

عملی استعمال اور سفارشات

درجہ حرارت کا درست انتخاب انتہائی اہم ہے اور مخصوص کام پر منحصر ہے۔ نیچے دیے گئے حدود تخمینی heuristics ہیں — مثالی قدریں مخصوص ماڈل، domain اور کام کے لحاظ سے نمایاں طور پر مختلف ہو سکتی ہیں۔

• تخلیقی کاموں کے لیے (کہانیاں، نظمیں، مارکیٹنگ نعرے لکھنا):
  • زیادہ درجہ حرارت ($T\approx 0.7-1.2$) کی سفارش کی جاتی ہے۔
  • یہ ماڈل کو زیادہ غیر متوقع اور تخلیقی خیالات تخلیق کرنے، متنوع لغت استعمال کرنے اور سانچے والے الفاظ سے بچنے پر آمادہ کرتا ہے۔

• درستی اور حقائق پر مبنی کاموں کے لیے (سوالات کے جوابات، خلاصہ نویسی، code کی تخلیق):
  • کم درجہ حرارت ($T\approx 0.0-0.4$) کی سفارش کی جاتی ہے۔
  • یہ تنوع کم کرتا ہے اور نتیجے کی تکرار پذیری بڑھاتا ہے، ماڈل کو متن کے سب سے زیادہ متوقع تسلسل پر قائم رہنے پر مجبور کرتا ہے۔ $T=0$ پر تخلیق deterministic بن جاتی ہے (مقررہ seed اور بے ترتیبی کے دیگر ذرائع کی غیر موجودگی میں)، جو testing اور debugging کے لیے مفید ہے، لیکن ان مسائل کو چھپا سکتی ہے جو صرف sampling کے دوران ظاہر ہوتے ہیں۔ تاہم کم درجہ حرارت خود بخود حقائق کی درستی کی ضمانت نہیں دیتا — اگر ماڈل کے پاس مطلوبہ علم نہ ہو تو وہ اعتماد کے ساتھ غلط جواب تخلیق کر سکتا ہے۔ زیادہ سے زیادہ حقیقت پسندی کے لیے، کم درجہ حرارت کو علم کی بنیاد میں تلاش کے طریقوں (RAG) اور بہتر prompting کے ساتھ ملانے کی سفارش کی جاتی ہے۔ OpenAI کی documentation میں ڈیٹا نکالنے اور حقائق پر مبنی جوابات کے لیے $T=0$ کی سفارش کی گئی ہے۔

• Reasoning، ریاضی اور code کی تخلیق کے کاموں کے لیے:
  • عموماً کم درجہ حرارت استعمال کیا جاتا ہے، تاہم مثالی قدر مخصوص ماڈل اور کام پر نمایاں طور پر منحصر ہے۔
  • نوٹ: کچھ reasoning ماڈلز میں (مثلاً OpenAI o1/o3 سیریز) sampling parameters provider کی طرف سے محدود یا مقررہ ہو سکتے ہیں۔ اندرونی chain-of-thought کو مستحکم تقسیم کی ضرورت ہوتی ہے، اس لیے providers درجہ حرارت کی تبدیلی کو مکمل طور پر بلاک کر سکتے ہیں یا صارف کی قدریں صرف ایک تنگ حد میں قبول کر سکتے ہیں۔

• مکالماتی نظاموں اور chat bots کے لیے:
  • معتدل درجہ حرارت ($T\approx 0.5-0.8$) کی سفارش کی جاتی ہے۔
  • یہ توازن تلاش کرنے کی اجازت دیتا ہے: جوابات مربوط اور موضوع کے مطابق رہتے ہیں، لیکن بہت خشک اور یکنواخت نہیں ہوتے۔

نوٹ: OpenAI API کی documentation میں یہ سفارش کی گئی ہے کہ temperature یا top_p میں سے کوئی ایک تبدیل کریں، دونوں ایک ساتھ نہیں — ورنہ رویہ پیش گوئی کرنا مشکل ہو جاتا ہے۔ OpenAI API کی حوالہ جاتی مثالوں میں بطور ڈیفالٹ قدر عموماً $T=1.0$ ظاہر ہوتا ہے۔

Top-k اور Top-p سے موازنہ

درجہ حرارت، Top-k اور Top-p (nucleus sampling) جیسے کاٹ چھانٹ کے طریقوں کے برعکس، مختلف طریقے سے کام کرتا ہے:

• درجہ حرارت لغت میں تمام tokens کے درمیان احتمالات دوبارہ تقسیم کرتا ہے، لیکن ان میں سے کسی کو نہیں کاٹتا۔ بہت کم درجہ حرارت پر بھی کم متوقع tokens کا معمولی لیکن غیر صفر موقع باقی رہتا ہے کہ وہ منتخب ہوں۔
• Top-k اور Top-p سخت کاٹ چھانٹ کرتے ہیں، sampling کے core میں شامل نہ ہونے والے tokens کو مکمل طور پر خارج کر دیتے ہیں۔ اس طرح کی کاٹ چھانٹ tail tokens کے منتخب ہونے کا خطرہ کم کرتی ہے، لیکن خود ایک تخمینی heuristic ہے اور غیر صفر "اصل" احتمال والے قابل قبول تسلسل کو رد کر سکتی ہے۔

عملی طور پر یہ parameters اکثر ایک ساتھ استعمال کیے جاتے ہیں۔ مثال کے طور پر، عام اسلوب کے لیے معتدل درجہ حرارت (مثلاً $T=0.8$) مقرر کیا جا سکتا ہے اور Top-p (مثلاً $p=0.9$) شامل کیا جا سکتا ہے تاکہ تقسیم کے "دم" کو کاٹا جا سکے اور سنگین غلطیوں کا خطرہ کم کیا جا سکے۔ بہت کم درجہ حرارت پر ($T\to 0$) Top-p عملاً بے معنی ہو جاتا ہے، کیونکہ تقسیم ویسے بھی صرف ایک نمایاں peak رکھتی ہے۔

دیگر decoding parameters کے ساتھ درجہ حرارت کا تعامل

درجہ حرارت تقریباً کبھی اکیلے استعمال نہیں ہوتا۔ عملی طور پر اسے "تخلیقیت ↔ قابل اعتمادی" کے توازن کو باریک بینی سے ترتیب دینے کے لیے دیگر hyperparameters کے ساتھ ملایا جاتا ہے۔

Parameters کے اطلاق کا عام ترتیب

عام sampling implementations میں (بالخصوص Hugging Face Transformers میں) parameters عموماً درج ذیل ترتیب میں لاگو ہوتے ہیں:

1. ماڈل خام logits ($u_i$) فراہم کرتا ہے۔
2. تکرار کی سزائیں (repetition / frequency / presence penalty) لاگو ہوتی ہیں — پہلے سے تخلیق شدہ tokens کی بنیاد پر logits میں تبدیلی۔
3. درجہ حرارت logits کو scale کرتا ہے: $u_i/T$۔
4. Softmax لاگو ہوتا ہے ← نئی احتمالات کی تقسیم حاصل ہوتی ہے۔
5. کاٹ چھانٹ (truncation): پہلے Top-k (اگر مقرر ہو)، پھر Top-p یا Min-p۔
6. باقی "core" سے بے ترتیب sampling ہوتی ہے۔

اس عام scheme میں درجہ حرارت تکرار کی سزاؤں کے اطلاق کے بعد، لیکن softmax اور فلٹرنگ سے پہلے تقسیم کی شکل بدلتا ہے۔ اس لیے ایک ہی $top\mathrm{\_}p=0.9$ پر $T=0.2$ اور $T=1.5$ پر "core" کا بالکل مختلف حجم ملتا ہے۔ سزائیں اور درجہ حرارت غیر خطی طور پر تعامل کرتے ہیں — parameters کو ترتیب دیتے وقت یہ ذہن میں رکھنا ضروری ہے۔ Hosted API (OpenAI، Anthropic) میں اطلاق کا اندرونی ترتیب اس سطح کی تفصیل پر عوامی طور پر documented نہیں ہے۔

Top-p (nucleus sampling) اور Min-p

Min-p (minimum probability sampling) ایک نسبتاً نیا کاٹ چھانٹ کا طریقہ ہے جو سب سے زیادہ متوقع token کے احتمال کے نسبت سے احتمال کی نچلی حد مقرر کرتا ہے (عموماً 0.05–0.1)۔ Top-p کے برعکس، یہ tokens کو نسبتی حد کے مطابق کاٹتا ہے (بہترین token کے احتمال سے منسلک، نہ کہ ایک مقررہ cumulative mass سے)، جو خاص طور پر زیادہ درجہ حرارت (>0.8) پر مؤثر ہے: تنوع کے قابل ذکر نقصان کے بغیر بالکل نامناسب tokens کے انتخاب کو روکتا ہے۔ Min-p کئی مشہور open-source inference stacks کی حمایت یافتہ ہے، جن میں vLLM اور llama.cpp شامل ہیں۔

Repetition / Frequency / Presence penalty

Frequency_penalty اور presence_penalty (OpenAI API) پہلے سے آئے ہوئے tokens کے دہرائے جانے کا احتمال کم کرتے ہیں۔ یہ کم درجہ حرارت کی کمزوریوں میں سے ایک — سانچے پن اور loop میں پھنسنے کا رجحان — کی تلافی کر سکتے ہیں۔

Typical sampling اور Mirostat

Typical sampling (Meister et al., 2023) ان tokens کو منتخب کرتا ہے جن کا احتمال سیاق و سباق کی "متوقع" entropy کے قریب ہو۔ Mirostat (v2) کاٹ چھانٹ کے parameters کو dynamically ترتیب دیتا ہے تاکہ مطلوبہ perplexity ثابت رہے — یہ لمبے متن کے لیے مفید ہے جہاں اسلوب کا استحکام اہم ہو۔

ترتیب کی وضاحتی مثالیں

نیچے مختلف اقسام کے کاموں کے لیے تخمینی configurations دی گئی ہیں۔ یہ قدریں عام مقصد کی سفارشات نہیں ہیں — مثالی parameters مخصوص ماڈل، کام اور inference stack پر منحصر ہیں۔

کام	درجہ حرارت	ممکنہ ملاپ	منطق
Factual Q&A، خلاصہ نویسی	0.0–0.3	T + top_p=0.9	بے ترتیب تنوع کم سے کم
Code کی تخلیق، ریاضی	0.1–0.4	T + repetition_penalty	استحکام + loop سے بچنا
مکالمات / chat bots	0.6–0.85	T + top_p=0.92 یا min_p=0.1	قدرتی پن اور ربط کا توازن
تخلیق (کہانیاں، مارکیٹنگ)	0.75–1.1	T + min_p=0.07–0.1	tail کی فلٹرنگ کے ساتھ تنوع
Long-form / agents	0.5–0.8	Mirostat یا T + frequency_penalty	طوالت اور ربط کا کنٹرول

عمومی مشورہ: temperature اور top_p کو ایک ساتھ زیادہ تبدیل نہیں کرنا چاہیے۔ عموماً آسان ہوتا ہے کہ truncation parameters میں سے ایک مقرر کریں اور تخلیقیت کو درجہ حرارت سے کنٹرول کریں — اس سے ماڈل کا رویہ زیادہ قابل پیش گوئی ہوتا ہے۔

جدید aligned ماڈلز کی خصوصیت: سختی سے aligned ماڈلز میں (جنہوں نے RLHF / Constitutional AI / RLAIF سے گزرا ہو) زیادہ درجہ حرارت کا اثر بنیادی ماڈلز کے مقابلے میں کمزور ہوتا ہے — ماڈل $T=1.2$ پر بھی کم بار غیر مربوط متن تخلیق کرتا ہے۔ مخصوص مثالی قدریں ماڈلز کی نئی نسلوں کے ساتھ بدل سکتی ہیں؛ اوپر دی گئی سفارشات 2025–2026 تک کے حساب سے درست ہیں۔

حوالہ جات

• Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
• Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
• Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
• Hewitt, J.; Manning, C.; Liang, P. (2022). Truncation Sampling as Language Model Desmoothing. arXiv:2210.15191.
• Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
• O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
• Finlayson, M. et al. (2023). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Shi, C. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
• Ravfogel, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
• Sen, J. et al. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.
• Basu, S. et al. (2021). Mirostat: A Perplexity-Controlled Neural Text Decoding Algorithm. arXiv:2007.14966.
• Nguyen, M. N. et al. (2025). Turning Up the Heat: Min-p Sampling for Diverse and High-Quality Text Generation. arXiv:2407.01082.
• Renze, M.; Guven, E. (2024). The Effect of Sampling Temperature on Problem Solving in Large Language Models. arXiv:2402.05201.
• Zhang, S. et al. (2024). EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling. arXiv:2403.14541.
• Li, L. et al. (2025). Exploring the Impact of Temperature on Large Language Models: Hot or Cold?. arXiv:2506.07295.

مزید دیکھیں

• بڑے زبانی ماڈلز