Perplexity (metric) (UR)

پریپلیکسٹی (انگریزی: Perplexity، PPL) معلومات کے نظریے اور Machine Learning میں کسی متن کے نمونے کی پیش گوئی کرتے وقت زبان کے ماڈل کی غیر یقینی صورتحال یا حیرانی کی ایک پیمائش ہے۔ کم پریپلیکسٹی اس بات کی علامت ہے کہ ماڈل کی احتمالی تقسیم آزمائشی ڈیٹا سے بخوبی مطابقت رکھتی ہے، جبکہ زیادہ پریپلیکسٹی کا مطلب ہے کہ ماڈل ترتیب کو ٹھیک سے پیش گوئی نہیں کر پا رہا۔

رسمی طور پر پریپلیکسٹی کسی احتمالی تقسیم کی اس کی entropy کے exponential کے برابر ہوتی ہے۔ مجموعی تقسیم $p(x)$ کے لیے یہ $2^{H(p)}$ کے برابر ہے، جہاں $H(p)$ entropy ہے۔ بدیہی طور پر پریپلیکسٹی کو مؤثر اختیارات کی تعداد کے طور پر سمجھا جا سکتا ہے جن میں سے ماڈل ہر مرحلے پر انتخاب کرتا ہے۔ اگر پریپلیکسٹی 100 ہو تو اس کا مطلب ہے کہ ماڈل کی غیر یقینی صورتحال 100 یکساں احتمال والے نتائج میں سے ایک کے انتخاب کے برابر ہے۔

یہ اصطلاح پہلی بار 1977 میں IBM کے محققین کی ایک ٹیم نے فریڈرک جیلینک کی قیادت میں شماریاتی تقریر کی شناخت کے تناظر میں متعارف کرائی تاکہ کام کی مشکل کو مقداری طور پر ظاہر کیا جا سکے۔

پریپلیکسٹی زبان کے ماڈلز میں

قدرتی زبان کی پروسیسنگ (NLP) کے میدان میں پریپلیکسٹی زبان کے ماڈلز کے معیار کی جانچ کے لیے معیاری داخلی (intrinsic) میٹرک بن چکی ہے۔ یہ ماپتی ہے کہ ماڈل آزمائشی ڈیٹاسیٹ میں الفاظ یا tokens کی ترتیب کو کس حد تک درست پیش گوئی کرتا ہے۔

رسمی تعریف

آزمائشی corpus $W=w_1{w}_2\dots w_N$ اور زبان کے ماڈل $q$ کے لیے پریپلیکسٹی آزمائشی corpus کے الٹے اوسط ہندسی احتمال کے طور پر حساب کی جاتی ہے جسے الفاظ کی تعداد سے معمول بنایا گیا ہو: $\text{PP}(W,q)={\left(\prod _{i=1}^N\frac{1}{q(w_i\mid w_1,\dots ,w_{i-1})}\right)}^{1/N}$

یہ فارمولا cross-entropy کے exponential کے برابر ہے، یعنی اوسط logarithmic loss (negative log-likelihood): $\text{PP}(W,q)=\exp (-\frac{1}{N}\sum _{i=1}^N\log q(w_i\mid \text{контекст}))$

پریپلیکسٹی کو کم سے کم کرنا آزمائشی ڈیٹا پر ماڈل کے likelihood کو زیادہ سے زیادہ کرنے کے مترادف ہے۔ اس طرح کم پریپلیکسٹی والے ماڈل کو شماریاتی طور پر زیادہ درست سمجھا جاتا ہے۔

تاریخی استعمال اور جدید LLM

تاریخی طور پر پریپلیکسٹی شماریاتی n-gram ماڈلز کی جانچ کے لیے وسیع پیمانے پر استعمال ہوتی رہی ہے۔ مثلاً Wall Street Journal corpus کے لیے unigram ماڈل (جو صرف الفاظ کی تعدد کو مدنظر رکھتا ہے) کی پریپلیکسٹی تقریباً 962 ہے، جبکہ trigram ماڈل (جو پچھلے دو الفاظ کا سیاق مدنظر رکھتا ہے) کی تقریباً 109 ہے۔ یہ نمایاں کمی ظاہر کرتی ہے کہ ماڈل زبان کے اصولوں کو کتنا بہتر سمجھتا ہے۔

بڑے زبان کے ماڈلز (LLM) کی ترقی کے ساتھ پریپلیکسٹی نے اپنا کردار بنیادی معیار کے طور پر برقرار رکھا ہے۔ محققین معیاری آزمائشی مجموعوں (مثلاً WikiText) پر پریپلیکسٹی رپورٹ کرتے ہیں جو ماڈل کی روانی کا اشارہ دیتی ہے۔ چنانچہ OpenAI کے GPT-2 کے مقالے میں بتایا گیا ہے کہ تقریباً 117 ملین parameters والا ماڈل WikiText-103 corpus پر تقریباً 37 کی پریپلیکسٹی حاصل کرتا ہے۔ پریپلیکسٹی میں کمی عموماً ماڈل کے معیار میں بہتری سے ہم آہنگ ہوتی ہے، اس لیے یہ میٹرک تربیت اور بہتری کے دوران پیش رفت کا ایک سہل اشارہ فراہم کرتی ہے۔

میٹرک کی حدود اور تفسیر

اگرچہ کم پریپلیکسٹی ماڈل کے مطابق ڈیٹا کے اعلی likelihood کا ثبوت ہے، تاہم اس اشارے کی کچھ اہم حدود ہیں اور یہ ہمیشہ تیار کردہ متن کے حقیقی معیار سے ہم آہنگ نہیں ہوتی۔

• کم پریپلیکسٹی ≠ اعلی معیار۔ پریپلیکسٹی ماڈل کی اپنی پیش گوئیوں میں اعتماد کو ناپتی ہے، ان کی درستگی کو نہیں۔ ماڈل یقین کے ساتھ غلط بھی ہو سکتا ہے، یعنی بے معنی لیکن شماریاتی طور پر قابلِ امکان متن تیار کر سکتا ہے (مثلاً بہت عام الفاظ اور جملوں کو دہراتے ہوئے)۔
• ڈیٹا اور tokenization سے حساسیت۔ پریپلیکسٹی مختلف architecture، ذخیرۂ الفاظ یا tokenization کے طریقے والے ماڈلز کے براہِ راست موازنے کے لیے ناموزوں ہے۔ مثلاً کسی حرفی ماڈل کی پریپلیکسٹی عددی طور پر لفظی ماڈل سے کم ہو سکتی ہے، لیکن اس کا مطلب یہ نہیں کہ وہ زبان کی مشکلیں بہتر حل کرتا ہے۔
• معنیاتی سمجھ اور طویل سیاق کی جانچ سے قاصر۔ پریپلیکسٹی ایک مقامی میٹرک ہے جو اگلے token کی پیش گوئی کا جائزہ لیتی ہے۔ اس کا ماڈل کی طویل مدتی تعلقات اور بڑے فاصلوں پر معنوی سیاق کو سمجھنے کی صلاحیت سے کمزور تعلق ہے۔ 2023 کی ایک تحقیق (Hu et al.) نے ظاہر کیا کہ LLM کی طویل متون (100 ہزار tokens تک) کو سمجھنے کی صلاحیت پریپلیکسٹی میٹرک میں تقریباً نظر نہیں آتی۔
• ہیرا پھیری کا امکان۔ اس میٹرک کو دھوکا دیا جا سکتا ہے۔ زیادہ تربیت یافتہ ماڈل اس ڈیٹا پر مصنوعی طور پر کم پریپلیکسٹی دکھائے گا جو اس نے یاد کر لیا ہو۔ تحقیقات (Wang et al., 2022) نے یہ بھی ظاہر کیا کہ متن کے حصوں کا دہرانا یا یہاں تک کہ جملے کے آخر میں نقطہ نہ ہونا پریپلیکسٹی کو بے جا کم یا زیادہ کر سکتا ہے، حالانکہ متن کا حقیقی معیار متاثر نہیں ہوتا۔

خلاصہ: آج پریپلیکسٹی کا کردار

مذکورہ حدود کو مدنظر رکھتے ہوئے، جدید عمل میں پریپلیکسٹی کو زبان کے ماڈل کے معیار کے ایک معاون، ابتدائی اشارے کے طور پر دیکھا جاتا ہے۔ یہ ماڈلز کی فوری جانچ اور ڈیبگنگ کے لیے ایک قیمتی ذریعہ رہتی ہے، کیونکہ یہ کسی مخصوص عملی کام پر منحصر نہیں اور حساب میں آسان ہے۔

تاہم LLM کی مکمل جانچ کے لیے صرف پریپلیکسٹی کافی نہیں۔ آج اسے لازمی طور پر مخصوص کاموں سے منسلک خارجی (extrinsic) میٹرکس سے تکمیل دی جاتی ہے، جیسے:

• سوالات کے جوابات کی درستگی؛
• انسانی جائزہ (human evaluation)؛
• مشینی ترجمے اور خلاصہ نویسی کے لیے BLEU/ROUGE۔

ان طریقوں کے ساتھ مل کر پریپلیکسٹی ایک اہم کردار ادا کرتی رہتی ہے — یعنی ماڈل کی حیرانی کا ایک معروضی پیمانہ — لیکن اس کے نتائج ہمیشہ مذکورہ حدود کو مدنظر رکھ کر تفسیر کیے جاتے ہیں۔

حوالہ جات

• زبان کے ماڈلز میں پریپلیکسٹی پر Habr کا مضمون
• پریپلیکسٹی کے حساب کے بارے میں Hugging Face کی دستاویزات

کتابیات

• Jelinek, F., Bahl, L. R., & Mercer, R. L. (1977). Perplexity — a Measure of the Difficulty of Speech Recognition Tasks. JASA:62(S1):S63.
• Jurafsky, D., & Martin, J. H. (2021). Speech and Language Processing (تیسرا ایڈیشن، باب 3: N-gram Language Models). PDF.
• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI white paper.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wang, C. et al. (2022). Perplexity by PLM Is Unreliable for Evaluating Text Quality. arXiv:2210.05892.
• Meister, C., & Cotterell, R. (2021). Language Model Evaluation Beyond Perplexity. arXiv:2106.00085.
• Hu, Y. et al. (2024). Can Perplexity Reflect Large Language Model's Ability in Long Text Understanding?. arXiv:2405.06105.
• Lazaridou, A. et al. (2021). Mind the Gap: Assessing Temporal Generalization in Neural Language Models. NeurIPS 2021.