Perplexity (metric) (HI)

परप्लेक्सिटी (अंग्रेज़ी: Perplexity, PPL) सूचना सिद्धांत और Machine Learning में — किसी भाषा मॉडल की उस अनिश्चितता या "आश्चर्य" का माप है जो वह किसी पाठ के नमूने का पूर्वानुमान लगाते समय अनुभव करता है। कम परप्लेक्सिटी यह दर्शाती है कि मॉडल का प्रायिकता वितरण परीक्षण डेटा से अच्छी तरह मेल खाता है, जबकि अधिक परप्लेक्सिटी का अर्थ है कि मॉडल अनुक्रम का पूर्वानुमान ठीक से नहीं लगा पा रहा।

औपचारिक रूप से, प्रायिकता वितरण की परप्लेक्सिटी उसकी एन्ट्रॉपी का घातांक (exponential) होती है। किसी असतत (discrete) वितरण $p(x)$ के लिए यह $2^{H(p)}$ के बराबर होती है, जहाँ $H(p)$ एन्ट्रॉपी है। सहज रूप से परप्लेक्सिटी को उन "प्रभावी" विकल्पों की संख्या के रूप में समझा जा सकता है जिनमें से मॉडल प्रत्येक चरण पर चुनाव करता है। यदि परप्लेक्सिटी 100 है, तो इसका अर्थ है कि मॉडल की अनिश्चितता 100 समान-प्रायिकता वाले परिणामों में से एक चुनने के समतुल्य है।

यह शब्द सर्वप्रथम 1977 में फ्रेडेरिक जेलिनेक के नेतृत्व में IBM के शोधकर्ताओं के एक समूह द्वारा सांख्यिकीय वाक् पहचान (statistical speech recognition) के संदर्भ में कार्य की "कठिनाई" के मात्रात्मक मूल्यांकन हेतु प्रस्तुत किया गया था।

परप्लेक्सिटी और भाषा मॉडल

प्राकृतिक भाषा प्रसंस्करण (NLP) के क्षेत्र में परप्लेक्सिटी भाषा मॉडलों की गुणवत्ता के मूल्यांकन के लिए एक मानक आंतरिक (intrinsic) मेट्रिक बन गई है। यह मापती है कि मॉडल परीक्षण डेटासेट में शब्दों या tokens के अनुक्रम का कितनी अच्छी तरह पूर्वानुमान लगाता है।

औपचारिक परिभाषा

परीक्षण कॉर्पस $W=w_1{w}_2\dots w_N$ और भाषा मॉडल $q$ के लिए परप्लेक्सिटी की गणना परीक्षण कॉर्पस की प्रतिलोम औसत ज्यामितीय प्रायिकता (inverse average geometric probability) के रूप में की जाती है, जिसे शब्दों की संख्या से सामान्यीकृत किया जाता है: $\text{PP}(W,q)={\left(\prod _{i=1}^N\frac{1}{q(w_i\mid w_1,\dots ,w_{i-1})}\right)}^{1/N}$

यह सूत्र क्रॉस-एन्ट्रॉपी के घातांक, अथवा औसत लघुगणकीय हानि (negative log-likelihood) के समतुल्य है: $\text{PP}(W,q)=\exp (-\frac{1}{N}\sum _{i=1}^N\log q(w_i\mid \text{контекст}))$

परप्लेक्सिटी का न्यूनतमीकरण परीक्षण डेटा पर मॉडल के संभाव्यता-अधिकतमीकरण (likelihood maximization) के समतुल्य है। इस प्रकार, कम परप्लेक्सिटी वाले मॉडल को सांख्यिकीय रूप से अधिक सटीक माना जाता है।

ऐतिहासिक उपयोग और आधुनिक LLM

ऐतिहासिक रूप से परप्लेक्सिटी का व्यापक रूप से सांख्यिकीय n-gram मॉडलों के मूल्यांकन में उपयोग किया जाता रहा है। उदाहरण के लिए, Wall Street Journal कॉर्पस के लिए यूनीग्राम मॉडल (केवल शब्द आवृत्तियों को ध्यान में रखने वाला) की परप्लेक्सिटी ~962 होती है, जबकि ट्राईग्राम मॉडल (दो पूर्ववर्ती शब्दों के संदर्भ को ध्यान में रखने वाला) की परप्लेक्सिटी लगभग 109 होती है। इस तीव्र कमी से पता चलता है कि मॉडल भाषाई पैटर्न को कितना बेहतर ढंग से पकड़ता है।

बड़े भाषा मॉडलों (LLM) के विकास के साथ परप्लेक्सिटी ने अपनी आधारभूत संदर्भ मेट्रिक की भूमिका बनाए रखी है। शोधकर्ता मॉडल की "प्रवाहशीलता" के संकेतक के रूप में मानक परीक्षण सेटों (जैसे WikiText) पर परप्लेक्सिटी रिपोर्ट करते हैं। उदाहरण के लिए, GPT-2 पर OpenAI के शोधपत्र में उल्लेख है कि ~117 मिलियन parameters वाला मॉडल WikiText-103 कॉर्पस पर लगभग 37 की परप्लेक्सिटी प्राप्त करता है। परप्लेक्सिटी में कमी सामान्यतः मॉडल की गुणवत्ता में सुधार से सहसंबद्ध होती है, इसलिए यह मेट्रिक प्रशिक्षण और अनुकूलन के दौरान प्रगति के एक सुविधाजनक संकेतक के रूप में कार्य करती है।

मेट्रिक की सीमाएँ और व्याख्या

हालाँकि कम परप्लेक्सिटी मॉडल के अनुसार डेटा की उच्च संभाव्यता का संकेत देती है, इस सूचक की कुछ महत्त्वपूर्ण सीमाएँ हैं और यह हमेशा उत्पन्न पाठ की वास्तविक गुणवत्ता से सहसंबद्ध नहीं होती।

• कम परप्लेक्सिटी ≠ उच्च गुणवत्ता। परप्लेक्सिटी मॉडल के पूर्वानुमानों में उसका आत्मविश्वास मापती है, उनकी सत्यता नहीं। मॉडल आत्मविश्वास से गलत हो सकता है — अर्थहीन परंतु सांख्यिकीय दृष्टि से संभावित पाठ उत्पन्न करते हुए (जैसे अत्यंत सामान्य शब्दों और वाक्यांशों को दोहराना)।
• डेटा और tokenization के प्रति संवेदनशीलता। परप्लेक्सिटी भिन्न आर्किटेक्चर, शब्दकोश या tokenization पद्धति वाले मॉडलों की प्रत्यक्ष तुलना के लिए उपयुक्त नहीं है। उदाहरण के लिए, किसी character-level मॉडल की परप्लेक्सिटी संख्यात्मक रूप से शब्द-स्तरीय मॉडल से कम हो सकती है, लेकिन इसका यह अर्थ नहीं कि वह भाषाई कार्यों को बेहतर ढंग से हल करता है।
• अर्थबोध और लंबे संदर्भ का मूल्यांकन करने में असमर्थता। परप्लेक्सिटी एक स्थानीय मेट्रिक है जो अगले token के पूर्वानुमान का मूल्यांकन करती है। यह मॉडल की दीर्घकालिक निर्भरताओं और बड़ी दूरियों पर अर्थपूर्ण संदर्भ को समझने की क्षमता से कमज़ोर रूप से सहसंबद्ध है। 2023 के एक अध्ययन (Hu et al.) ने दिखाया कि LLM की लंबे पाठों (100 हज़ार tokens तक) को समझने की क्षमता परप्लेक्सिटी मेट्रिक में लगभग परिलक्षित नहीं होती।
• हेरफेर की संभावना। इस मेट्रिक को "धोखा" दिया जा सकता है। अत्यधिक प्रशिक्षित (overfitted) मॉडल उस डेटा पर कृत्रिम रूप से कम परप्लेक्सिटी दिखाएगा जिसे उसने "याद" कर लिया हो। शोध (Wang et al., 2022) ने यह भी दिखाया कि पाठ के अंशों की नकल करना या वाक्य के अंत में पूर्णविराम का न होना भी परप्लेक्सिटी को अनुचित रूप से कम या बढ़ा सकता है, बिना पाठ की वास्तविक गुणवत्ता को प्रभावित किए।

निष्कर्ष: आज परप्लेक्सिटी की भूमिका

उल्लिखित सीमाओं को देखते हुए, आधुनिक व्यवहार में परप्लेक्सिटी को भाषा मॉडल की गुणवत्ता के एक सहायक, प्रारंभिक संकेतक के रूप में देखा जाता है। यह मॉडलों के त्वरित मूल्यांकन और डीबगिंग के लिए एक मूल्यवान उपकरण बनी हुई है, क्योंकि यह किसी विशिष्ट व्यावहारिक कार्य पर निर्भर नहीं करती और गणना में सरल है।

हालाँकि, LLM के समग्र मूल्यांकन के लिए केवल परप्लेक्सिटी पर्याप्त नहीं है। आज इसे अनिवार्य रूप से बाह्य (extrinsic) मेट्रिक्स के साथ पूरक किया जाता है जो विशिष्ट कार्यों से जुड़ी होती हैं, जैसे:

• प्रश्नों के उत्तरों की सटीकता;
• मानव मूल्यांकन (human evaluation);
• मशीन अनुवाद और सारांशीकरण के लिए BLEU/ROUGE।

इन विधियों के साथ मिलकर परप्लेक्सिटी एक महत्त्वपूर्ण भूमिका निभाती रहती है — मॉडल के "आश्चर्य" की एक वस्तुनिष्ठ माप के रूप में, परंतु इसके परिणामों की व्याख्या सदैव उल्लिखित सीमाओं को ध्यान में रखकर की जाती है।

संदर्भ

• भाषा मॉडलों में परप्लेक्सिटी पर Habr का लेख
• परप्लेक्सिटी की गणना पर Hugging Face दस्तावेज़ीकरण

साहित्य

• Jelinek, F., Bahl, L. R., & Mercer, R. L. (1977). Perplexity — a Measure of the Difficulty of Speech Recognition Tasks. JASA:62(S1):S63.
• Jurafsky, D., & Martin, J. H. (2021). Speech and Language Processing (तीसरा संस्करण, अध्याय 3: N-gram Language Models). PDF.
• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI white paper.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wang, C. et al. (2022). Perplexity by PLM Is Unreliable for Evaluating Text Quality. arXiv:2210.05892.
• Meister, C., & Cotterell, R. (2021). Language Model Evaluation Beyond Perplexity. arXiv:2106.00085.
• Hu, Y. et al. (2024). Can Perplexity Reflect Large Language Model's Ability in Long Text Understanding?. arXiv:2405.06105.
• Lazaridou, A. et al. (2021). Mind the Gap: Assessing Temporal Generalization in Neural Language Models. NeurIPS 2021.