Perplexity (metric) (TL)

Perplexiya (Ingles: Perplexity, PPL) sa teorya ng impormasyon at machine learning — ito ay sukatan ng kawalan ng katiyakan o "pagkamangha" ng isang language model sa paghula ng isang sample ng teksto. Ang mababang perplexiya ay nagpapahiwatig na ang probability distribution ng modelo ay mahusay na tumutugma sa test data, samantalang ang mataas na perplexiya ay nangangahulugang hindi mahusay ang modelo sa paghula ng pagkakasunod-sunod.

Sa pormal na paraan, ang perplexiya ng isang probability distribution ay tinukoy bilang exponential ng entropy nito. Para sa discrete distribution $p(x)$ ito ay katumbas ng $2^{H(p)}$, kung saan ang $H(p)$ — ay entropy. Sa madaling salita, ang perplexiya ay maaaring unawain bilang "epektibong" bilang ng mga pagpipilian kung saan pumipili ang modelo sa bawat hakbang. Kung ang perplexiya ay 100, nangangahulugan ito na ang kawalan ng katiyakan ng modelo ay katumbas ng pagpili ng isa sa 100 pantay-pantay na malamang na kalalabasan.

Ang termino ay unang ipinakilala noong 1977 ng isang pangkat ng mga mananaliksik ng IBM sa ilalim ng pamumuno ni Frederick Jelinek sa konteksto ng statistical na pagkilala ng pananalita para sa dami ng pagtatasa ng "kahirapan" ng gawain.

Perplexiya sa mga Language Model

Sa larangan ng natural language processing (NLP), ang perplexiya ay naging karaniwang panloob (intrinsic) na sukatan para sa pagsusuri ng kalidad ng mga language model. Sinusukat nito kung gaano kahusay na hinuhulaan ng modelo ang pagkakasunod-sunod ng mga salita o token sa isang test dataset.

Pormal na Kahulugan

Para sa test corpus $W=w_1{w}_2\dots w_N$ at language model $q$, ang perplexiya ay kinakalkula bilang kabaligtaran ng average geometric na posibilidad ng test corpus, na na-normalize ayon sa bilang ng mga salita: $\text{PP}(W,q)={\left(\prod _{i=1}^N\frac{1}{q(w_i\mid w_1,\dots ,w_{i-1})}\right)}^{1/N}$

Ang formula na ito ay katumbas ng exponential ng cross-entropy, o average logarithmic loss (negative log-likelihood): $\text{PP}(W,q)=\exp (-\frac{1}{N}\sum _{i=1}^N\log q(w_i\mid \text{контекст}))$

Ang pag-minimize ng perplexiya ay katumbas ng pag-maximize ng likelihood ng modelo sa test data. Kaya naman, ang modelo na may mas mababang perplexiya ay itinuturing na mas tumpak sa istatistika.

Kasaysayang Paggamit at Modernong LLM

Sa kasaysayan, ang perplexiya ay malawakang ginamit para sa pagsusuri ng mga istatistikal na n-gram na modelo. Halimbawa, para sa corpus ng Wall Street Journal, ang unigram na modelo (na isinasaalang-alang lamang ang dalas ng mga salita) ay may perplexiya na ~962, samantalang ang trigram na modelo (na isinasaalang-alang ang konteksto ng dalawang nakaraang salita) — ay humigit-kumulang 109. Ang ganitong mabilis na pagbaba ay nagpapakita kung gaano kahusay na nahahawakan ng modelo ang mga lingguwistikong pattern.

Sa pag-unlad ng malalaking language model (LLM), pinanatili ng perplexiya ang tungkulin nito bilang pangunahing pamantayan. Nag-uulat ang mga mananaliksik ng perplexiya sa mga karaniwang test set (halimbawa, WikiText) bilang sukatan ng "pagkamaayos" ng modelo. Kaya, sa papel ng OpenAI tungkol sa GPT-2, isinasaad na ang modelo na may ~117 milyong parameter ay nakakamit ng perplexiya na humigit-kumulang 37 sa corpus ng WikiText-103. Ang pagbaba ng perplexiya ay karaniwang nakikiugnay sa pagpapabuti ng kalidad ng modelo, kaya naman ang sukatan ay nagsisilbing maginhawang tagapagpahiwatig ng pag-unlad sa panahon ng pagsasanay at optimisasyon.

Mga Limitasyon at Interpretasyon ng Sukatan

Kahit na ang mababang perplexiya ay nagpapakita ng mataas na likelihood ng data ayon sa modelo, ang tagapagpahiwatig na ito ay may ilang mahahalagang limitasyon at hindi laging nakikiugnay sa tunay na kalidad ng nalikhang teksto.

• Mababang perplexiya ≠ mataas na kalidad. Sinusukat ng perplexiya ang kumpiyansa ng modelo sa mga hula nito, ngunit hindi ang katotohanan ng mga ito. Ang modelo ay maaaring tiwala ngunit mali, na lumilikha ng walang kabuluhang ngunit istatistikal na malamang na teksto (halimbawa, paulit-ulit na ginagamit ang napaka-karaniwang mga salita at parirala).
• Pagiging sensitibo sa data at tokenization. Ang perplexiya ay hindi angkop para sa direktang paghahambing ng mga modelo na may iba't ibang arkitektura, bokabularyo, o paraan ng tokenization. Halimbawa, ang isang character-level na modelo ay maaaring may numerong mas mababang perplexiya kaysa sa isang word-level na modelo, ngunit hindi ito nangangahulugang mas mahusay itong nakatutupad ng mga lingguwistikong gawain.
• Kawalan ng kakayahan sa pagtatasa ng semantika at mahabang konteksto. Ang perplexiya ay isang lokal na sukatan na nagtatasa ng paghula ng susunod na token. Mahina itong nakikiugnay sa kakayahan ng modelo na mahuli ang pangmatagalang ugnayan at makabuluhang konteksto sa malalayong distansya. Ang isang pag-aaral noong 2023 (Hu et al.) ay nagpakita na ang kakayahan ng LLM na maunawaan ang mahabang teksto (hanggang 100 libong token) ay halos hindi nailarawan sa sukatan ng perplexiya.
• Posibilidad ng manipulasyon. Maaaring "dayain" ang sukatan. Ang isang na-overfit na modelo ay magpapakita ng artipisyal na mababang perplexiya sa data na "natutunan" nito. Ipinapakita rin ng mga pag-aaral (Wang et al., 2022) na ang pagdodoble ng mga fragment ng teksto o maging ang kawalan ng tuldok sa dulo ng pangungusap ay maaaring walang dahilang magpababa o magpataas ng perplexiya, nang hindi nakakaapekto sa tunay na kalidad ng teksto.

Konklusyon: ang papel ng perplexiya ngayon

Sa isinasaalang-alang na mga limitasyon, sa modernong kasanayan ang perplexiya ay itinuturing na pantulong, paunang tagapagpahiwatig ng kalidad ng isang language model. Nananatili itong mahalagang kasangkapan para sa mabilis na pagtatasa at pag-debug ng mga modelo, dahil hindi ito nakasalalay sa isang partikular na praktikal na gawain at madaling kalkulahin.

Gayunpaman, para sa kumpletong pagsusuri ng LLM, hindi sapat ang perplexiya lamang. Ngayon ito ay laging pinupunan ng mga panlabas (extrinsic) na sukatan na nakatali sa mga partikular na gawain, tulad ng:

• Katumpakan ng mga sagot sa mga tanong;
• Mga pagtatasa ng tao (human evaluation);
• BLEU/ROUGE para sa machine translation at summarization.

Sama-sama sa mga pamamaraang ito, patuloy na gumaganap ng mahalagang papel ang perplexiya — nagsisilbi bilang layuning sukatan ng "pagkamangha" ng modelo, ngunit ang mga resulta nito ay palaging iniipaliwanag na isinasaalang-alang ang mga nabanggit na limitasyon.

Mga Sanggunian

• Artikulo «Перплексия в языковых моделях» sa Habr
• Dokumentasyon ng Hugging Face sa pagkalkula ng perplexiya

Panitikan

• Jelinek, F., Bahl, L. R., & Mercer, R. L. (1977). Perplexity — a Measure of the Difficulty of Speech Recognition Tasks. JASA:62(S1):S63.
• Jurafsky, D., & Martin, J. H. (2021). Speech and Language Processing (ika-3 ed., kabanata 3: N-gram Language Models). PDF.
• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI white paper.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wang, C. et al. (2022). Perplexity by PLM Is Unreliable for Evaluating Text Quality. arXiv:2210.05892.
• Meister, C., & Cotterell, R. (2021). Language Model Evaluation Beyond Perplexity. arXiv:2106.00085.
• Hu, Y. et al. (2024). Can Perplexity Reflect Large Language Model's Ability in Long Text Understanding?. arXiv:2405.06105.
• Lazaridou, A. et al. (2021). Mind the Gap: Assessing Temporal Generalization in Neural Language Models. NeurIPS 2021.