Perplexity (metric) (EL)

Περπλοκότητα (αγγλ. Perplexity, PPL) στη θεωρία πληροφορίας και τη μηχανική μάθηση — είναι ένα μέτρο αβεβαιότητας ή «έκπληξης» ενός γλωσσικού μοντέλου κατά την πρόβλεψη ενός δείγματος κειμένου. Χαμηλή περπλοκότητα υποδηλώνει ότι η πιθανοτική κατανομή του μοντέλου ταιριάζει καλά με τα δεδομένα ελέγχου, ενώ υψηλή περπλοκότητα σημαίνει ότι το μοντέλο προβλέπει άσχημα την ακολουθία.

Τυπικά, η περπλοκότητα μιας κατανομής πιθανότητας ορίζεται ως η εκθετική της εντροπίας της. Για διακριτή κατανομή $p(x)$ ισούται με $2^{H(p)}$, όπου $H(p)$ — η εντροπία. Διαισθητικά, η περπλοκότητα μπορεί να νοηθεί ως ο «αποτελεσματικός» αριθμός επιλογών από τις οποίες το μοντέλο διαλέγει σε κάθε βήμα. Αν η περπλοκότητα είναι 100, αυτό σημαίνει ότι η αβεβαιότητα του μοντέλου ισοδυναμεί με την επιλογή ενός εκ 100 ισοπίθανων αποτελεσμάτων.

Ο όρος εισήχθη για πρώτη φορά το 1977 από ομάδα ερευνητών της IBM υπό την καθοδήγηση του Frederick Jelinek στο πλαίσιο της στατιστικής αναγνώρισης ομιλίας, για ποσοτική αξιολόγηση της «δυσκολίας» του προβλήματος.

Perplexity - Περπλοκότητα στα γλωσσικά μοντέλα

Στον τομέα της επεξεργασίας φυσικής γλώσσας (NLP), η περπλοκότητα έχει καθιερωθεί ως τυπική εσωτερική (intrinsic) μετρική για την αξιολόγηση της ποιότητας γλωσσικών μοντέλων. Μετρά πόσο καλά ένα μοντέλο προβλέπει μια ακολουθία λέξεων ή token σε ένα σύνολο δεδομένων ελέγχου.

Τυπικός ορισμός

Για ένα δοκιμαστικό corpus $W=w_1{w}_2\dots w_N$ και γλωσσικό μοντέλο $q$, η περπλοκότητα υπολογίζεται ως η αντίστροφη μέση γεωμετρική πιθανότητα του δοκιμαστικού corpus, κανονικοποιημένη ως προς τον αριθμό των λέξεων: $\text{PP}(W,q)={\left(\prod _{i=1}^N\frac{1}{q(w_i\mid w_1,\dots ,w_{i-1})}\right)}^{1/N}$

Αυτός ο τύπος ισοδυναμεί με την εκθετική της διασταυρούμενης εντροπίας, ή μέσης λογαριθμικής απώλειας (negative log-likelihood): $\text{PP}(W,q)=\exp (-\frac{1}{N}\sum _{i=1}^N\log q(w_i\mid \text{контекст}))$

Η ελαχιστοποίηση της περπλοκότητας ισοδυναμεί με τη μεγιστοποίηση της πιθανοφάνειας του μοντέλου στα δεδομένα ελέγχου. Έτσι, ένα μοντέλο με μικρότερη περπλοκότητα θεωρείται στατιστικά πιο ακριβές.

Ιστορική χρήση και σύγχρονα LLM

Ιστορικά, η περπλοκότητα χρησιμοποιήθηκε ευρέως για την αξιολόγηση στατιστικών μοντέλων n-γραμμάτων. Για παράδειγμα, για το corpus Wall Street Journal, ένα μοντέλο unigram (που λαμβάνει υπόψη μόνο συχνότητες λέξεων) έχει περπλοκότητα ~962, ενώ ένα μοντέλο trigram (που λαμβάνει υπόψη το πλαίσιο δύο προηγούμενων λέξεων) — περίπου 109. Αυτή η απότομη μείωση δείχνει πόσο καλύτερα το μοντέλο συλλαμβάνει γλωσσικές κανονικότητες.

Με την ανάπτυξη των μεγάλων γλωσσικών μοντέλων (LLM), η περπλοκότητα διατήρησε τον ρόλο της ως βασικό σημείο αναφοράς. Οι ερευνητές αναφέρουν την περπλοκότητα σε τυπικά σύνολα δεδομένων ελέγχου (π.χ. WikiText) ως δείκτη «ρευστότητας» του μοντέλου. Για παράδειγμα, στο άρθρο της OpenAI για το GPT-2 αναφέρεται ότι το μοντέλο με ~117 εκατ. παραμέτρους επιτυγχάνει περπλοκότητα περίπου 37 στο corpus WikiText-103. Η μείωση της περπλοκότητας συνήθως συσχετίζεται με βελτίωση της ποιότητας του μοντέλου, γι' αυτό η μετρική χρησιμεύει ως βολικός δείκτης προόδου κατά την εκπαίδευση και βελτιστοποίηση.

Περιορισμοί και ερμηνεία της μετρικής

Παρόλο που χαμηλή περπλοκότητα υποδηλώνει υψηλή πιθανοφάνεια των δεδομένων σύμφωνα με το μοντέλο, ο δείκτης αυτός έχει ορισμένους ουσιαστικούς περιορισμούς και δεν συσχετίζεται πάντα με την πραγματική ποιότητα του παραγόμενου κειμένου.

• Χαμηλή περπλοκότητα ≠ υψηλή ποιότητα. Η περπλοκότητα μετρά την εμπιστοσύνη του μοντέλου στις προβλέψεις του, αλλά όχι την αξιοπιστία τους. Ένα μοντέλο μπορεί να είναι σίγουρα λανθασμένο, παράγοντας κείμενο χωρίς νόημα αλλά στατιστικά πιθανό (π.χ. επαναλαμβάνοντας πολύ συχνές λέξεις και φράσεις).
• Ευαισθησία στα δεδομένα και την tokenization. Η περπλοκότητα δεν είναι κατάλληλη για άμεση σύγκριση μοντέλων με διαφορετική αρχιτεκτονική, λεξιλόγιο ή τρόπο tokenization. Για παράδειγμα, ένα μοντέλο χαρακτήρων μπορεί να έχει αριθμητικά χαμηλότερη περπλοκότητα από ένα μοντέλο λέξεων, αλλά αυτό δεν σημαίνει ότι επιλύει καλύτερα γλωσσικές εργασίες.
• Αδυναμία αξιολόγησης σημασιολογίας και μακρού πλαισίου. Η περπλοκότητα είναι τοπική μετρική που αξιολογεί την πρόβλεψη του επόμενου token. Συσχετίζεται ασθενώς με την ικανότητα του μοντέλου να συλλαμβάνει μακροπρόθεσμες εξαρτήσεις και σημασιολογικό πλαίσιο σε μεγάλες αποστάσεις. Έρευνα του 2023 (Hu et al.) έδειξε ότι η ικανότητα LLM να κατανοεί μακριά κείμενα (έως 100 χιλ. token) σχεδόν δεν αντικατοπτρίζεται στη μετρική περπλοκότητας.
• Δυνατότητα χειραγώγησης. Η μετρική μπορεί να «εξαπατηθεί». Ένα υπερεκπαιδευμένο μοντέλο θα εμφανίσει τεχνητά χαμηλή περπλοκότητα σε δεδομένα που έχει «απομνημονεύσει». Έρευνες (Wang et al., 2022) έδειξαν επίσης ότι η αντιγραφή τμημάτων κειμένου ή ακόμα και η απουσία τελείας στο τέλος πρότασης μπορεί να μειώσει ή να αυξήσει αδικαιολόγητα την περπλοκότητα, χωρίς να επηρεάζει την πραγματική ποιότητα του κειμένου.

Συμπέρασμα: ο ρόλος της περπλοκότητας σήμερα

Λαμβάνοντας υπόψη τους προαναφερθέντες περιορισμούς, στη σύγχρονη πρακτική η περπλοκότητα θεωρείται βοηθητικός, προκαταρκτικός δείκτης ποιότητας γλωσσικού μοντέλου. Παραμένει πολύτιμο εργαλείο για γρήγορη αξιολόγηση και αποσφαλμάτωση μοντέλων, καθώς δεν εξαρτάται από συγκεκριμένη εφαρμογή και είναι απλή στον υπολογισμό.

Ωστόσο, για πλήρη αξιολόγηση LLM η περπλοκότητα από μόνη της δεν αρκεί. Σήμερα συμπληρώνεται υποχρεωτικά με εξωτερικές (extrinsic) μετρικές συνδεδεμένες με συγκεκριμένες εργασίες, όπως:

• Ακρίβεια απαντήσεων σε ερωτήσεις;
• Αξιολόγηση από ανθρώπους (human evaluation);
• BLEU/ROUGE για μηχανική μετάφραση και περίληψη.

Σε συνδυασμό με αυτές τις μεθόδους, η περπλοκότητα συνεχίζει να επιτελεί σημαντικό ρόλο — να χρησιμεύει ως αντικειμενικό μέτρο «έκπληξης» του μοντέλου, αλλά τα αποτελέσματά της ερμηνεύονται πάντα λαμβάνοντας υπόψη τους προαναφερθέντες περιορισμούς.

Ссылки

• Статья «Перплексия в языковых моделях» на Хабре
• Документация Hugging Face по вычислению перплексии

Λογοτεχνία

• Jelinek, F., Bahl, L. R., & Mercer, R. L. (1977). Perplexity — a Measure of the Difficulty of Speech Recognition Tasks. JASA:62(S1):S63.
• Jurafsky, D., & Martin, J. H. (2021). Speech and Language Processing (3η έκδ., κεφ. 3: N-gram Language Models). PDF.
• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI white paper.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wang, C. et al. (2022). Perplexity by PLM Is Unreliable for Evaluating Text Quality. arXiv:2210.05892.
• Meister, C., & Cotterell, R. (2021). Language Model Evaluation Beyond Perplexity. arXiv:2106.00085.
• Hu, Y. et al. (2024). Can Perplexity Reflect Large Language Model's Ability in Long Text Understanding?. arXiv:2405.06105.
• Lazaridou, A. et al. (2021). Mind the Gap: Assessing Temporal Generalization in Neural Language Models. NeurIPS 2021.