Top-p sampling (EL)

Top‑p δειγματοληψία, γνωστή επίσης ως πυρηνική δειγματοληψία (αγγλ. Nucleus Sampling), — στοχαστική μέθοδος αποκωδικοποίησης για αυτοπαλίνδρομα γλωσσικά μοντέλα, που χρησιμοποιείται ευρέως και σε μεγάλα γλωσσικά μοντέλα (LLM). Η μέθοδος προτάθηκε το 2019 από τον Ari Holtzman και συνεργάτες (preprint arXiv — Απρίλιος 2019· δημοσίευση στο ICLR 2020) ως βελτιωμένη εναλλακτική της σταθερής Top‑k δειγματοληψίας. Η ιδέα της είναι να επιλέγει δυναμικά το σύνολο υποψηφίων σε κάθε βήμα παραγωγής βάσει ενός κατωφλίου αθροιστικής πιθανότητας $p$.

Ιστορικό πλαίσιο: το πρόβλημα της νευρωνικής εκφυλισμού κειμένου

Πριν την εμφάνιση του Top‑p, οι κυρίαρχες στρατηγικές αποκωδικοποίησης ήταν η άπληστη αναζήτηση (greedy search) και η δεσμιδική αναζήτηση (beam search), που βασίζονται στο παράδειγμα της μεγιστοποίησης πιθανοφάνειας — δηλαδή της επιλογής της ακολουθίας token με τη μεγαλύτερη συνολική πιθανότητα. Η άπληστη αναζήτηση σε κάθε βήμα επιλέγει τοπικά το token με τη μεγαλύτερη πιθανότητα, ενώ η δεσμιδική αναζήτηση παρακολουθεί παράλληλα αρκετές υποθέσεις παραγωγής.

Αν και αυτές οι μέθοδοι ήταν αποτελεσματικές σε κλειστές εργασίες (μηχανική μετάφραση, εξαγωγή δεδομένων), κατά τη μετάβαση σε εργασίες ανοιχτής παραγωγής κειμένου (συγγραφή ιστοριών, διαλογικά συστήματα) οδηγούσαν συχνά σε νευρωνικό εκφυλισμό κειμένου — δηλαδή σε παραγωγή κειμένου που γίνεται τυποποιημένο, χάνει τη συνοχή του ή παγιδεύεται σε επαναλήψεις. Το φαινόμενο αυτό περιγράφεται αναλυτικά από τον Holtzman και συνεργάτες στην εργασία The Curious Case of Neural Text Degeneration.

Οι Meister και συνεργάτες συσχετίζουν το πρόβλημα εκφυλισμού με το γεγονός ότι το ανθρώπινο κείμενο τείνει να διατηρεί ένα πληροφοριακό περιεχόμενο κοντά στην αναμενόμενη δεσμευμένη εντροπία, αντί να μεγιστοποιεί απλώς την τοπική πιθανότητα κάθε επόμενου token.

Εναλλακτική ήταν η καθαρή στοχαστική δειγματοληψία (sampling without truncation), κατά την οποία το token επιλέγεται τυχαία σύμφωνα με την πιθανότητά του. Ωστόσο, αυτή η μέθοδος δημιούργησε το αντίθετο πρόβλημα: η συνάρτηση Softmax ποτέ δεν εκχωρεί σε ένα token πιθανότητα αυστηρά ίση με μηδέν, επομένως σε ένα λεξιλόγιο δεκάδων χιλιάδων λέξεων υπάρχει πάντα μια εκτεταμένη ζώνη θορυβωδών token. Με την καθαρή δειγματοληψία αυξάνεται ο κίνδυνος να επιλεγεί κάποιο token από την αναξιόπιστη ουρά της κατανομής, γεγονός που μπορεί να υποβαθμίσει τη συνοχή του παραγόμενου κειμένου. Η ανάγκη συνδυασμού του πλούτου της στοχαστικής επιλογής με την αξιοπιστία των ντετερμινιστικών περιορισμών οδήγησε στην ανάπτυξη μεθόδων κλάδευσης κατανομής, με κορυφαία εκπρόσωπο την πυρηνική δειγματοληψία (Top‑p).

Απλή εξήγηση

Top-p δειγματοληψία είναι ένας τρόπος περιορισμού της επιλογής του επόμενου token μόνο στις πιο πιθανές επιλογές, χωρίς να καθορίζεται εκ των προτέρων ο αριθμός τους.

Κατά την παραγωγή κειμένου, το γλωσσικό μοντέλο αξιολογεί σε κάθε βήμα πλήθος πιθανών συνεχειών και αναθέτει σε καθεμία μια πιθανότητα. Ορισμένα token είναι πολύ πιθανά, άλλα μέτρια πιθανά, ενώ το μεγαλύτερο μέρος του λεξιλογίου αποτελεί την αποκαλούμενη «ουρά» της κατανομής: επιλογές με πολύ μικρή πιθανότητα, που είναι τυπικά αποδεκτές, αλλά συχνά τυχαίες, εκτός πλαισίου ή υποβαθμίζουν τη συνοχή του κειμένου.

Η Top-p δειγματοληψία αποκόπτει αυτή την ουρά χαμηλής πιθανότητας όχι με βάση σταθερό αριθμό token, αλλά με βάση τη συνολική πιθανότητα. Αρχικά όλοι οι υποψήφιοι ταξινομούνται από τον πιο πιθανό στον λιγότερο πιθανό. Στη συνέχεια επιλέγεται το ελάχιστο σύνολο κορυφαίων token των οποίων η συνολική πιθανότητα φτάνει το καθορισμένο κατώφλι $p$ — για παράδειγμα 0.9 ή 0.95. Στη συνέχεια το επόμενο token επιλέγεται τυχαία μόνο από αυτό το σύνολο, ενώ όλες οι υπόλοιπες επιλογές αποκλείονται.

Για παράδειγμα, αν το μοντέλο συνεχίζει την πρόταση «Σήμερα έξω έπεφτε δυνατή…», ανάμεσα στις πιο πιθανές επιλογές μπορεί να βρίσκονται: «βροχή» (0.45), «μπόρα» (0.25), «χιόνι» (0.15) και «αέρας» (0.10). Με κατώφλι $p=0.90$, ο αλγόριθμος αθροίζει τα token κατά φθίνουσα πιθανότητα: 0.45 + 0.25 = 0.70 (μικρότερο από 0.90), προσθέτει «χιόνι»: 0.70 + 0.15 = 0.85 (ακόμα μικρότερο από 0.90), προσθέτει «αέρας»: 0.85 + 0.10 = 0.95 (το κατώφλι ξεπεράστηκε). Ο πυρήνας σχηματίστηκε από τέσσερα token. Όλες οι πιο σπάνιες επιλογές απορρίπτονται και οι πιθανότητες των απομεινάντων κανονικοποιούνται: έτσι, η πιθανότητα του token «βροχή» μετά την επανακανονικοποίηση θα είναι $0.45/0.95\approx 47.4\mathrm{\%}$, και η γεννήτρια θα επιλέξει το επόμενο token ακριβώς από αυτή την ενημερωμένη κατανομή.

Η βασική διαφορά από το Top‑k είναι ότι το Top‑k πάντα παίρνει σταθερό αριθμό από τις καλύτερες λέξεις (π.χ. 50), ενώ το Top‑p δεν καθορίζει εκ των προτέρων τον αριθμό επιλογών: μερικές φορές αυτό μπορεί να είναι 3 λέξεις, μερικές φορές 20 — όλα εξαρτώνται από το πώς κατανεμήθηκαν οι πιθανότητες σε αυτό ακριβώς το βήμα. Χάρη σε αυτό, η μέθοδος προσαρμόζεται στο πλαίσιο και βοηθά να αποκόπτεται η «ουρά» των λιγότερο πιθανών token, κάνοντας το κείμενο πιο φυσικό.

Ένα ακόμη παράδειγμα. Για παράδειγμα, το μοντέλο συνεχίζει την πρόταση «Για πρωινό ήπιε ζεστό…». Ανάμεσα στις πιο πιθανές συνεχείες μπορεί να είναι: «τσάι» (0.50), «καφέ» (0.30), «σοκολάτα» (0.08), «ζωμό» (0.04), «κεφίρ» (0.03). Αν έχει οριστεί κατώφλι $p=0.80$, ο αλγόριθμος αρχίζει να αθροίζει πιθανότητες από πάνω προς τα κάτω: 0.50 για «τσάι», έπειτα 0.50 + 0.30 = 0.80. Το κατώφλι έχει ήδη επιτευχθεί, άρα ο πυρήνας αποτελείται μόνο από δύο token: «τσάι» και «καφέ». Όλες οι υπόλοιπες επιλογές απορρίπτονται. Μετά την επανακανονικοποίηση, η πιθανότητα του «τσάι» εντός του πυρήνα γίνεται $0.50/0.80=62.5\mathrm{\%}$, και η πιθανότητα του «καφέ» — $0.30/0.80=37.5\mathrm{\%}$. Το επόμενο token επιλέγεται μόνο μεταξύ αυτών των δύο επιλογών.

Με άλλα λόγια, το μοντέλο αρχικά αφαιρεί τις λιγότερο πιθανές και αδύναμες συνεχείες, και στη συνέχεια επιλέγει από τις απομείνασες. Αυτό το βοηθά να γράφει πιο κατανοητά, φυσικά και χωρίς περιττό «θόρυβο».

Έννοια

Η βασική ιδέα του Top‑p είναι να επιλέγει σε κάθε βήμα το ελάχιστο σύνολο των πιο πιθανών token, των οποίων η συνολική πιθανότητα δεν είναι μικρότερη από το καθορισμένο κατώφλι $p$ (πυρήνας, αγγλ. nucleus).

Τυπικά, έστω $x_{(1)},x_{(2)},\dots$ — τα token του λεξιλογίου $V$, ταξινομημένα κατά φθίνουσα δεσμευμένη πιθανότητα $P(x\mid x_{1:i-1})$. Τότε ο πυρήνας $V^{(p)}$ ορίζεται ως το συντομότερο πρόθεμα αυτής της διατεταγμένης ακολουθίας, του οποίου η αθροιστική μάζα φτάνει το κατώφλι:

$m=min\{n:\sum _{j=1}^{n}P(x_{(j)}\mid x_{1:i-1})\ge p\},V^{(p)}=\{x_{(1)},\dots ,x_{(m)}\}.$

Με άλλα λόγια, είναι το ελάχιστο κατά περίληψη σύνολο των πιο πιθανών token, των οποίων η συνολική πιθανότητα δεν είναι μικρότερη από $p$.

Μετά τον καθορισμό του πυρήνα, οι πιθανότητες των token εκτός του $V^{(p)}$ μηδενίζονται, ενώ εντός του πυρήνα — επανακανονικοποιούνται (διαιρούνται με την πραγματική αθροιστική μάζα $p^{\prime }=\sum _{x\in V^{(p)}}P(x\mid x_{1:i-1})$, έτσι ώστε το άθροισμα να γίνει ίσο με 1). Το επόμενο token δειγματολαμβάνεται από αυτή την κλαδευμένη και επανακανονικοποιημένη κατανομή.

Δυναμική προσαρμογή

• Με «οξεία» κατανομή (το μοντέλο είναι σίγουρο), ο πυρήνας είναι μικρός: λίγα token αρκούν ήδη για μάζα ≥ $p$, γεγονός που αυξάνει τη συνοχή. Στην ακραία περίπτωση, αν η πιθανότητα του πιο πιθανού token υπερβαίνει ήδη το $p$ (π.χ. $P(x_{(1)})=0.96$ με $p=0.95$), ο πυρήνας περιορίζεται σε ένα μόνο token και το Top‑p ουσιαστικά μετατρέπεται σε άπληστη αποκωδικοποίηση (greedy search).
• Με «επίπεδη» κατανομή (πολλές εύλογες συνεχείες), ο πυρήνας είναι μεγάλος: η επιλογή διευρύνεται, αυξάνεται η ποικιλομορφία.

Σύγκριση με άλλες μεθόδους αποκωδικοποίησης

Top‑p vs. Top‑k

• Top‑k επιλέγει πάντα από σταθερό αριθμό $k$ πιο πιθανών token. Σε «οξείες» κατανομές αυτό μπορεί να προσθέτει περιττές χαμηλής πιθανότητας επιλογές «για να συμπληρωθεί ο αριθμός», ενώ σε «επίπεδες» — αντίθετα, να αποκόπτει εύλογες συνεχείες που δεν εντάσσονται στο top‑$k$.
• Top‑p προσαρμόζει το μέγεθος του συνόλου υποψηφίων βάσει των δεδομένων του βήματος, γεγονός που καθιστά τη συμπεριφορά πιο ευέλικτη και σταθερή για διαφορετικούς τύπους κατανομών.
• Στην πράξη, τα Top‑k και Top‑p μπορούν να εφαρμοστούν ταυτόχρονα. Σε αυτή την περίπτωση, πρώτα επιλέγονται τα top‑$k$ token, και στη συνέχεια εντός αυτού του περιορισμένου συνόλου αναζητείται ο πυρήνας με κατώφλι $p$. Η ακριβής σειρά και η αιτιολόγηση εξαρτώνται από την υλοποίηση, αλλά ο συνδυασμός αυτός τεκμηριώνεται ως συνηθισμένη πρακτική.

Απλούστερα, το Top-k αποφασίζει εκ των προτέρων πόσες επιλογές να κρατήσει, ενώ το Top-p εξετάζει την κατάσταση και κρατά όσες χρειάζονται στο συγκεκριμένο πλαίσιο. Γι' αυτό το Top-p είναι συνήθως πιο ευέλικτο, ενώ το Top-k — πιο απλό και προβλέψιμο.

Top‑p vs. Θερμοκρασία

• Θερμοκρασία (temperature) αναδιαμορφώνει ολόκληρη τη μορφή της κατανομής (την κάνει πιο οξεία ή πιο ομαλή), αλλά δεν αποκόπτει token: ακόμα και λιγότερο πιθανές επιλογές διατηρούν μη μηδενική πιθανότητα.
• Top‑p εισάγει αυστηρή κλάδευση της ουράς της κατανομής — τα token χαμηλής πιθανότητας αποκλείονται εντελώς από τη δειγματοληψία, γεγονός που βοηθά στην αποφυγή προφανώς ανάρμοστων συνεχειών.
• Σειρά εφαρμογής. Σε τυπικά pipelines (π.χ. στο Hugging Face Transformers) πρώτα εφαρμόζεται η θερμοκρασία στα logits (αλλάζει η μορφή της κατανομής), στη συνέχεια μπορεί να εφαρμοστεί το Top‑k, και μόνο μετά το Top‑p (κλάδευση ουράς). Αυτό εξηγεί γιατί η «διπλή επίδραση» είναι δύσκολο να ελεγχθεί: η αλλαγή θερμοκρασίας αλλάζει την ίδια την αθροιστική μάζα, με την οποία στη συνέχεια εργάζεται το Top‑p.

Απλούστερα, η θερμοκρασία αλλάζει πόσο ελεύθερα επιλέγει λέξεις το μοντέλο, ενώ το Top-p αποφασίζει ποιες επιλογές μπορούν γενικά να επιλεγούν. Επομένως, η θερμοκρασία επηρεάζει τον βαθμό τυχαιότητας, ενώ το Top-p — πόσο μακριά μπορεί να φτάσει το μοντέλο σε λιγότερο πιθανές συνεχείες.

Σειρά λειτουργιών στην υλοποίηση Hugging Face Transformers

Η σειρά εφαρμογής των επεξεργαστών δειγματοληψίας εξαρτάται από τη συγκεκριμένη βιβλιοθήκη. Στο Hugging Face Transformers (από την έκδοση v4.x) για το εξεταζόμενο σύνολο τριών παραμέτρων, οι επεξεργαστές logit προστίθενται εξ ορισμού με την ακόλουθη σειρά:

1. Κλιμάκωση logit με θερμοκρασία. Το logit κάθε token διαιρείται με την τιμή θερμοκρασίας πριν από την εκθετικοποίηση της συνάρτησης Softmax. Η θερμοκρασία τροποποιεί τη μορφή της κατανομής, προετοιμάζοντάς την για την επακόλουθη φιλτράρισμα.
2. Φίλτρο Top‑k (αν έχει διαμορφωθεί): περικόπτει το λεξιλόγιο σε σταθερό αριθμό υποψηφίων.
3. Φίλτρο Top‑p: στο ήδη περιορισμένο σύνολο token εφαρμόζεται αθροιστική κλάδευση.
4. Επανακανονικοποίηση των απομεινάντων πιθανοτήτων και στοχαστική δειγματοληψία.

Στην πράξη, είναι συνηθισμένος ο συνδυασμός μέτριας θερμοκρασίας (0.7) με ευρύ πυρήνα Top‑p (0.95) και όριο Top‑k (50): η θερμοκρασία εξασφαλίζει βασική ποικιλομορφία, το Top‑k λειτουργεί ως χονδροειδής ασφάλεια, ενώ το Top‑p εκτελεί εξαρτώμενη από το πλαίσιο λεπτή ρύθμιση.

Απλούστερα, το μοντέλο κάνει πρώτα την επιλογή λιγότερο ή περισσότερο «ελεύθερη» με τη βοήθεια της θερμοκρασίας, στη συνέχεια εάν χρειάζεται περιορίζει τον αριθμό υποψηφίων μέσω του Top-k, και έπειτα αφαιρεί τις υπερβολικά αδύναμες επιλογές μέσω του Top-p. Αυτή η σειρά βοηθά να ρυθμιστεί πρώτα ο γενικός χαρακτήρας της επιλογής, και στη συνέχεια να αποκοπούν τα περιττά.

Σύσταση: ρύθμιση μιας παραμέτρου κάθε φορά

Οι πάροχοι μοντέλων συνιστούν κατά τη ρύθμιση του στιλ παραγωγής να αλλάζετε είτε temperature, είτε top_p, αλλά όχι και τα δύο ταυτόχρονα. Αυτή η σύσταση περιλαμβάνεται στην επίσημη τεκμηρίωση των OpenAI, Azure OpenAI και Anthropic.

Πρακτική αιτιολόγηση: και οι δύο παράμετροι επηρεάζουν τη μορφή της κατανομής πιθανότητας (η θερμοκρασία αλλάζει την κλίση της καμπύλης, ενώ το Top‑p ορίζει το σημείο αποκοπής), επομένως η ταυτόχρονη αλλαγή τους δυσκολεύει τη διάγνωση — είναι αδύνατο να προσδιοριστεί ποια παράμετρος οδήγησε σε βελτίωση ή επιδείνωση της εξόδου. Επιπλέον, με εξαιρετικά χαμηλές τιμές και των δύο παραμέτρων (π.χ. Temperature ≈ 0 και Top‑p ≈ 0.01), ο πυρήνας στην πράξη περιορίζεται σε ένα token, μετατρέποντας ουσιαστικά τη δειγματοληψία σε άπληστη αναζήτηση.

Αρκετά reasoning‑μοντέλα επιπλέον περιορίζουν τη ρύθμιση αυτών των παραμέτρων σε επίπεδο API, γεγονός που καθιστά το ζήτημα της ταυτόχρονης αλλαγής τους άνευ αντικειμένου για τέτοια μοντέλα (βλ. ενότητα «Συμβατότητα με βιβλιοθήκες και API»).

Διαδεδομένη μηχανική ευρετική: για εργασίες που απαιτούν υψηλή αναπαραγωγιμότητα — χρησιμοποιείται χαμηλή θερμοκρασία (μέχρι και μηδέν)· για δημιουργικές εργασίες — η θερμοκρασία αφήνεται στο βασικό επίπεδο (1.0) και η ποικιλομορφία ρυθμίζεται με την παράμετρο Top‑p, ή το Top‑p σταθεροποιείται στο 1.0 και μεταβάλλεται η θερμοκρασία. Οι συγκεκριμένες συστάσεις μπορεί να διαφέρουν ανά πάροχο.

Επίδραση στην αποτύπωση γεγονότων και στις ψευδαισθήσεις

Η επιλογή στρατηγικής αποκωδικοποίησης μπορεί να επηρεάσει όχι μόνο το ύφος του παραγόμενου κειμένου, αλλά και τη συχνότητα και τον τύπο πραγματολογικών σφαλμάτων. Το φαινόμενο των ψευδαισθήσεων — η με πεποίθηση παραγωγή ψευδών ή αντιφατικών προς το πλαίσιο πληροφοριών — αποτελεί ένα από τα κεντρικά προβλήματα της παραγωγικής τεχνητής νοημοσύνης. Εμπειρικές έρευνες δείχνουν ότι η επίδραση των στρατηγικών δειγματοληψίας στις ψευδαισθήσεις εξαρτάται από την εργασία, το μοντέλο και τη συγκεκριμένη ρύθμιση παραμέτρων.

Μηχανισμός εμφάνισης σφαλμάτων κατά τη στοχαστική δειγματοληψία

Με υψηλές τιμές Top‑p (π.χ. 0.95), το μοντέλο σχηματίζει πυρήνα που καλύπτει το 95% της πιθανοτικής μάζας. Σε καταστάσεις υψηλής εντροπίας (π.χ. κατά την προσπάθεια απάντησης σε έναν λιγότερο γνωστό παράγοντα) αυτός ο πυρήνας μπορεί να περιλαμβάνει εκατοντάδες token χαμηλής πιθανότητας. Η στοχαστική δειγματοληψία υπό τέτοιες συνθήκες μπορεί να εξαγάγει ένα token γραμματικά ορθό, αλλά σημασιολογικά άσχετο με την πραγματολογική αλήθεια. Μόλις εισαχθεί στο πλαίσιο, αυτό το token μπορεί να επηρεάσει τα επόμενα βήματα παραγωγής, καθώς το μοντέλο συνεχίζει τη γένεση λαμβάνοντας υπόψη όλα τα προηγούμενα token, συμπεριλαμβανομένων των εσφαλμένων.

Διχοτομία ανοιχτών και κλειστών εργασιών

Μεγάλης κλίμακας πειράματα αποκαλύπτουν εξάρτηση της ποιότητας παραγωγής από τον τύπο εργασίας. Σε εργασίες συγγραφής δοκιμίων ή διαλογικών συστημάτων, οι στοχαστικές μέθοδοι (Top‑p, Temperature) παραμένουν πρωτοπόρες, ενώ σε αυστηρά ντετερμινιστικά πεδία μπορεί να υστερούν σημαντικά έναντι των ντετερμινιστικών προσεγγίσεων.

Σε benchmarks σύνθεσης κώδικα (HumanEval, MBPP) και επίλυσης μαθηματικών προβλημάτων (GSM8K), οι ντετερμινιστικές μέθοδοι (Beam Search, Greedy Decoding) εμφανίζουν καλύτερα αποτελέσματα σε σύγκριση με τις προσεγγίσεις βασισμένες στο Top‑p. Το dataset GSM8K, που περιλαμβάνει 8,5 χιλιάδες μαθηματικές εργασίες που απαιτούν 2 έως 8 βήματα υπολογισμών, απεικονίζει την ευπάθεια της στοχαστικής επιλογής σε τέτοιες εργασίες: η εισαγωγή τυχαιότητας μέσω της κλαδευμένης κατανομής Top‑p μπορεί να διαταράξει την αλυσίδα συλλογισμού του μοντέλου (Chain‑of‑Thought) σε οποιοδήποτε από τα ενδιάμεσα βήματα. Οι Tan και συνεργάτες τονίζουν ότι η αποτελεσματικότητα της μεθόδου αποκωδικοποίησης εξαρτάται σε μεγάλο βαθμό από τη συγκεκριμένη εργασία (task‑dependent).

Μέθοδοι αντιμετώπισης ψευδαισθήσεων σε επίπεδο αποκωδικοποίησης

Για την αντιμετώπιση των ψευδαισθητικών εφέ που προκαλούνται από στοχαστική δειγματοληψία, έχουν αναπτυχθεί μέθοδοι προηγμένης ενίσχυσης αποκωδικοποίησης:

• Αντιθετική αποκωδικοποίηση (Contrastive Decoding, DoLa) — βελτιστοποιεί τη διαφορά στη λογαριθμική πιθανοφάνεια μεταξύ του κύριου μοντέλου και ενός μικρότερου βοηθητικού μοντέλου, λειτουργώντας ως φίλτρο αξιοπιστίας.
• SH2 (Self‑Highlighted Hesitation) — εσκεμμένα αναγκάζει τον αποκωδικοποιητή να «διστάζει» κατά την εργασία με token χαμηλής εμπιστοσύνης.
• Κατευθυνόμενη προβολή ενεργοποιήσεων (SEA) — καταστέλλει τα ψευδαισθητικά σήματα σε επίπεδο διανυσματικών αναπαραστάσεων.

Ταυτόχρονα, τα σύγχρονα μοντέλα με ποιοτική ευθυγράμμιση (alignment) διαθέτουν βαθύτερη κατανόηση της πραγματολογίας, γεγονός που μειώνει την εντροπία των εσωτερικών τους κατανομών και τα καθιστά λιγότερο ευάλωτα στην υποβάθμιση γεγονότων ακόμη και με υψηλές τιμές Top‑p.

Πρακτική εφαρμογή και συστάσεις

Το Top‑p χρησιμοποιείται ευρέως σε σύγχρονα LLM χάρη στο συνδυασμό ευελιξίας και ελεγξιμότητας.

• Τυπικό εύρος τιμών. Στην πράξη χρησιμοποιείται συχνά $p\approx 0.90\text{–}0.95$. Η προεπιλεγμένη τιμή διαφέρει ανά πάροχο: στο OpenAI `top_p` = 1.0 (η κλάδευση είναι ουσιαστικά απενεργοποιημένη), στο Anthropic — 0.99, σε πολλά μοντέλα Google Gemini — 0.95. Στη βιβλιοθήκη Hugging Face Transformers η προεπιλογή του framework είναι επίσης 1.0, αν και μεμονωμένα μοντέλα μπορούν να την παρακάμψουν στο `generation_config.json`. Έτσι, το 0.9–0.95 είναι ένα διαδεδομένο συνιστώμενο πρακτικό εύρος, αλλά όχι καθολική προεπιλεγμένη τυπική τιμή.
  • Τιμές κοντά στο 1.0 (π.χ. 0.98–0.99) αυξάνουν την ποικιλομορφία: στον πυρήνα εντάσσονται περισσότερα token.
  • Μικρές τιμές (π.χ. 0.80–0.90) αυξάνουν τον ντετερμινισμό και την «συγκράτηση» της εξόδου.
  • Με $p=1$ η κλάδευση κατά Top‑p εξαφανίζεται: η επιλογή γίνεται από ολόκληρο το λεξιλόγιο (λαμβάνοντας υπόψη τη θερμοκρασία και άλλα φίλτρα αποκωδικοποίησης, εάν είναι ενεργοποιημένα).

• Συμβατότητα με βιβλιοθήκες και API.
  • Στο Hugging Face Transformers υλοποιείται ο TopPLogitsWarper, όπου επιπλέον χρησιμοποιείται το κατώφλι `min_tokens_to_keep` (εξ ορισμού 1). Αυτή είναι μια προστατευτική λεπτομέρεια υλοποίησης: με τυπικές τιμές $p\in (0,1]$ ο κενός πυρήνας δεν προκύπτει ούτε ως εκ του ορισμού, αλλά η παράμετρος εγγυάται ορθή λειτουργία σε οριακές περιπτώσεις.
  • Σε ορισμένα API η παράμετρος `top_p` είναι διαθέσιμη, ενώ το `top_k` μπορεί να απουσιάζει· η υποστήριξη παραμέτρων και η σημασιολογία τους εξαρτώνται από το συγκεκριμένο μοντέλο και τον τρόπο λειτουργίας. Τα reasoning‑μοντέλα συνήθως περιορίζουν τη ρύθμιση στοχαστικής σε επίπεδο API. Για παράδειγμα, στην τρέχουσα τεκμηρίωση του OpenAI, οι παράμετροι `temperature` και `top_p` υποστηρίζονται ρητά μόνο για το GPT‑5.2 με `reasoning.effort = none`· αιτήματα προς GPT‑5.2 ή GPT‑5.1 με άλλες τιμές `reasoning`, καθώς και σε παλαιότερα μοντέλα GPT‑5 (`gpt‑5`, `gpt‑5‑mini`, `gpt‑5‑nano`) κατά τη διαβίβαση αυτών των πεδίων προκαλούν σφάλμα. Τα reasoning‑μοντέλα προηγούμενων γενεών (o1, o3) επίσης περιορίζουν ή σταθεροποιούν αυτά. Στο Anthropic στο Claude API με ενεργοποιημένη εκτεταμένη σκέψη (extended thinking), η αλλαγή `temperature` και `top_k` απαγορεύεται, ωστόσο το `top_p` επιτρέπεται στο εύρος 0.95–1.0· σε πλατφόρμες τρίτων (π.χ. Amazon Bedrock) οι περιορισμοί μπορεί να διαφέρουν. Οι περιορισμοί παρόχων αλλάζουν συχνά από έκδοση σε έκδοση· συνιστάται να ελέγχετε την τρέχουσα τεκμηρίωση.

• Μακρά κείμενα και επαναληψιμότητα. Σε μια σειρά πειραμάτων αποδείχθηκε ότι το nucleus sampling μειώνει την τάση για εκφυλισμό (επαναλήψεις, τυποποιημένες φράσεις) σε σύγκριση με το greedy/beam και το σταθερό Top‑k, ιδιαίτερα σε μακρές ακολουθίες.

Σύγχρονες εναλλακτικές

Μετά τη δημοσίευση του nucleus sampling το 2019, προτάθηκαν αρκετές εναλλακτικές μέθοδοι στοχαστικής αποκωδικοποίησης που αναπτύσσουν ή συμπληρώνουν την ιδέα του Top‑p:

Min‑p δειγματοληψία

Min‑p δειγματοληψία (Nguyen et al., 2024) διατηρεί token των οποίων η πιθανότητα δεν είναι μικρότερη από $p_{min}\times P(x_{(1)})$, δηλαδή ορίζει κατώφλι σχετικό με το πιο πιθανό token. Έγινε δεκτή για προφορική παρουσίαση στο ICLR 2025· υλοποιήθηκε σε αρκετά δημοφιλή frameworks, συμπεριλαμβανομένων των Hugging Face Transformers και vLLM.

Η βασική διαφορά από το Top‑p έγκειται στον τύπο κατωφλίου: το Top‑p χρησιμοποιεί απόλυτο κατώφλι βάσει αθροιστικού αθροίσματος πιθανοτήτων, ενώ το Min‑p ορίζει σχετικό κατώφλι, κλιμακωμένο από την πιθανότητα του πιο πιθανού token.

Μαθηματικά ο αλγόριθμος λειτουργεί ως εξής: σε κάθε βήμα καθορίζεται η μέγιστη πιθανότητα $P_{max}=P(x_{(1)}\mid x_{1:i-1})$, στη συνέχεια υπολογίζεται το κλιμακωμένο κατώφλι $P_{\text{threshold}}=p_{min}\times P_{max}$. Στο τελικό σύνολο εισέρχονται μόνο τα token των οποίων η ατομική πιθανότητα υπερβαίνει αυτό το κατώφλι.

Αυτό εξασφαλίζει προσαρμοστικότητα: αν το μοντέλο είναι σίγουρο για την επόμενη λέξη ($P_{max}=0.9$), με βασικό $p_{min}=0.1$ το κατώφλι θα είναι 0.09, αποκόπτοντας αυστηρά τα θορυβώδη token. Εάν όμως το μοντέλο είναι αβέβαιο ($P_{max}=0.1$), το κατώφλι μειώνεται σε 0.01, αφήνοντας να εισέλθει στον πυρήνα ένα ευρύ φάσμα υποψηφίων.

Γνωστή αδυναμία του Top‑p εκδηλώνεται κατά τη δειγματοληψία υψηλής θερμοκρασίας ($T>1.0$): όταν η κατανομή ισοπεδώνεται τεχνητά, το Top‑p αναγκάζεται να συμπεριλάβει στον πυρήνα μεγάλο αριθμό token χαμηλής πιθανότητας για να επιτύχει το δεδομένο αθροιστικό άθροισμα, γεγονός που μπορεί να οδηγήσει σε υποβάθμιση της συνοχής. Το Min‑p αντεπεξέρχεται καλύτερα σε τέτοιες συνθήκες. Στα πειράματα των συγγραφέων σε benchmarks επιστημονικών και λογικών γνώσεων (GPQA) με χρήση του μοντέλου Mistral Large σε ακραία θερμοκρασία $T=3.0$, ο αλγόριθμος Min‑p έδειξε ακρίβεια 13.84%, ενώ το τυπικό Top‑p 0.9 έδωσε αποτέλεσμα 0.89% — στο επίπεδο τυχαίου θορύβου.

Ταυτόχρονα, στον ακαδημαϊκό χώρο διεξάγεται συζήτηση: ορισμένες κριτικές εργασίες (π.χ. arXiv:2506.13681) αμφισβητούν την καθολικότητα των πλεονεκτημάτων του Min‑p σε όλες τις NLP‑μετρικές, επισημαίνοντας την ανάγκη περαιτέρω μελέτης.

Απλούστερα, το Min-p συγκρίνει όλες τις επιλογές όχι με το συνολικό άθροισμα πιθανοτήτων, αλλά με την ισχυρότερη επιλογή στο τρέχον βήμα. Επομένως, αν το μοντέλο είναι σίγουρο, αφαιρεί αυστηρότερα τις αδύναμες συνεχείες, ενώ αν δεν είναι σίγουρο — αφήνει περισσότερες αποδεκτές επιλογές. Χάρη σε αυτό, το Min-p μπορεί να διατηρεί καλύτερα την ισορροπία μεταξύ συνοχής και ποικιλομορφίας, ιδίως εκεί που το Top-p αρχίζει να αφήνει να περάσουν υπερβολικά πολλές αδύναμες λέξεις.

Locally typical sampling

Locally typical sampling (Meister και συνεργ., 2023) επιλέγει token των οποίων το πληροφοριακό φορτίο ($-\log P$) είναι κοντά στη δεσμευμένη εντροπία, βασιζόμενο στη θεωρητικο-πληροφοριακή έννοια της τυπικότητας.

Σε αντίθεση με το Top‑p, που επιδιώκει να ελαχιστοποιήσει το μέγεθος του πυρήνα επιλέγοντας token με τη μέγιστη πιθανότητα, το Locally Typical Sampling επιλύει πρόβλημα βελτιστοποίησης βάσει μετρικής πληροφοριακής απόστασης. Ο αλγόριθμος υπολογίζει το πληροφοριακό περιεχόμενο κάθε token ($-\log P(x)$) και μετρά την απόλυτη απόστασή του από τη δεσμευμένη εντροπία $H$ του μοντέλου. Τα token κατατάσσονται όχι κατά ακατέργαστη πιθανότητα, αλλά κατά τον βαθμό «πληροφοριακής τυπικότητάς» τους — εγγύτητα στο αναμενόμενο πληροφοριακό περιεχόμενο του πλαισίου. Τα token προστίθενται στον πυρήνα (κατά αύξουσα απόσταση από την εντροπία) μέχρι να επιτευχθεί το κατώφλι αθροιστικής πιθανότητας.

Αποτέλεσμα αυτής της προσέγγισης: σε καταστάσεις υψηλής εντροπίας ο αλγόριθμος σκόπιμα αποκλείει όχι μόνο την θορυβώδη χαμηλής πιθανότητας ουρά, αλλά και υπερβολικά υψηλής πιθανότητας λέξεις που φέρουν πολύ λίγη πληροφορία και καθιστούν το κείμενο τετριμμένο. Αυτό μειώνει τον κίνδυνο εκφυλιστικών βρόχων και φέρνει τις μετρικές επαναληψιμότητας κειμένου κοντά στα χαρακτηριστικά που είναι τυπικά για κείμενα γραμμένα από ανθρώπους.

Tail Free Sampling (TFS)

Tail Free Sampling (TFS) — λιγότερο τυπικά επαρτιωμένη, αλλά πρακτικά ενδιαφέρουσα προσέγγιση εντοπισμού της θορυβώδους ουράς, βασισμένη στη διαφορική ανάλυση του πιθανοτικού χώρου. Αν το Top‑p και το Min‑p λειτουργούν με πιθανότητες πρώτης τάξης (αθροιστικό άθροισμα και βασικά κλάσματα), το TFS αναλύει την πρώτη και δεύτερη παράγωγο της ταξινομημένης καμπύλης πιθανοτήτων. Η μέθοδος περιγράφεται στο ιστολόγιο του Trenton Bricken και έχει υλοποιηθεί σε ορισμένες μηχανές inference, αν και δεν δημοσιεύθηκε ως αξιολογημένο από συναδέλφους άρθρο.

Βασικό αξίωμα του TFS: η συμπερίληψη έστω και ενός θορυβώδους token στη δειγματοληψία αποτελεί εκθετική απειλή για ολόκληρη την αυτοπαλίνδρομη παραγωγή. Υπολογίζοντας τη δεύτερη παράγωγο των τιμών πιθανότητας, ο αλγόριθμος εντοπίζει «πλατώ» — τμήματα της καμπύλης όπου η πτώση πιθανοτήτων επιβραδύνεται και μεταβαίνει σε μια μακρά ήπια ουρά. Το σημείο αυτής της μεταβολής γίνεται το δυναμικό όριο κλάδευσης: τα token πριν από αυτό θεωρούνται σημασιολογικά ασφαλή, ενώ ολόκληρη η ουρά αφαιρείται.

Παρά τη μαθηματική κομψότητα, το TFS απαιτεί εντατικότερο υπολογιστικό κόστος για τον υπολογισμό παραγώγων σε πραγματικό χρόνο, γι' αυτό σε μαζικά εμπορικά προϊόντα υπολείπεται από ελαφρύτερους αλγόριθμους.

p‑less sampling

$p$‑less sampling — μέθοδος που απαλλάσσει πλήρως τον μηχανικό από την ανάγκη ρύθμισης υπερπαραμέτρων κλάδευσης. Το θεμελιώδες πρόβλημα όλων των προηγούμενων μεθόδων — από το Top‑k και το Top‑p μέχρι το Min‑p — έγκειται στην εξάρτηση από στατικές υπερπαραμέτρους, των οποίων οι τιμές απαιτούν εξειδικευμένη ρύθμιση και μπορεί να είναι βέλτιστες για μια εργασία (δημιουργική γραφή), αλλά ανεπιτυχείς για άλλη (προγραμματισμός).

Ο αλγόριθμος $p$‑less, ριζωμένος στη θεωρία πληροφορίας, παράγει δυναμικά ένα μοναδικό κατώφλι κλάδευσης σε κάθε βήμα αποκωδικοποίησης, αναλύοντας την εσωτερική τοπολογία ολόκληρης της κατανομής πιθανοτήτων σε πραγματικό χρόνο. Οι συγγραφείς αναφέρουν σταθερότητα της μεθόδου σε θερμοκρασιακές διακυμάνσεις (temperature robustness): με αύξηση θερμοκρασίας, οι παραδοσιακές μέθοδοι μπορεί να υποβαθμίζονται σημαντικά, ενώ το $p$‑less διατηρεί σταθερή ποιότητα. Επιπλέον, χάρη στην εγκατάλειψη της λογικής αθροιστικής σάρωσης και επανακανονικοποίησης μεγάλων πυρήνων, η μέθοδος, σύμφωνα με τα στοιχεία των συγγραφέων, προσφέρει υψηλότερη υπολογιστική αποδοτικότητα στο στάδιο inference και παράγει πιο συμπαγείς απαντήσεις χωρίς απώλεια ακρίβειας σε datasets για μαθηματικά, λογική και δημιουργική γραφή.

η‑δειγματοληψία

η‑δειγματοληψία (Hewitt et al., 2022) χρησιμοποιεί εντροπία-εξαρτώμενο κατώφλι πιθανότητας, προσαρμοζόμενο σε πλαίσια χαμηλής εντροπίας, όπου το Top‑p μπορεί να κλαδεύει υπερβολικά.

Βιβλιογραφία

• Holtzman, A., Buys, J., Du, L., Forbes, M., & Choi, Y. (2019· δημοσιεύθηκε στο ICLR 2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Fan, A., Lewis, M., & Dauphin, Y. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
• Meister, C., Pimentel, T., Wiher, G., & Cotterell, R. (2023). Locally Typical Sampling. arXiv:2202.00666.
• Ravfogel, S., Goldberg, Y., & Goldberger, J. (2023). Conformal Nucleus Sampling. ACL Findings 2023.
• Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of LLMs. arXiv:2402.06925.
• Finlayson, M. et al. (2024). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Chen, S. J. et al. (2025). Decoding Game: On Minimax Optimality of Heuristic Text Generation Strategies. arXiv:2410.03968.
• Nguyen, M. et al. (2024). Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs. arXiv:2407.01082.
• Sen, J. et al. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.
• Bricken, T. Tail Free Sampling. [32].
• p‑less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding. arXiv:2509.23234.

Δείτε επίσης

• Θερμοκρασία
• Μεγάλα γλωσσικά μοντέλα