Temperature (LLM) (EL)

Θερμοκρασία (αγγλ. Temperature) στο πλαίσιο των μεγάλων γλωσσικών μοντέλων (LLM) — είναι ένας υπερπαράμετρος που ελέγχει το επίπεδο τυχαιότητας και «δημιουργικότητας» κατά τη δημιουργία κειμένου. Ρυθμίζει την «οξύτητα» ή, αντίστροφα, την «ομαλότητα» της πιθανοτικής κατανομής του επόμενου token σε κάθε βήμα αποκωδικοποίησης. Χειριζόμενοι τη θερμοκρασία, μπορεί κανείς να ελέγχει την ισορροπία μεταξύ προβλεψιμότητας (συνοχής) και ποικιλίας (δημιουργικότητας) του παραγόμενου κειμένου.

Απλή εξήγηση

Θερμοκρασία — είναι μια παράμετρος που καθορίζει, πόσο συντηρητικά ή, αντίθετα, ελεύθερα επιλέγει το μοντέλο την επόμενη λέξη. Ένα μεγάλο γλωσσικό μοντέλο σχεδόν ποτέ δεν έχει μόνο μία δυνατή συνέχεια: συνήθως σε κάθε βήμα υπάρχουν αρκετές κατάλληλες επιλογές, και η καθεμία έχει τη δική της πιθανότητα. Η θερμοκρασία δεν επηρεάζει τις ίδιες τις γνώσεις του μοντέλου ούτε το «τι γνωρίζει», αλλά το πώς ακριβώς επιλέγει ανάμεσα σε αυτές τις επιλογές κατά τη δημιουργία.

Με χαμηλή θερμοκρασία το μοντέλο συμπεριφέρεται πιο συντηρητικά. Εμπιστεύεται περισσότερο τις πιο πιθανές λέξεις και σπανιότερα αποκλίνει από την πιο αναμενόμενη συνέχεια. Ως αποτέλεσμα, το κείμενο συνήθως γίνεται πιο ομαλό, προβλέψιμο, επίσημα ορθό και συνεκτικό. Αυτός ο τρόπος λειτουργίας είναι χρήσιμος εκεί όπου σημασία έχουν η ακρίβεια των διατυπώσεων, η σταθερότητα της απάντησης, η επαναληψιμότητα του αποτελέσματος και η ελαχιστοποίηση της περιττής μεταβλητότητας. Ωστόσο, αυτή η προσέγγιση έχει και μια αντίστροφη πλευρά: το κείμενο μπορεί να γίνει υπερβολικά τυποποιημένο, ξηρό, μονότονο και μερικές φορές υπερβολικά «συντηρητικό». Με εξαιρετικά χαμηλή θερμοκρασία το μοντέλο μπορεί ακόμη και να αρχίσει να επαναλαμβάνει επ' αόριστον τις ίδιες κατασκευές (να «κολλάει» σε κύκλο), «παγώνοντας» στις πιο πιθανές, αλλά όχι πάντα κατάλληλες συνέχειες.

Με υψηλή θερμοκρασία το μοντέλο συμπεριφέρεται πιο τολμηρά. Επιτρέπει συχνότερα την επιλογή όχι μόνο των πιο πιθανών, αλλά και λιγότερο προφανών λέξεων. Χάρη σε αυτό, οι απαντήσεις γίνονται πιο ποικίλες, ζωντανές, πρωτότυπες και μερικές φορές πιο πρωτοτυπες. Αυτό μπορεί να είναι χρήσιμο σε δημιουργικές εργασίες, κατά τη διάρκεια καταιγισμού ιδεών, δημιουργίας ιδεών, λογοτεχνικών κειμένων ή αναζήτησης διαφόρων διατυπώσεων. Αλλά μαζί με την αύξηση της ποικιλίας αυξάνεται και ο κίνδυνος: το κείμενο μπορεί να γίνει λιγότερο συνεκτικό, λιγότερο ακριβές, και σε ακραίες περιπτώσεις — περίεργο, παράλογο ή τυχαίο.

Ένα βολικό εποπτικό μέσο είναι ότι η θερμοκρασία — είναι όχι ρυθμιστής γνώσεων, αλλά ρυθμιστής ρίσκου κατά την επιλογή λέξεων. Η χαμηλή θερμοκρασία αναγκάζει το μοντέλο να επιλέγει σχεδόν πάντα την «ασφαλέστερη» επιλογή. Η υψηλή — του επιτρέπει να «ρισκάρει» συχνότερα και να δοκιμάζει λιγότερο προφανείς συνέχειες.

Ένα ακόμα χρήσιμο παράδειγμα: η θερμοκρασία μπορεί να συγκριθεί με τον τρόπο που ένας άνθρωπος απαντά σε μια ερώτηση. Αν απαιτείται επίσημη, ακριβής και προσεκτική απάντηση, ο άνθρωπος, κατά κανόνα, επιλέγει τις πιο ουδέτερες και αναμενόμενες διατυπώσεις — αυτό μοιάζει με χαμηλή θερμοκρασία. Αν όμως το ζητούμενο είναι να επινοηθεί μια ασυνήθιστη ιδέα, μεταφορά, αφηγηματική στροφή ή μερικές μη συμβατικές επιλογές, οι διατυπώσεις γίνονται πιο ελεύθερες και τολμηρές — αυτό μοιάζει με υψηλή θερμοκρασία.

Έτσι, η θερμοκρασία είναι υπεύθυνη για την ισορροπία μεταξύ δύο ιδιοτήτων της δημιουργίας:

προβλεψιμότητας και σταθερότητας της απάντησης·
ποικιλίας και απροσδοκησίας των διατυπώσεων.

Όσο χαμηλότερη η θερμοκρασία, τόσο πιο κοντά βρίσκεται το μοντέλο στην πιο πιθανή και τυπική συνέχεια. Όσο υψηλότερη η θερμοκρασία, τόσο μεγαλύτερος ο χώρος για μεταβλητότητα, αλλά τόσο ασθενέστερος ο έλεγχος επί της αυστηρότητας και της συνοχής του αποτελέσματος.

Θεωρητικός ορισμός

Μαθηματικά, η θερμοκρασία ( $T$ ) εισάγεται ως διαιρέτης στη συνάρτηση softmax, η οποία μετατρέπει τα λογιτ εξόδου του μοντέλου ( $u_{i}$ ) σε κατανομή πιθανοτήτων ( $P_{i}$ ). Ο τύπος είναι ο εξής:

P_{i}^{(T)} = \frac{e^{u_{i} / T}}{\sum_{j} e^{u_{j} / T}}

Όπου:

$P_{i}^{(T)}$ — η τελική πιθανότητα του $i$ -ού token για θερμοκρασία $T$ .
$u_{i}$ — το λογιτ (μη κανονικοποιημένη εκτίμηση) για το $i$ -ό token, που εκδίδεται από το μοντέλο.
$T$ — η παράμετρος θερμοκρασίας (αυστηρά θετικός αριθμός). Για παράδειγμα, στο API της OpenAI για τα περισσότερα μοντέλα το επιτρεπτό εύρος είναι από 0 έως 2.0, όπου το 0 είναι ειδική περίπτωση greedy decoding (βλ. παρακάτω). Σε άλλες βιβλιοθήκες (Hugging Face Transformers, llama.cpp) η θερμοκρασία μπορεί να λαμβάνει οποιαδήποτε θετική τιμή.

Σημαντικό: η θερμοκρασία επηρεάζει την έξοδο μόνο σε λειτουργίες με sampling. Σε λειτουργίες χωρίς sampling (greedy decoding, κλασικό beam search) η παράμετρος θερμοκρασίας δεν έχει αποτέλεσμα. Για παράδειγμα, στο Hugging Face Transformers για να λειτουργεί η θερμοκρασία είναι απαραίτητο να ενεργοποιηθεί το do_sample=True.

Επίδραση της τιμής θερμοκρασίας

$T = 1$ (τυπική τιμή): Η κατανομή πιθανοτήτων παραμένει αμετάβλητη. Αυτό είναι το τυπικό softmax, που αντανακλά τις αρχικές προβλέψεις του μοντέλου.
$T < 1$ (χαμηλή θερμοκρασία, π.χ. $0.2$ – $0.7$ ): Η κατανομή γίνεται πιο οξεία ή κορυφαία. Οι πιθανότητες των πιο πιθανών token αυξάνονται, ενώ των λιγότερο πιθανών μειώνονται. Αυτό κάνει τη δημιουργία πιο ντετερμινιστική και προβλέψιμη. Το μοντέλο επιλέγει συχνότερα προφανείς, υψίσυχνες λέξεις, γεγονός που αυξάνει τη συνοχή και τη γραμματική ορθότητα του κειμένου, αλλά μειώνει την ποικιλία του.
$T > 1$ (υψηλή θερμοκρασία, π.χ. $1.1$ – $1.5$ ): Η κατανομή γίνεται πιο ομαλή ή ομοιόμορφη. Η διαφορά μεταξύ των πιθανοτήτων των token εξομαλύνεται, γεγονός που αυξάνει την πιθανότητα επιλογής λιγότερο πιθανών (και πιο «απροσδόκητων») token. Αυτό κάνει το κείμενο πιο δημιουργικό, ποικίλο και απρόβλεπτο, αλλά αυξάνει τον κίνδυνο δημιουργίας ασύνδετων ή γραμματικά λανθασμένων φράσεων.

Οριακές περιπτώσεις

$T \to 0$ : Στο όριο, όταν η θερμοκρασία τείνει στο μηδέν, η συνάρτηση softmax μετατρέπεται σε argmax. Το μοντέλο θα επιλέγει πάντα το token με το υψηλότερο λογιτ. Αυτή η λειτουργία είναι ισοδύναμη με απλοϊκή αποκωδικοποίηση (greedy decoding) και είναι πλήρως ντετερμινιστική. Συχνά οδηγεί σε επαναλαμβανόμενο και τυποποιημένο κείμενο. Σημείωση: η τιμή $T = 0$ δεν μπορεί να εισαχθεί απευθείας στον τύπο (διαίρεση με το μηδέν)· σε πολλές υλοποιήσεις αντιμετωπίζεται ως ειδική λειτουργία μέγιστης συντηρητικής επιλογής, κοντά στο greedy decoding. Ωστόσο, δεν εγγυώνται όλα τα hosted API πλήρη ντετερμινισμό για $T = 0$ — για παράδειγμα, στο Anthropic API ακόμα και με μηδενική θερμοκρασία τα αποτελέσματα μπορεί να διαφέρουν ελαφρώς.
$T \to \infty$ : Όταν η θερμοκρασία τείνει στο άπειρο, η κατανομή πιθανοτήτων γίνεται ομοιόμορφη. Όλα τα token στο λεξιλόγιο γίνονται ισοπίθανα, και το μοντέλο παράγει τυχαία «ροή συνείδησης», χάνοντας πλήρως τη συνοχή. Στην πράξη δεν χρειάζεται το άπειρο: ήδη για $T > 2.0$ η κατανομή γίνεται σχεδόν ομοιόμορφη και το κείμενο μετατρέπεται σε ασύνδετη συλλογή token.

Πρακτική εφαρμογή και συστάσεις

Η σωστή επιλογή θερμοκρασίας είναι κρίσιμης σημασίας και εξαρτάται από τη συγκεκριμένη εργασία. Τα παρακάτω εύρη αποτελούν χονδρικές ευρετικές — οι βέλτιστες τιμές μπορεί να διαφέρουν σημαντικά ανάλογα με το συγκεκριμένο μοντέλο, τον τομέα και την εργασία.

Για δημιουργικές εργασίες (συγγραφή ιστοριών, ποίησης, διαφημιστικών συνθημάτων):
- Συνιστάται υψηλότερη θερμοκρασία ( $T \approx 0.7 - 1.2$ ).
- Αυτό ωθεί το μοντέλο να παράγει πιο απροσδόκητες και δημιουργικές ιδέες, να χρησιμοποιεί ποικίλο λεξιλόγιο και να αποφεύγει τυποποιημένες φράσεις.

Για εργασίες που απαιτούν ακρίβεια και πραγματικότητα (απαντήσεις σε ερωτήσεις, περίληψη, δημιουργία κώδικα):
- Συνιστάται χαμηλή θερμοκρασία ( $T \approx 0.0 - 0.4$ ).
- Αυτό μειώνει τη μεταβλητότητα και αυξάνει την αναπαραγωγιμότητα του αποτελέσματος, αναγκάζοντας το μοντέλο να ακολουθεί τις πιο πιθανές συνέχειες κειμένου. Για $T = 0$ η δημιουργία γίνεται ντετερμινιστική (με σταθερό seed και απουσία άλλων πηγών τυχαιότητας), κάτι που είναι χρήσιμο για δοκιμές και αποσφαλμάτωση, αλλά μπορεί να αποκρύπτει προβλήματα που εμφανίζονται μόνο κατά το sampling. Ωστόσο, η χαμηλή θερμοκρασία από μόνη της δεν εγγυάται πραγματική ακρίβεια — αν το μοντέλο δεν διαθέτει την απαιτούμενη γνώση, μπορεί να παράγει με αυτοπεποίθηση λανθασμένη απάντηση. Για μέγιστη πραγματικότητα συνιστάται ο συνδυασμός χαμηλής θερμοκρασίας με μεθόδους αναζήτησης σε βάση γνώσεων (RAG) και βελτιωμένο prompting. Στην τεκμηρίωση της OpenAI για εργασίες εξαγωγής δεδομένων και πραγματικές απαντήσεις συνιστάται $T = 0$ .

Για εργασίες reasoning, μαθηματικών και δημιουργίας κώδικα:
- Κατά κανόνα χρησιμοποιούνται χαμηλότερες θερμοκρασίες, ωστόσο η βέλτιστη τιμή εξαρτάται αισθητά από το συγκεκριμένο μοντέλο και την εργασία.
- Σημείωση: σε ορισμένα μοντέλα reasoning (π.χ. η οικογένεια OpenAI o1/o3) οι παράμετροι sampling μπορεί να είναι περιορισμένες ή σταθερές από την πλευρά του παρόχου. Το εσωτερικό chain-of-thought απαιτεί σταθερή κατανομή, γι' αυτό οι πάροχοι μπορεί να αποκλείουν πλήρως την αλλαγή θερμοκρασίας ή να δέχονται τιμές χρηστών μόνο σε στενό εύρος.

Για διαλογικά συστήματα και chatbots:
- Συνιστάται μέτρια θερμοκρασία ( $T \approx 0.5 - 0.8$ ).
- Αυτό επιτρέπει την εξεύρεση ισορροπίας: οι απαντήσεις παραμένουν συνεκτικές και στο θέμα, χωρίς ωστόσο να γίνονται υπερβολικά ξηρές και μονότονες.

Σημείωση: στην τεκμηρίωση του OpenAI API συνιστάται να αλλάζετε είτε το temperature, είτε το top_p, αλλά όχι και τα δύο ταυτόχρονα — αλλιώς η συμπεριφορά γίνεται δύσκολο να προβλεφθεί. Στα παραδείγματα αναφοράς του OpenAI API ως προεπιλεγμένη τιμή εμφανίζεται συνήθως το $T = 1.0$ .

Σύγκριση με Top-k και Top-p

Η θερμοκρασία, σε αντίθεση με τις μεθόδους αποκοπής όπως Top-k και Top-p (nucleus sampling), λειτουργεί διαφορετικά:

Η θερμοκρασία αναδιανέμει τις πιθανότητες μεταξύ όλων των token στο λεξιλόγιο, αλλά δεν αποκόπτει κανένα από αυτά. Ακόμα και με πολύ χαμηλή θερμοκρασία, τα λιγότερο πιθανά token διατηρούν μια ελάχιστη, αλλά μη μηδενική πιθανότητα επιλογής.
Το Top-k και το Top-p εισάγουν σκληρή αποκοπή, αποκλείοντας πλήρως τα token που δεν περιλαμβάνονται στον πυρήνα δειγματοληψίας. Αυτή η αποκοπή μειώνει τον κίνδυνο επιλογής ουραίων token, αλλά από μόνη της είναι μια χονδρική ευρετική και μπορεί να απορρίψει αληθοφανείς συνέχειες με μη μηδενική «πραγματική» πιθανότητα.

Στην πράξη αυτές οι παράμετροι χρησιμοποιούνται συχνά σε συνδυασμό. Για παράδειγμα, μπορεί κανείς να ορίσει μέτρια θερμοκρασία (π.χ. $T = 0.8$ ) για τη γενική στιλιστική και να προσθέσει Top-p (π.χ. $p = 0.9$ ), ώστε να αποκοπεί η «ουρά» της κατανομής και να μειωθεί ο κίνδυνος χονδροειδών σφαλμάτων. Με πολύ χαμηλή θερμοκρασία ( $T \to 0$ ) το Top-p ουσιαστικά χάνει τη σημασία του, καθώς η κατανομή έτσι κι αλλιώς έχει μόνο μία σημαντική κορυφή.

Αλληλεπίδραση θερμοκρασίας με άλλες παραμέτρους αποκωδικοποίησης

Η θερμοκρασία σχεδόν ποτέ δεν χρησιμοποιείται μεμονωμένα. Στην πράξη συνδυάζεται με άλλους υπερπαραμέτρους για τη λεπτή ρύθμιση της ισορροπίας «δημιουργικότητα ↔ αξιοπιστία».

Τυπική σειρά εφαρμογής παραμέτρων

Σε κοινές υλοποιήσεις sampling (ειδικότερα, Hugging Face Transformers) οι παράμετροι εφαρμόζονται συνήθως με την εξής σειρά:

Το μοντέλο εκδίδει ακατέργαστα λογιτ ( $u_{i}$ ).
Εφαρμόζονται ποινές επανάληψης (repetition / frequency / presence penalty) — τροποποίηση λογιτ βάσει ήδη παραγόμενων token.
Η θερμοκρασία κλιμακώνει τα λογιτ: $u_{i} / T$ .
Εφαρμόζεται softmax → προκύπτει νέα κατανομή πιθανοτήτων.
Αποκοπή (truncation): πρώτα Top-k (αν ορίστηκε), μετά Top-p ή Min-p.
Από τον εναπομείναντα «πυρήνα» πραγματοποιείται τυχαία δειγματοληψία (sampling).

Σε αυτό το τυπικό σχήμα η θερμοκρασία αλλάζει τη μορφή της κατανομής μετά την εφαρμογή ποινών επανάληψης, αλλά πριν το softmax και το φιλτράρισμα. Γι' αυτό, η ίδια $t o p_p = 0.9$ για $T = 0.2$ και για $T = 1.5$ δίνει εντελώς διαφορετικό μέγεθος «πυρήνα». Οι ποινές και η θερμοκρασία αλληλεπιδρούν μη γραμμικά — αυτό είναι σημαντικό να λαμβάνεται υπόψη κατά την επιλογή παραμέτρων. Η εσωτερική σειρά εφαρμογής σε hosted API (OpenAI, Anthropic) δεν είναι δημόσια τεκμηριωμένη σε αυτό το επίπεδο λεπτομέρειας.

Top-p (nucleus sampling) και Min-p

Min-p (minimum probability sampling) — σχετικά νέα μέθοδος αποκοπής που ορίζει κατώτατο κατώφλι πιθανότητας σε σχέση με το πιο πιθανό token (συνήθως 0.05–0.1). Σε αντίθεση με το Top-p, αποκόπτει token βάσει σχετικού κατωφλίου (συνδεδεμένου με την πιθανότητα του καλύτερου token, όχι σε σταθερή σωρευτική μάζα), κάτι που είναι ιδιαίτερα αποτελεσματικό σε υψηλή θερμοκρασία (>0.8): αποτρέπει την επιλογή εντελώς ακατάλληλων token χωρίς σημαντική απώλεια ποικιλίας. Το Min-p υποστηρίζεται από αρκετά δημοφιλή open-source inference stacks, συμπεριλαμβανομένων των vLLM και llama.cpp.

Repetition / Frequency / Presence penalty

Το frequency_penalty και το presence_penalty (OpenAI API) μειώνουν την πιθανότητα επανάληψης token που έχουν ήδη εμφανιστεί. Μπορούν να αντισταθμίσουν ένα από τα μειονεκτήματα της χαμηλής θερμοκρασίας — την τάση προς τυποποίηση και εγκλωβισμό σε κύκλους.

Typical sampling και Mirostat

Το Typical sampling (Meister et al., 2023) επιλέγει token των οποίων η πιθανότητα είναι κοντά στην «αναμενόμενη» εντροπία του πλαισίου. Το Mirostat (v2) προσαρμόζει δυναμικά τις παραμέτρους αποκοπής, ώστε η στόχευση perplexity να παραμένει σταθερή — αυτό είναι χρήσιμο για μακρά κείμενα, όπου η σταθερότητα ύφους είναι κρίσιμη.

Ενδεικτικά παραδείγματα ρύθμισης

Παρακάτω παρατίθενται κατά προσέγγιση διαμορφώσεις για διάφορους τύπους εργασιών. Αυτές οι τιμές δεν αποτελούν συστάσεις γενικής χρήσης — οι βέλτιστες παράμετροι εξαρτώνται από το συγκεκριμένο μοντέλο, την εργασία και το inference stack.

Εργασία	Θερμοκρασία	Πιθανός συνδυασμός	Λογική
Factual Q&A, περίληψη	0.0–0.3	T + top_p=0.9	Ελαχιστοποίηση τυχαίας μεταβλητότητας
Δημιουργία κώδικα, μαθηματικά	0.1–0.4	T + repetition_penalty	Σταθερότητα + αποφυγή εγκλωβισμού
Διάλογοι / chatbots	0.6–0.85	T + top_p=0.92 ή min_p=0.1	Ισορροπία φυσικότητας και συνοχής
Δημιουργικό (ιστορίες, μάρκετινγκ)	0.75–1.1	T + min_p=0.07–0.1	Ποικιλία με φιλτράρισμα ουράς
Long-form / πράκτορες	0.5–0.8	Mirostat ή T + frequency_penalty	Έλεγχος μήκους και συνοχής

Γενική συμβουλή: δεν αξίζει να αλλάζετε ταυτόχρονα σε μεγάλο βαθμό το temperature και το top_p. Κατά κανόνα, είναι πιο βολικό να σταθεροποιείτε έναν από τους παραμέτρους truncation και να ελέγχετε τη δημιουργικότητα με τη θερμοκρασία — αυτό κάνει τη συμπεριφορά του μοντέλου πιο προβλέψιμη.

Ιδιαιτερότητα σύγχρονων aligned μοντέλων: σε ισχυρά ευθυγραμμισμένα μοντέλα (που έχουν υποστεί RLHF / Constitutional AI / RLAIF) το αποτέλεσμα της υψηλής θερμοκρασίας είναι εξασθενημένο σε σύγκριση με βασικά μοντέλα — το μοντέλο σπανιότερα παράγει ασύνδετο κείμενο ακόμα και για $T = 1.2$ . Οι συγκεκριμένες βέλτιστες τιμές μπορεί να αλλάξουν με την κυκλοφορία νέων γενεών μοντέλων· οι παραπάνω συστάσεις ισχύουν από το 2025–2026.

Βιβλιογραφία

Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
Hewitt, J.; Manning, C.; Liang, P. (2022). Truncation Sampling as Language Model Desmoothing. arXiv:2210.15191.
Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
Finlayson, M. et al. (2023). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
Shi, C. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
Ravfogel, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
Sen, J. et al. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.
Basu, S. et al. (2021). Mirostat: A Perplexity-Controlled Neural Text Decoding Algorithm. arXiv:2007.14966.
Nguyen, M. N. et al. (2025). Turning Up the Heat: Min-p Sampling for Diverse and High-Quality Text Generation. arXiv:2407.01082.
Renze, M.; Guven, E. (2024). The Effect of Sampling Temperature on Problem Solving in Large Language Models. arXiv:2402.05201.
Zhang, S. et al. (2024). EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling. arXiv:2403.14541.
Li, L. et al. (2025). Exploring the Impact of Temperature on Large Language Models: Hot or Cold?. arXiv:2506.07295.

Δείτε επίσης

Μεγάλα γλωσσικά μοντέλα

Temperature (LLM) (EL)

Contents

Απλή εξήγηση

Θεωρητικός ορισμός

Επίδραση της τιμής θερμοκρασίας

Οριακές περιπτώσεις

Πρακτική εφαρμογή και συστάσεις

Σύγκριση με Top-k και Top-p

Αλληλεπίδραση θερμοκρασίας με άλλες παραμέτρους αποκωδικοποίησης

Τυπική σειρά εφαρμογής παραμέτρων

Top-p (nucleus sampling) και Min-p

Repetition / Frequency / Presence penalty

Typical sampling και Mirostat

Ενδεικτικά παραδείγματα ρύθμισης

Βιβλιογραφία

Δείτε επίσης

Navigation menu

Temperature (LLM) (EL)

Απλή εξήγηση

Θεωρητικός ορισμός

Επίδραση της τιμής θερμοκρασίας

Οριακές περιπτώσεις

Πρακτική εφαρμογή και συστάσεις

Σύγκριση με Top-k και Top-p

Αλληλεπίδραση θερμοκρασίας με άλλες παραμέτρους αποκωδικοποίησης

Τυπική σειρά εφαρμογής παραμέτρων

Top-p (nucleus sampling) και Min-p

Repetition / Frequency / Presence penalty

Typical sampling και Mirostat

Ενδεικτικά παραδείγματα ρύθμισης

Βιβλιογραφία

Δείτε επίσης

Navigation menu

Search