Temperatur (LLM)

Temperatur (engl. Temperature) im Kontext von großen Sprachmodellen (LLM) ist ein Hyperparameter, der das Maß an Zufälligkeit und „Kreativität“ bei der Textgenerierung steuert. Er reguliert die „Schärfe“ oder umgekehrt die „Glättung“ der Wahrscheinlichkeitsverteilung des nächsten Tokens bei jedem Dekodierungsschritt. Durch die Manipulation der Temperatur kann die Balance zwischen Vorhersagbarkeit (Kohärenz) und Vielfalt (Kreativität) des generierten Textes gesteuert werden.

Theoretische Definition und Mathematik

Mathematisch wird die Temperatur ($T$) als Divisor in die Softmax-Funktion eingeführt, die die Logits ($u_i$) des Modells in eine Wahrscheinlichkeitsverteilung ($P_i$) umwandelt. Die Formel lautet:

$P_i^{(T)}=\frac{e^{u_i/T}}{\sum _j{e}^{u_j/T}}$

Wobei:

• $P_i^{(T)}$ die resultierende Wahrscheinlichkeit des $i$-ten Tokens bei einer Temperatur $T$ ist.
• $u_i$ der vom Modell ausgegebene Logit (eine nicht normalisierte Bewertung) für das $i</-teTokenist.\ast <math>T$ der Temperaturparameter ist.

Einfluss des Temperaturwertes

• $T=1$ (Standardwert): Die Wahrscheinlichkeitsverteilung bleibt unverändert. Dies ist die Standard-Softmax-Funktion, die die ursprünglichen Vorhersagen des Modells widerspiegelt.
• $T<1$ (niedrige Temperatur, z. B. $0.2$ – $0.7$): Die Verteilung wird spitzer oder pointierter. Die Wahrscheinlichkeiten der wahrscheinlichsten Tokens steigen, während die der unwahrscheinlichen sinken. Dies macht die Generierung deterministischer und vorhersagbarer. Das Modell wählt häufiger offensichtliche, hochfrequente Wörter, was die Kohärenz und grammatikalische Korrektheit des Textes erhöht, aber seine Vielfalt verringert.
• $T>1$ (hohe Temperatur, z. B. $1.0$ – $1.5$): Die Verteilung wird glatter oder gleichmäßiger. Der Unterschied zwischen den Wahrscheinlichkeiten der Tokens wird ausgeglichen, was die Chance erhöht, weniger wahrscheinliche (und „unerwartetere“) Tokens zu wählen. Dies macht den Text kreativer, vielfältiger und unvorhersehbarer, erhöht aber das Risiko, inkohärente oder grammatikalisch falsche Sätze zu generieren.

Grenzfälle

• $T\to 0$: Im Grenzwert, wenn die Temperatur gegen Null strebt, wird die Softmax-Funktion zu einer Argmax-Funktion. Das Modell wählt immer das Token mit dem höchsten Logit. Dieser Modus entspricht dem Greedy Decoding und ist vollständig deterministisch. Er führt oft zu sich wiederholendem und schablonenhaftem Text.
• $T\to \mathrm{\infty }$: Wenn die Temperatur gegen unendlich strebt, wird die Wahrscheinlichkeitsverteilung gleichmäßig (uniform). Alle Tokens im Vokabular werden gleich wahrscheinlich, und das Modell generiert einen zufälligen „Bewusstseinsstrom“, der jegliche Kohärenz verliert.

Praktische Anwendung und Empfehlungen

Die richtige Wahl der Temperatur ist entscheidend und hängt von der jeweiligen Aufgabe ab.

• Für kreative Aufgaben (Schreiben von Geschichten, Gedichten, Marketing-Slogans):
  • Eine höhere Temperatur ($T\approx 0.7-1.2$) wird empfohlen.
  • Dies regt das Modell an, unerwartetere und kreativere Ideen zu generieren, ein vielfältiges Vokabular zu verwenden und schablonenhafte Phrasen zu vermeiden.

• Für Aufgaben, die Genauigkeit und Faktizität erfordern (Beantwortung von Fragen, Zusammenfassungen, Codegenerierung):
  • Eine niedrige Temperatur ($T\approx 0.0-0.4$) wird empfohlen.
  • Dies minimiert „Halluzinationen“ und veranlasst das Modell, sich an die wahrscheinlichsten und in der Regel genaueren und relevanteren Textfortsetzungen zu halten. In der OpenAI-API wird für Aufgaben, die eine hohe Genauigkeit erfordern, oft empfohlen, $T=0$ einzustellen.

• Für Dialogsysteme und Chatbots:
  • Eine moderate Temperatur ($T\approx 0.5-0.8$) wird empfohlen.
  • Dies ermöglicht es, eine Balance zu finden: Die Antworten bleiben kohärent und themenbezogen, werden aber nicht zu trocken und eintönig. Beispielsweise wird in ChatGPT für gewöhnliche Unterhaltungen eine Temperatur von etwa 0.7 verwendet.

Vergleich mit Top-k und Top-p

Die Temperatur funktioniert im Gegensatz zu Cut-off-Methoden wie Top-k und Top-p (Nucleus Sampling) anders:

• Die Temperatur verteilt die Wahrscheinlichkeiten über alle Tokens im Vokabular neu, schneidet aber keines davon ab. Selbst bei einer sehr niedrigen Temperatur haben unwahrscheinliche Tokens eine winzige, aber von Null verschiedene Chance, ausgewählt zu werden.
• Top-k und Top-p führen einen harten Cut-off ein, indem sie Tokens, die nicht in den Kern der Auswahl (nucleus) fallen, vollständig ausschließen. Dies ist eine zuverlässigere Methode, um die Generierung völlig unpassender Wörter zu verhindern.

In der Praxis werden diese Parameter oft kombiniert. Man kann beispielsweise eine moderate Temperatur (z. B. $T=0.8$) für den allgemeinen Stil festlegen und Top-p (z. B. $p=0.9$) hinzufügen, um den „Schwanz“ der Verteilung abzuschneiden und grobe Fehler zu vermeiden.

Siehe auch

• Große Sprachmodelle

Literatur

• Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
• Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
• Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
• Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
• O’Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
• Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
• Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
• Ravfogel, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
• Sen, J. et al. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.