Temperatura (LLM) (PT)

Temperatura (do inglês, Temperature) no contexto de grandes modelos de linguagem (LLM) é um hiperparâmetro que controla o nível de aleatoriedade e "criatividade" na geração de texto. Ele ajusta a "nitidez" ou, inversamente, a "suavidade" da distribuição de probabilidade do próximo token em cada etapa da decodificação. Ao manipular a temperatura, é possível controlar o equilíbrio entre a previsibilidade (coerência) e a diversidade (criatividade) do texto gerado.

Definição teórica e matemática

Matematicamente, a temperatura ($T$) é introduzida como um divisor na função softmax, que transforma os logits de saída do modelo ($u_i$) em uma distribuição de probabilidade ($P_i$). A fórmula é a seguinte:

$P_i^{(T)}=\frac{e^{u_i/T}}{\sum _j{e}^{u_j/T}}$

Onde:

• $P_i^{(T)}$ — a probabilidade final do $i$-ésimo token com a temperatura $T$.
• $u_i$ — o logit (uma pontuação não normalizada) para o $i$-ésimo token, produzido pelo modelo.
• $T$ — o parâmetro de temperatura.

Influência do valor da temperatura

• $T=1$ (valor padrão): A distribuição de probabilidade permanece inalterada. Este é o softmax padrão, que reflete as previsões originais do modelo.
• $T<1$ (baixa temperatura, por exemplo, $0.2$ – $0.7$): A distribuição torna-se mais aguda ou acentuada. As probabilidades dos tokens mais prováveis aumentam, enquanto as dos menos prováveis diminuem. Isso torna a geração mais determinística e previsível. O modelo tende a escolher palavras óbvias e de alta frequência, o que aumenta a coerência e a correção gramatical do texto, mas reduz sua diversidade.
• $T>1$ (alta temperatura, por exemplo, $1.0$ – $1.5$): A distribuição torna-se mais suave ou uniforme. A diferença entre as probabilidades dos tokens é suavizada, o que aumenta a chance de selecionar tokens menos prováveis (e mais "inesperados"). Isso torna o texto mais criativo, diversificado e imprevisível, mas aumenta o risco de gerar frases incoerentes ou gramaticalmente incorretas.

Casos extremos

• $T\to 0$: No limite, quando a temperatura tende a zero, a função softmax se transforma em um argmax. O modelo sempre escolherá o token com o logit mais alto. Este modo é equivalente à decodificação gulosa (greedy decoding) e é completamente determinístico. Frequentemente, leva a um texto repetitivo e estereotipado.
• $T\to \mathrm{\infty }$: Quando a temperatura tende ao infinito, a distribuição de probabilidade torna-se uniforme. Todos os tokens no vocabulário se tornam igualmente prováveis, e o modelo gera um "fluxo de consciência" aleatório, perdendo completamente a coerência.

Aplicação prática e recomendações

A escolha correta da temperatura é crucial e depende da tarefa específica.

• Para tarefas criativas (escrever contos, poemas, slogans de marketing):
  • Recomenda-se uma temperatura mais alta ($T\approx 0.7-1.2$).
  • Isso estimula o modelo a gerar ideias mais inesperadas e criativas, usar um vocabulário diversificado e evitar frases prontas.

• Para tarefas que exigem precisão e factualidade (respostas a perguntas, sumarização, geração de código):
  • Recomenda-se uma temperatura baixa ($T\approx 0.0-0.4$).
  • Isso minimiza as "alucinações" e força o modelo a se ater às continuações de texto mais prováveis e, geralmente, mais precisas e relevantes. Na API da OpenAI, para tarefas que exigem alta precisão, frequentemente se recomenda definir $T=0$.

• Para sistemas de diálogo e chatbots:
  • Recomenda-se uma temperatura moderada ($T\approx 0.5-0.8$).
  • Isso permite encontrar um equilíbrio: as respostas permanecem coerentes e dentro do tópico, mas não se tornam excessivamente secas e monótonas. Por exemplo, no ChatGPT, uma temperatura em torno de 0.7 é usada para conversas comuns.

Comparação com Top-k e Top-p

A temperatura, ao contrário de métodos de truncamento como Top-k e Top-p (nucleus sampling), funciona de maneira diferente:

• A Temperatura redistribui as probabilidades entre todos os tokens no vocabulário, mas não exclui nenhum deles. Mesmo com uma temperatura muito baixa, os tokens menos prováveis ainda têm uma chance minúscula, mas não nula, de serem selecionados.
• O Top-k e o Top-p introduzem um truncamento rígido, excluindo completamente os tokens que não fazem parte do núcleo de amostragem. Esta é uma maneira mais confiável de evitar a geração de palavras completamente irrelevantes.

Na prática, esses parâmetros são frequentemente usados em conjunto. Por exemplo, pode-se definir uma temperatura moderada (como $T=0.8$) para o estilo geral e adicionar um Top-p (como $p=0.9$) para cortar a "cauda" da distribuição e evitar erros grosseiros.

Ver também

• Grandes modelos de linguagem

Literatura

• Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
• Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
• Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
• Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
• O’Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
• Finlayson, M. et al. (2024). Basis-Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
• Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
• Ravfogel, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
• Sen, J. et al. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.