Top-p sampling (PT)

Amostragem Top-p, também conhecida como amostragem por núcleo (em inglês, Nucleus Sampling), é um método de decodificação estocástica usado em grandes modelos de linguagem (LLMs) para a geração de texto. O método foi proposto em 2019 por Ari Holtzman et al. como uma alternativa aprimorada à amostragem Top-k fixa. Sua ideia é selecionar dinamicamente um conjunto de candidatos a cada passo da geração, com base em um limiar de probabilidade cumulativa $p$.

Conceito

A ideia principal do Top-p é, a cada passo, selecionar o menor conjunto de tokens mais prováveis cuja probabilidade acumulada seja igual ou superior a um limiar $p$ predefinido (o núcleo, em inglês nucleus). Matematicamente, para uma distribuição condicional $P(x\mid x_{1:i-1})$ sobre um vocabulário $V$, o núcleo $V^{(p)}$ pode ser definido como:

$\sum _{x\in V^{(p)}}P(x\mid x_{1:i-1})\ge p\text{e}\mathrm{\forall }S\subset V^{(p)}:\sum _{x\in S}P(x\mid x_{1:i-1})<p.$

Uma formulação equivalente é: ordenar os tokens em ordem decrescente de $P(x\mid x_{1:i-1})$ e selecionar o prefixo mais curto cuja massa de probabilidade acumulada seja ≥ $p$.

Após a definição do núcleo, as probabilidades dos tokens fora de $V^{(p)}$ são zeradas, e as probabilidades dentro do núcleo são normalizadas (para que sua soma seja igual a 1). O próximo token é então amostrado a partir dessa distribuição truncada.

Adaptação dinâmica

• Em uma distribuição "aguda" (quando o modelo está confiante), o núcleo é pequeno: poucos tokens já alcançam a massa ≥ $p$, o que aumenta a coerência.
• Em uma distribuição "plana" (quando há muitas continuações plausíveis), o núcleo é grande: a seleção se expande, aumentando a diversidade.

Comparação com outros métodos de decodificação

Top-p vs. Top-k

• O Top-k sempre seleciona a partir de um número fixo $k$ de tokens mais prováveis. Em distribuições "agudas", isso pode adicionar opções desnecessárias e de baixa probabilidade apenas para atingir o número $k$, enquanto em distribuições "planas", pode, ao contrário, cortar continuações razoáveis que não ficaram entre as $k$ primeiras.
• O Top-p ajusta o tamanho do conjunto de candidatos com base nos dados de cada passo, o que torna seu comportamento mais flexível e estável em diferentes tipos de distribuição.

Top-p vs. Temperatura

• A Temperatura (temperature) remodela toda a forma da distribuição (tornando-a mais aguda ou mais suave), mas não corta tokens: mesmo as opções de baixa probabilidade mantêm uma chance diferente de zero.
• O Top-p introduz um truncamento rígido da cauda da distribuição — tokens de baixa probabilidade são completamente excluídos da amostragem, o que ajuda a evitar continuações claramente inadequadas.

Conselho prático dos provedores: ao ajustar o estilo/aleatoriedade, geralmente se modifica ou `temperature` ou `top_p`, mas não ambos ao mesmo tempo, para evitar um impacto "duplo" na distribuição e simplificar o diagnóstico.

Aplicação prática e recomendações

O Top-p é amplamente utilizado nos LLMs modernos devido à sua combinação de flexibilidade e controlabilidade.

• Faixa de valores típica. Na prática, valores de $p\approx 0.90\text{–}0.95$ são frequentemente usados (consulte guias e exemplos em Transformers; em muitos SDKs, o valor 0.95 é encontrado como padrão ou recomendado em exemplos).
  • Valores próximos de 1.0 (por exemplo, 0.98–0.99) aumentam a diversidade, pois mais tokens entram no núcleo.
  • Valores menores (por exemplo, 0.80–0.90) aumentam o determinismo e a "contenção" da saída.
  • Com $p=1$, o truncamento desaparece: a seleção ocorre em todo o vocabulário (levando em conta a temperatura).

• Compatibilidade com bibliotecas e APIs.
  • Na biblioteca Transformers, está implementado o TopPLogitsWarper, que utiliza adicionalmente um limiar `min_tokens_to_keep` (geralmente ≥1) para evitar a degeneração do núcleo com valores de $p$ muito baixos e distribuições "agudas".
  • Em várias APIs, o parâmetro `top_p` está disponível, enquanto `top_k` pode estar ausente; o suporte aos parâmetros e sua semântica dependem do modelo/provedor específico (por exemplo, alguns modelos de raciocínio podem restringir o ajuste da estocasticidade). Consulte os manuais oficiais da OpenAI/Azure/Google.

• Textos longos e repetitividade. Em uma série de experimentos, foi demonstrado que a amostragem por núcleo (nucleus sampling) reduz a tendência à degeneração (repetições, frases clichês) em comparação com a busca gulosa (greedy), busca por feixe (beam search) e Top-k fixo, especialmente em sequências longas.

Ver também

• Temperatura
• Grandes modelos de linguagem

Leitura adicional

• Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
• Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
• Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
• O’Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
• Yu, S. et al. (2023). Conformal Nucleus Sampling. ACL Findings 2023.
• Tan, Q. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
• Finlayson, M. et al. (2024). Basis‑Aware Truncation Sampling for Neural Text Generation. arXiv:2412.14352.
• Chen, S. J. et al. (2025). Decoding Game: On Minimax Optimality of Heuristic Text Generation Methods. arXiv:2410.03968.
• Sen, J. et al. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.