---
title: "Top-k sampling (HU)"
source: "https://systems-analysis.info/int/Top-k_sampling_(HU)"
wiki: "systems-analysis.info/int"
article: "Top-k_sampling_(HU)"
language: "hu"
categories:
  - "Category:Core LLM concepts"
  - "Category:Hungarian"
  - "Category:Large language models"
  - "Category:Machine learning"
revision_id: 8189
wiki_created_at: 2026-09-07T01:13:37Z
wiki_modified_at: 2026-09-07T01:13:37Z
downloaded_at: 2026-09-07T23:23:50Z
---

# Top-k sampling (HU)

**Top-k mintavételezés** — egy sztochasztikus dekódolási módszer, amelyet az autoregresszív nyelvi modellekben, köztük a nagy nyelvi modellekben (LLM) alkalmaznak szöveggenerálásra. Fő célja, hogy a következő token kiválasztását egy rögzített számú ($k$) legvalószínűbb jelöltje korlátozza, ezáltal elkerülve a kevéssé valószínű és gyakran nem helyénvaló szavak generálását. Ez a módszer az egyszerű véletlenszerű mintavételezés egyik első fejlesztése volt, és sokáig népszerű módszernek számított a generált szöveg koherenciájának javítására.

## Egyszerű magyarázat

A Top-k mintavételezés úgy képzelhető el, mint amikor a következő szót nem **az összes** lehetséges variáns közül választjuk, hanem csak a **legvalószínűbbek korlátozott listájából**.

Például a modell egy mondatot egészít ki: „Ma az utcán erős… esett." A szótárában ezrével vannak lehetséges folytatások: „eső", „szél", „hó", „zápor" — és valahol messze „kvantum" vagy egy véletlenszerű karakter. Korlátozások nélkül a szöveggenerálás különféle **degradációs** (text degeneration) formáknak van kitéve. A maximalizációs módszerek (mohó dekódolás, beam search) unalmas, ismétlődő szöveget generálnak, míg a csonkítás nélküli tiszta mintavételezés az összefüggéstelenség kockázatával jár, mivel a valószínűségeloszlás „megbízhatatlan farkából" valószínűtlen tokeneket választhat. A Top-k elsősorban a második problémával küzd — a farok levágásával csökkenti az értelmetlen folytatások kockázatát, bár önmagában nem szünteti meg az ismétlődést. A Top-k azt mondja: „Vedd csak a $k$ legvalószínűbb szót, felejtsd el a többit, számítsd újra köztük a valószínűségeket, és válassz egyet véletlenszerűen."

Egyszerűbben fogalmazva:

- a modell összeállítja a legvalószínűbb folytatások listáját;
- csak az első $k$ variánst veszi;
- véletlenszerűen választ egyet közülük.

Minél kisebb a $k$, annál óvatosabb és kiszámíthatóbb az eredmény. Minél nagyobb a $k$, annál szabadabb és változatosabb a generálás.

**Analógiák:**

- **Éttermi menü:** ahelyett, hogy véletlenszerűen választanánk 5 000 fogás közül (ehetetlent kaphatunk), vagy mindig ugyanazt a legnépszerűbb ételt kérnénk (unalmas), a pincér csak a top-40 ajánlott fogást hozza el — ésszerű listából választhatunk. Igaz, néha az elvetett menürészben épp az a különleges fogás szerepelhetett volna, amely tetszett volna — ez az ára a kiszámíthatóságnak.
- **Döntős jelöltek rövidlistája:** 1 000 álláspályázóból a 40 legjobb önéletrajzot hagyják meg, majd ezekkel folytatnak interjúkat.

## Koncepció és matematika

A szöveggenerálás minden lépésénél a standard nyelvi modell egy valószínűségi eloszlást $P(x|x_{1:i - 1})$ ad ki az egész szótárra $V$ vonatkozóan. A Top-k mintavételezés ezt a folyamatot a következőképpen módosítja:

- **Jelöltek kiválasztása:** Az egész szótárból kiválasztódik egy $V^{(k)}$ részhalmaz, amely a $k$ legmagasabb valószínűségű tokenből áll.
- **Csonkítás:** A $V^{(k)}$-ba nem kerülő összes token logitjaihoz (a modell nyers előrejelzéseihez a Softmax alkalmazása előtt) $- \infty$ értéket rendelnek, ami normalizálás után pontosan 0 valószínűséget ad.
- **Újraelosztás (normalizálás):** A megmaradó $k$ token valószínűségeit úgy skálázzák, hogy új összegük 1 legyen.
- **Mintavételezés:** A következő tokent véletlenszerűen választják ki ebből az új, csonkított eloszlásból.

Így a Top-k **kemény küszöböt** vezet be a jelöltek számára: a $k$-nál alacsonyabb valószínűségi rangú szavak soha nem kerülnek kiválasztásra.

### A $k$ paraméter hatása

- **Kis $k$ (például $k = 5$ – $10$):** A generálást **konzervatívabbá** és **kiszámíthatóbbá** teszi. A modell csak nagyon korlátozott, legvalószínűbb szókészletből választ. Ez növeli a koherenciát, de ismétlődő és unalmas szöveghez vezethet.
- **Nagy $k$ (például $k = 50$ – $100$):** Növeli a szöveg **változatosságát** és **kreativitását**, mivel több variáns kerül a mintavételezésbe. Ez azonban növeli a kevésbé releváns vagy nem helyénvaló tokenek bekerülésének kockázatát is.
- **Határesetek:**
  - **$k = 1$:** Egyenértékű a **mohó dekódolással (greedy decoding)**. A modell mindig a legvalószínűbb tokent választja.
  - **$k$ = szótár mérete:** Egyenértékű a teljes eloszlásból való standard mintavételezéssel, csonkítás nélkül.

## Történeti jelentőség

A Top-k mintavételezés mint dekódolási módszer az egyik korai sikeres alkalmazás volt Angela Fan és munkatársai (2018) „Hierarchical Neural Story Generation" munkájában, ahol a szerzők top-k véletlenszerű mintavételezést alkalmaztak (ahol $k = 10$) a hierarchikus történetgenerálási rendszerben, és megmutatták, hogy ez a stratégia lényegesen hatékonyabb, mint a beam search és a teljes véletlenszerű mintavételezés, amely kockáztatja a valószínűtlen szavak bevitelét.

Azonban az a kulcsfontosságú munka, amely szisztematikusan elemezte a **szövegdegradáció** problémáját, és megmutatta, hogy a csonkítási módszerek, köztük a Top-k, jelentősen javítják a generálás minőségét, Holtzman és mtsai. (2019) „The Curious Case of Neural Text Degeneration" cikke volt. A szerzők emellett a **top-p (nucleus sampling)** módszert javasolták a Top-k adaptívabb alternatívájaként, és saját HUSE-metrikájuk alapján megmutatták, hogy a nucleus sampling jobb eredményeket ad az összehasonlított stratégiák között.

Például a GPT-2 korai bemutatóiban és ajánlásaiban széles körben használták a \`top_k=40\` értéket (az OpenAI kódjában „generally a good value"-ként szerepel), amely segített hosszú és koherens szövegeket generálni.

## Összehasonlítás más dekódolási módszerekkel

### Top-k vs. Top-p

A Top-k-t nagyrészt kiegészítette, és egyes feladatokban felváltotta egy fejlettebb módszer — a **Top-p (nucleus) mintavételezés**.

- **A Top-k fő hátránya — nem adaptív jellege.** A rögzített $k$ érték nem veszi figyelembe a valószínűségi eloszlás alakját:
  - Amikor az eloszlás **csúcsos** (a modell biztos néhány tokenben), a Top-k mesterségesen kibővítheti a mintavételt, bevonva kevéssé valószínű jelölteket.
  - Amikor az eloszlás **lapos** (a modell bizonytalan, és sok tokennek hasonló valószínűsége van), a Top-k idő előtt elvághat sok megfelelő variánst.
  - Emellett a Top-k keményen vágja le az eloszlás „farkát" (tail truncation), emiatt a kontextusban megfelelő, de ritka tokenek elveszhetnek — a módszer feláldozza a potenciális kreativitást az összefüggőség javára.
- **A Top-p** ezzel szemben **dinamikusan adaptálja** a mintavétel méretét, a tokeneket kumulatív valószínűségük alapján választva ki. Ez rugalmasabbá és megbízhatóbbá teszi.
- A gyakorlatban mindkét módszert gyakran használják **együtt**, egymást követő szűrőként: az egyik durván korlátozza a jelöltek számát, a másik dinamikusan szűkíti a mintavételt a modell biztonsága alapján. Alkalmazásuk pontos sorrendje az adott keretrendszer megvalósításától függ.

### Top-k vs. Hőmérséklet

- A **hőmérséklet** az egész valószínűségi eloszlás alakját változtatja meg, de nem vágja le a tokeneket. Az összes jelölt relatív valószínűségére hat.
- A **Top-k** **kemény csonkítást** vezet be, teljesen kizárva a top-$k$ határon kívüli tokeneket.

A gyakorlatban a Top-k használható együtt a hőmérséklettel és a Top-p-vel. A szűrők alkalmazásának pontos sorrendje a keretrendszertől függ: például a Hugging Face Transformers esetén a folyamat: **Hőmérséklet → Top-k → Top-p**, azaz a hőmérséklet először skálázza a logitokat ($l^{\prime} = l/au$), majd a Top-k levágja a „szemét" tokenek hosszú farkát, és csak ezután szűkíti dinamikusan a Top-p a mintavételt a modell biztonsága alapján. Az egyes lépések kihagyhatók a beállításoktól függően: ha $top\_ k = 0$, a Top-k lépés nem kerül alkalmazásra; ha $top\_ p = 1.0$, a Top-p lépés nem kerül alkalmazásra.

## Gyakorlati alkalmazás

Annak ellenére, hogy a Top-p adaptívabb módszer, és nyílt szöveggeneráláshoz gyakran alapértelmezésként alkalmazzák, nincs univerzálisan legjobb dekódolási módszer — az optimális választás a feladattól, a modelltől és a prioritásoktól (minőség, sebesség, stabilitás) függ. A Top-k továbbra is széles körben támogatott paraméter minden fontosabb keretrendszerben (Hugging Face Transformers, vLLM stb.), és aktívan alkalmazzák önállóan és más módszerekkel kombinálva egyaránt.

- **Tipikus értékek:** A gyakorlatban a $k$ értéke gyakran néhány tíz token (például 10, 40, 50), de az optimum a modelltől és a feladattól függ.
- **Ajánlások:** Nyílt szöveggeneráláshoz gyakran a Top-p-t részesítik előnyben. Ha Top-k-t használunk, mérsékelt hőmérséklettel érdemes kombinálni, és gondosan meghatározni a $k$ értékét az adott feladathoz. A Top-k kényelmes „biztosítékként" is szolgál magas hőmérsékletnél.
- **Megjegyzés:** A keretrendszerekben a Top-k kombinálható **Repetition Penalty** (ismétlési büntetés) paraméterrel és a `no_repeat_ngram_size` paraméterrel, hogy megakadályozzák a modell önciklusát ugyanazon szavakból álló top-$k$ listán.

## Irodalom

### Alapvető munkák

- Fan, A. et al. (2018). *Hierarchical Neural Story Generation*. ACL Anthology. arXiv:1805.04833.
- Holtzman, A. et al. (2019). *The Curious Case of Neural Text Degeneration*. arXiv:1904.09751 (ICLR 2020).
- Finlayson, M. et al. (2024). *Closing the Curious Case of Neural Text Degeneration*. OpenReview:dONpC9GL1o (ICLR 2024).

### További olvasnivaló

- Meister, C. et al. (2022). *Locally Typical Sampling*. arXiv:2202.00666 (TACL 2023).
- Su, Y.; Lan, T.; Wang, Y.; Yogatama, D.; Kong, L.; Collier, N. (2022). *A Contrastive Framework for Neural Text Generation*. arXiv:2202.06417 (NeurIPS 2022).
- O'Brien, S.; Lewis, M. (2023). *Contrastive Decoding Improves Reasoning in Large Language Models*. arXiv:2309.09117.
- Shi, C. et al. (2024). *A Thorough Examination of Decoding Methods in the Era of Large Language Models*. ACL Anthology. arXiv:2402.06925.
- Ravfogel, S.; Goldberg, Y.; Goldberger, J. (2023). *Conformal Nucleus Sampling*. arXiv:2305.02633.
- Chen, S. J. et al. (2024). *Decoding Game: On Minimax Optimality of Heuristic Text Generation Strategies*. arXiv:2410.03968 (ICLR 2025).
- Sen, J. et al. (2025). *Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs*. arXiv:2506.05387.

## Lásd még

- Nagy nyelvi modellek