---
title: "Decoder-only models (architecture) (CS)"
source: "https://systems-analysis.info/int/Decoder-only_models_(architecture)_(CS)"
wiki: "systems-analysis.info/int"
article: "Decoder-only_models_(architecture)_(CS)"
language: "cs"
categories:
  - "Category:Czech"
  - "Category:Large language models"
  - "Category:Machine learning"
revision_id: 1531
wiki_created_at: 2026-09-06T22:50:03Z
wiki_modified_at: 2026-09-06T22:50:03Z
downloaded_at: 2026-09-07T22:46:28Z
---

# Decoder-only models (architecture) (CS)

**Modely pouze s dekodérem** (angl. Decoder-Only Models) — to je dominantní třída architektur velkých jazykových modelů (LLM), založených výhradně na **dekódovací** části (dekodéru) architektury **Transformer**. Tyto modely jsou specializovány na úlohy **generování textu** a tvoří základ většiny moderních chatbotů a AI asistentů.

Vlajkovou řadou, která tento přístup zpopularizovala, je série modelů **GPT** od OpenAI.

## Koncepce a architektura

Základní myšlenka modelů pouze s dekodérem spočívá v **autoregresivním generování** sekvencí. To znamená, že model předpovídá následující token na základě všech předchozích tokenů, které byly do té doby vygenerovány. Vstupní prompt (požadavek uživatele) a již vygenerovaný text jsou považovány za jedinou sekvenci, kterou model dále rozvíjí.

Architektonicky model představuje zásobník $N$ identických vrstev dekodéru. Každá vrstva, na rozdíl od enkodéru nebo úplného dekodéru, obsahuje pouze dva hlavní podvrstvy:

1.  **Maskovaná vícehlasá vlastní pozornost (Masked Multi-Head Self-Attention):** Jedná se o klíčový mechanismus zajišťující autoregresivní vlastnost. Při zpracování sekvence speciální **kauzální maska** (causal mask) neumožňuje každému tokenu „dívat se" na následující tokeny. Předpověď pro pozici $i$ tedy závisí pouze na tokenech na pozicích $< i$.
2.  **Plně propojená neuronová síť (Feed-Forward Network):** Aplikuje nelineární transformaci na reprezentaci každého tokenu.

V modelech pouze s dekodérem chybí mechanismus **křížové pozornosti (cross-attention)**, protože neexistuje enkodér, na který by bylo možné „zaměřit pozornost".

## Úlohy předtrénování

Modely pouze s dekodérem jsou trénovány na jediné, avšak velmi mocné samořízeně dozorované úloze:

### Kauzální jazykové modelování (Causal Language Modeling, CLM)

- **Princip fungování:** Model je trénován na předpovídání následujícího tokenu v sekvenci. V každém trénovacím kroku dostane na vstup fragment textu a musí vygenerovat rozdělení pravděpodobností pro následující token.
- **Cíl:** Maximalizovat pravděpodobnost správného následujícího tokenu na obrovských objemech textových dat. Tato na první pohled jednoduchá úloha nutí model učit se gramatiku, syntax, fakta o světě a složité zákonitosti jazyka.

## Použití

Díky své autoregresivní povaze jsou modely pouze s dekodérem ideálně vhodné pro jakékoli úlohy vyžadující generování textu:

- **Volné generování textu:** Psaní článků, básní, scénářů atd.
- **Dialogové systémy a chatboty:** Odpovídání na dotazy uživatelů v konverzačním stylu.
- **Sumarizace:** Vytváření stručného obsahu dlouhých textů.
- **Strojový překlad:** Ačkoli se pro tento účel často používají modely enkodér-dekodér, modely pouze s dekodérem si také dokáží poradit s překladem, pokud je úloha formulována v promptu (například „Přelož z angličtiny do češtiny: …").
- **Generování kódu:** Generování kódu na základě textového popisu.
- **Učení v kontextu (In-context learning):** Díky svému rozsahu vykazují velké modely-dekodéry schopnost řešit nové úlohy poté, co dostanou jen několik příkladů (*few-shot*), nebo dokonce bez nich (*zero-shot*) přímo v promptu, bez nutnosti dotrénování (fine-tuning).

## Hlavní modely a jejich evoluce

- **Série GPT** (2018–současnost): Průkopníci a popularizátoři tohoto přístupu. GPT-1 ukázal účinnost předtrénování, GPT-2 demonstroval sílu škálování a GPT-3 — vznik *few-shot* schopností. ChatGPT a GPT-4 udělaly z této architektury standard pro AI asistenty.
- **LLaMA** (2023–současnost): Série otevřených modelů od Meta, která demokratizovala přístup k výkonným LLM a podnítila vlnu inovací v komunitě.
- **Claude** (2023–současnost): Rodina modelů od Anthropic, zaměřená na bezpečnost a řiditelnost pomocí **Constitutional AI**.
- **PaLM** a **Gemini** (2022–současnost): Vlajkové modely Google. Gemini je také nativně multimodálním modelem pouze s dekodérem.

## Srovnání s ostatními architekturami

| Architektura          | Hlavní úloha                | Směr kontextu                                | Typické modely                |
|-----------------------|-----------------------------|----------------------------------------------|-------------------------------|
| **Pouze s dekodérem** | Generování textu            | Jednosměrné (zleva doprava)                  | GPT, LLaMA, Claude, Gemini    |
| **Pouze s enkodérem** | Porozumění textu            | Obousměrné                                   | BERT, RoBERTa                 |
| **Enkodér-dekodér**   | Převod sekvence na sekvenci | Obousměrné (enkodér) + Jednosměrné (dekodér) | T5, BART, původní Transformer |

Srovnání klíčových architektur na bázi Transformeru

## Viz také

- GPT