---
title: "Encoder-only models (CS)"
source: "https://systems-analysis.info/int/Encoder-only_models_(CS)"
wiki: "systems-analysis.info/int"
article: "Encoder-only_models_(CS)"
language: "cs"
categories:
  - "Category:Czech"
  - "Category:Large language models"
  - "Category:Machine learning"
revision_id: 1911
wiki_created_at: 2026-09-06T22:55:55Z
wiki_modified_at: 2026-09-06T22:55:55Z
downloaded_at: 2026-09-07T22:48:28Z
---

# Encoder-only models (CS)

**Modely pouze s enkodérem** (angl. Encoder-Only Models) — jsou třídou architektur velkých jazykových modelů (LLM), založených výhradně na **kódující** části (enkodéru) architektury **Transformer**. Na rozdíl od modelů využívajících dekodér nebo plnou architekturu enkodér-dekodér, tyto modely se specializují na úlohy **porozumění přirozenému jazyku (Natural Language Understanding, NLU)**.

Vlajkovou lodí a průkopníkem tohoto přístupu je **BERT** (Bidirectional Encoder Representations from Transformers), vyvinutý společností Google v roce 2018.

## Koncepce a architektura

Základní myšlenkou modelů pouze s enkodérem je vytváření hlubokých, **kontextualizovaných reprezentací** (embeddingů) pro každý token ve vstupní sekvenci. Díky mechanismu **samo-pozornosti (self-attention)** v Transformeru může každý token „vidět" a interagovat se všemi ostatními tokeny v sekvenci, což umožňuje modelu zachytit bohatý kontext.

Klíčovou vlastností je **obousměrnost**: reprezentace každého tokenu je formována na základě jak levého, tak pravého kontextu současně. To je zásadně odlišuje od autoregresivních modelů pouze s dekodérem (jako GPT), které jsou ze své podstaty jednosměrné.

Architektonicky se model skládá ze zásobníku $N$ identických vrstev enkodéru. Každá vrstva se skládá ze dvou hlavních podvrstev:

1.  **Víceúčelová samo-pozornost (Multi-Head Self-Attention):** Vypočítává kontextualizovanou reprezentaci pro každý token.
2.  **Plně propojená neuronová síť (Feed-Forward Network):** Aplikuje nelineární transformaci na každou reprezentaci tokenu.

Na výstupu model generuje sekvenci vektorů stejné délky jako vstupní sekvence, přičemž každý vektor je bohatou reprezentací příslušného vstupního tokenu.

## Úlohy předběžného trénování

Aby bylo možné naučit model rozumět jazyku v obousměrném kontextu, používají se speciální samořízeně dohlížené úlohy předběžného trénování:

### Maskované jazykové modelování (Masked Language Modeling, MLM)

Toto je hlavní a nejdůležitější úloha pro modely pouze s enkodérem, poprvé představená v BERTu.

- **Princip fungování:** Ze vstupní sekvence je náhodně skryto (maskováno) malé procento tokenů (obvykle 15 %). Úkolem modelu je předpovědět původní hodnoty těchto maskovaných tokenů pomocí obousměrného kontextu, který je obklopuje.
- **Cíl:** Tato úloha nutí model učit se hluboké sémantické a syntaktické vztahy mezi slovy.

### Predikce následující věty (Next Sentence Prediction, NSP)

Tato úloha (také z původního BERTu) byla navržena tak, aby naučila model chápat vztahy mezi větami.

- **Princip fungování:** Modelu je předložen pár vět a musí určit, zda je druhá věta logickým pokračováním první ve zdrojovém textu.
- **Stav:** Pozdější výzkumy (například u modelu RoBERTa) ukázaly, že NSP je méně účinná než MLM, a proto je často nahrazována jinými úlohami nebo zcela odstraněna.

## Použití

Modely pouze s enkodérem nejsou určeny ke generování textu ve volné formě, protože postrádají autoregresivní dekodér. Jejich síla spočívá v analýze a porozumění textu. Výstupní vektorové reprezentace modelu jsou využívány k řešení širokého spektra NLU úloh:

- **Klasifikace textu:** Pro úlohy, jako je analýza sentimentu nebo určování tématu, se používá reprezentace speciálního tokenu \`\[CLS\]\`, který je přidán na začátek každé sekvence. Jeho výsledný vektor agreguje informace o celé sekvenci.
- **Klasifikace tokenů:** Pro úlohy, jako je rozpoznávání pojmenovaných entit (NER) nebo označování slovních druhů (POS-tagging), se používají vektorové reprezentace každého jednotlivého tokenu.
- **Odpovídání na otázky (Question Answering):** V úlohách, kde je odpověď fragmentem ze zadaného textu (extractive QA), je model trénován k předpovídání počátečního a koncového tokenu odpovědi.
- **Získávání embeddingů:** Modely s enkodérem jsou často používány jako univerzální kodéry textu pro získávání vysoce kvalitních embeddingů vět nebo dokumentů, které mohou být následně využity ve vyhledávačích nebo pro úlohy sémantické podobnosti.

## Hlavní modely a jejich vývoj

- **BERT** (2018): Průkopník architektury, který stanovil nové rekordy na mnoha NLP benchmarcích.
- **RoBERTa** (2019): „Robustně optimalizovaný BERT". Ukázala, že výkonnost BERTu lze výrazně zlepšit delším trénováním na větším množství dat a odstraněním úlohy NSP.
- **ALBERT** (2019): „A Lite BERT". Model s výrazně menším počtem parametrů díky technikám faktorizace embeddingů a mezivrstvého sdílení parametrů.
- **DistilBERT** (2019): Zmenšená verze BERTu vytvořená pomocí destilace znalostí, která je rychlejší a lehčí, ale zachovává většinu výkonnosti originálu.
- **ELECTRA** (2020): Představila efektivnější úlohu předběžného trénování — **replaced token detection**, kdy se model učí rozlišovat původní tokeny od „falešných", generovaných malým modelem-generátorem.
- **DeBERTa** (2020): Zavedla mechanismus „rozděleného přístupu" (disentangled attention), který odděleně kóduje obsah a relativní pozice tokenů.

## Viz také

- BERT