Encoder-only models (CS)

Modely pouze s enkodérem (angl. Encoder-Only Models) — jsou třídou architektur velkých jazykových modelů (LLM), založených výhradně na kódující části (enkodéru) architektury Transformer. Na rozdíl od modelů využívajících dekodér nebo plnou architekturu enkodér-dekodér, tyto modely se specializují na úlohy porozumění přirozenému jazyku (Natural Language Understanding, NLU).

Vlajkovou lodí a průkopníkem tohoto přístupu je BERT (Bidirectional Encoder Representations from Transformers), vyvinutý společností Google v roce 2018.

Koncepce a architektura

Základní myšlenkou modelů pouze s enkodérem je vytváření hlubokých, kontextualizovaných reprezentací (embeddingů) pro každý token ve vstupní sekvenci. Díky mechanismu samo-pozornosti (self-attention) v Transformeru může každý token „vidět" a interagovat se všemi ostatními tokeny v sekvenci, což umožňuje modelu zachytit bohatý kontext.

Klíčovou vlastností je obousměrnost: reprezentace každého tokenu je formována na základě jak levého, tak pravého kontextu současně. To je zásadně odlišuje od autoregresivních modelů pouze s dekodérem (jako GPT), které jsou ze své podstaty jednosměrné.

Architektonicky se model skládá ze zásobníku $N$ identických vrstev enkodéru. Každá vrstva se skládá ze dvou hlavních podvrstev:

1. Víceúčelová samo-pozornost (Multi-Head Self-Attention): Vypočítává kontextualizovanou reprezentaci pro každý token.
2. Plně propojená neuronová síť (Feed-Forward Network): Aplikuje nelineární transformaci na každou reprezentaci tokenu.

Na výstupu model generuje sekvenci vektorů stejné délky jako vstupní sekvence, přičemž každý vektor je bohatou reprezentací příslušného vstupního tokenu.

Úlohy předběžného trénování

Aby bylo možné naučit model rozumět jazyku v obousměrném kontextu, používají se speciální samořízeně dohlížené úlohy předběžného trénování:

Maskované jazykové modelování (Masked Language Modeling, MLM)

Toto je hlavní a nejdůležitější úloha pro modely pouze s enkodérem, poprvé představená v BERTu.

• Princip fungování: Ze vstupní sekvence je náhodně skryto (maskováno) malé procento tokenů (obvykle 15 %). Úkolem modelu je předpovědět původní hodnoty těchto maskovaných tokenů pomocí obousměrného kontextu, který je obklopuje.
• Cíl: Tato úloha nutí model učit se hluboké sémantické a syntaktické vztahy mezi slovy.

Predikce následující věty (Next Sentence Prediction, NSP)

Tato úloha (také z původního BERTu) byla navržena tak, aby naučila model chápat vztahy mezi větami.

• Princip fungování: Modelu je předložen pár vět a musí určit, zda je druhá věta logickým pokračováním první ve zdrojovém textu.
• Stav: Pozdější výzkumy (například u modelu RoBERTa) ukázaly, že NSP je méně účinná než MLM, a proto je často nahrazována jinými úlohami nebo zcela odstraněna.

Použití

Modely pouze s enkodérem nejsou určeny ke generování textu ve volné formě, protože postrádají autoregresivní dekodér. Jejich síla spočívá v analýze a porozumění textu. Výstupní vektorové reprezentace modelu jsou využívány k řešení širokého spektra NLU úloh:

• Klasifikace textu: Pro úlohy, jako je analýza sentimentu nebo určování tématu, se používá reprezentace speciálního tokenu `[CLS]`, který je přidán na začátek každé sekvence. Jeho výsledný vektor agreguje informace o celé sekvenci.
• Klasifikace tokenů: Pro úlohy, jako je rozpoznávání pojmenovaných entit (NER) nebo označování slovních druhů (POS-tagging), se používají vektorové reprezentace každého jednotlivého tokenu.
• Odpovídání na otázky (Question Answering): V úlohách, kde je odpověď fragmentem ze zadaného textu (extractive QA), je model trénován k předpovídání počátečního a koncového tokenu odpovědi.
• Získávání embeddingů: Modely s enkodérem jsou často používány jako univerzální kodéry textu pro získávání vysoce kvalitních embeddingů vět nebo dokumentů, které mohou být následně využity ve vyhledávačích nebo pro úlohy sémantické podobnosti.

Hlavní modely a jejich vývoj

• BERT (2018): Průkopník architektury, který stanovil nové rekordy na mnoha NLP benchmarcích.
• RoBERTa (2019): „Robustně optimalizovaný BERT". Ukázala, že výkonnost BERTu lze výrazně zlepšit delším trénováním na větším množství dat a odstraněním úlohy NSP.
• ALBERT (2019): „A Lite BERT". Model s výrazně menším počtem parametrů díky technikám faktorizace embeddingů a mezivrstvého sdílení parametrů.
• DistilBERT (2019): Zmenšená verze BERTu vytvořená pomocí destilace znalostí, která je rychlejší a lehčí, ale zachovává většinu výkonnosti originálu.
• ELECTRA (2020): Představila efektivnější úlohu předběžného trénování — replaced token detection, kdy se model učí rozlišovat původní tokeny od „falešných", generovaných malým modelem-generátorem.
• DeBERTa (2020): Zavedla mechanismus „rozděleného přístupu" (disentangled attention), který odděleně kóduje obsah a relativní pozice tokenů.

Viz také

• BERT