Architektury LLM (CS)

Architektury velkých jazykových modelů (LLM) — to jsou základní principy a struktury, které určují, jak jsou velké jazykové modely budovány, trénovány a jak fungují. Moderní LLM, schopné porozumět lidskému jazyku a generovat ho, jsou téměř výhradně založeny na architektuře Transformer, ale zahrnují mnoho vylepšení a různých přístupů zaměřených na zvýšení efektivity, škálovatelnosti a možností.

Rodiny architektur LLM (transformery)

Moderní velké jazykové modely vycházejí z architektury transformeru, ale využívají ji různými způsoby v závislosti na cíli: porozumět textu, generovat pokračování nebo převést jeden text na jiný. V praxi se rozlišují tři rodiny při zachování základních principů transformeru.

1. Encoder‑only (pouze kodér)

Model využívá pouze zásobník kodérů a zpracovává celý vstupní text obousměrně. Předtrénování je obvykle postaveno jako masked‑language modeling (MLM, jazykové modelování s maskováním): část tokenů je skryta a model se učí je obnovovat z kontextu. Díky obousměrnému kontextu jsou tyto modely silné v úlohách porozumění a scoringu: klasifikace, rozpoznávání pojmenovaných entit, přeřazování dokumentů a extraktivní QA. Pro autoregresivní generování „od nuly" nejsou určeny.

V praxi se pro rodinu encoder‑only používají také alternativní cíle předtrénování: replaced token detection (RTD) v ELECTRA (diskriminátorový model rozpoznává podvržené tokeny) a kontrastivní učení bi-encoderů pro sémantické vyhledávání/retrieval (InfoNCE/softmax‑loss na párech „dotaz–dokument", jako v Dense Passage Retrieval). Při použití v RAG vystupují encoder‑only modely buď jako bi-encoder (oddělené kódování dotazu a dokumentu pro rychlé ANN vyhledávání), nebo jako cross-encoder (společné kódování páru pro přesné přeřazování).

Výhody:

• Vysoká kvalita porozumění textu díky obousměrnému kontextu: klasifikace, NER, extrakce faktů, přeřazování, extraktivní QA.
• Paralelní zpracování a vysoká propustnost: jeden dopředný průchod bez auto-regrese; vhodné pro dávkový hromadný scoring.
• Přirozená integrace s vyhledáváním a RAG: v roli bi-encoderu — rychlé sémantické vyhledávání; v roli cross-encoderu — přesné přeřazování.
• Efektivní adaptace: relativně kompaktní varianty (≈100–300 mil. parametrů; BERT‑base ≈110 mil.) po cíleném doladění dosahují vysoké kvality.
• Stabilní latence nezávislá na délce generované odpovědi (bez postupného dekódování); vhodné pro offline scoring rozsáhlých kolekcí.
• Možnost rozšíření kontextového okna u encoderů pomocí relativních/rotačních pozic a/nebo lokálně-řídké pozornosti (např. Longformer/BigBird), což je užitečné pro dlouhé dokumenty.

Nevýhody:

• Žádné vlastní generativní schopnosti: pro dialogy a rozvinuté odpovědi je potřeba dekodér nebo externí generativní modul.
• Omezení v interaktivních scénářích: není možná postupná generace se zachováním stavu.
• Neshoda cíle předtrénování s úlohami volné generace: MLM se hůře shoduje s generací ve srovnání s kauzálním modelováním.
• Historicky omezené kontextové okno (často 512 tokenů v základních konfiguracích absolutních pozic); rozšíření vyžaduje speciální schémata pozic/pozornosti a/nebo doladění.
• Pro úlohy retrievalu je nutné samostatné kontrastivní doladění bi-encoderu a/nebo cross-encoderu; bez toho je kvalita vyhledávání/přeřazování obvykle nižší než u specializovaně natrénovaných modelů.

Reprezentativní modely: BERT a odvozené modely, dále RoBERTa a DeBERTa (rozšířené varianty encoder‑only); z alternativních cílů předtrénování — ELECTRA (RTD).

2. Decoder‑only (pouze dekodér)

Využívá pouze zásobník dekodérů s kauzální (levosměrnou) pozorností: model předpovídá další token na základě již zadaného prefixu. Tento tréninkový režim — causal language modeling (CLM) — činí tyto modely přirozenou volbou pro generaci: dialogy, rozvinuté odpovědi, kreativní text, programový kód. Kompromisem je růst latence a objemu KV‑cache při dlouhých promptech. V praxi se pro decoder‑only hojně využívají technické postupy: zmenšení KV‑cache pomocí MQA a GQA, urychlení inference pomocí spekulativního dekódování a serverových optimalizací (PagedAttention/vLLM, continuous batching, chunked prefill).

Výhody:

• Přirozená generace textu (CLM): silné zero‑shot a few‑shot schopnosti; dobře se škáluje.
• Univerzálnost použití: jeden model řeší mnoho úloh pomocí instrukcí a příkladů v promptu; přirozeně se kombinuje s RAG a voláním nástrojů (tool use).
• Vyspělý ekosystém: postupy instrukčního doladění a alignment chování (RLHF, DPO); dostupné open-source i komerční implementace.
• Bohatý zásobník optimalizací inference: MQA/GQA zmenšují objem KV‑cache a zvyšují propustnost; spekulativní dekódování urychluje inference bez změny distribuce; PagedAttention/vLLM s continuous batching a chunked prefill zvyšují celkové využití GPU.
• Podpora strukturované generace pro striktní formáty odpovědí (JSON/SQL/DSL), což usnadňuje integraci s IS a API.

Nevýhody:

• Zvýšená latence generace: sekvenční inference; cena nového tokenu roste s délkou již „přečteného" kontextu (KV‑cache).
• Méně výhodný pro profil „dlouhý vstup – krátký výstup" (sumarizace, překlad) ve srovnání s encoder–decoder, kde je vstup kódován jednou.
• Omezení jednosměrným kontextem: v úlohách porozumění někdy zaostává za modely s obousměrnou reprezentací (encoder‑only / encoder–decoder).
• Paměť pro KV‑cache může být „úzkým hrdlem" u dlouhých promptů a velkých dávek;
• Kvantizace aktivací/KV (INT8/FP8) urychluje inference, ale může zhoršovat kvalitu na dlouhých kontextech/kódu; vyžaduje pečlivou validaci (zejména při přísných SLA).

Reprezentativní modely: GPT‑3, GPT‑4 (detaily architektury a datové sady nejsou veřejně zveřejněny), LLaMA a Llama 3 (8B/70B, 2024).

3. Encoder–decoder (kodér–dekodér)

Architektura kombinuje oba komponenty. Encoder pracuje v obousměrném režimu, dekodér — kauzálně. Encoder jednou analyzuje vstup a vytvoří jeho reprezentaci; dekodér generuje výstup s odkazem na tuto reprezentaci prostřednictvím cross‑attention. Tento oddělený přístup je zvláště užitečný tam, kde je potřeba převést dlouhý vstupní text na krátký výstup: strojový překlad, sumarizace, odpovědi na základě dokumentů. Přestože metoda vyžaduje větší celkové výpočetní náklady (dva zásobníky a cross-attention), její výhodou je řízená generace na základě úplné analýzy zdrojového textu; přičemž kódování se provede jednorázově a opakovaně se využívá po celou dobu inference.

Výhody:

• Podmíněná generace: dekodér využívá cross‑attention k reprezentaci vstupu.
• Efektivní ve scénáři „dlouhý vstup → krátký výstup": vstup je kódován jednou.
• Vhodný pro formát „text‑to‑text" a řízený výstup (úlohové prefixy, spec. instrukce).
• Stabilita a efektivita při dlouhém zdroji: ve fázi dekódování roste pouze self‑attention výstupu, zatímco cross‑attention opakovaně využívá fixní klíče/hodnoty od encoderu (vstup se „nepřečítá" při každém kroku).

Nevýhody:

• Dva zásobníky zvyšují nároky na paměť a výpočty při trénování i nasazení.
• Na extrémně dlouhých sekvencích je výsledná latence srovnatelná s decoder‑only; auto-regrese zůstává úzkým hrdlem.
• Méně univerzálních chat-modelů než u decoder‑only; častěji se používají jako vysoce kvalitní seq2seq engine pro konkrétní úlohy.
• Při velmi dlouhém vstupu roste paměť pro klíče/hodnoty cross‑attention v každé vrstvě dekodéru (přes celý zdroj), což vyžaduje pečlivé plánování servingu.

Reprezentativní modely: T5 (včetně T5 v1.1 a postupů instrukčního doladění ve FLAN‑T5) a BART.

Husté (dense) transformery

Klasická a nejrozšířenější architektura LLM: při zpracování každého tokenu se účastní prakticky celá sada parametrů modelu. Na rozdíl od řídkých přístupů (např. Mixture‑of‑Experts) nedochází k selektivní aktivaci podsítí — každý blok pracuje pro každý token.

Princip fungování a architektura

Základní struktura. Model je zásobník N stejnorodých transformerových bloků. Každý blok obsahuje:

1. Vícehlávou vlastní pozornost (Multi‑Head Self‑Attention). Pro každý token jsou vypočítány tři vektory: Q (query), K (key), V (value); pozornost je definována jako $\mathrm{softmax}\left(\frac{Q{K}^{o}p+M}{\sqrt{d_k}}\right)\cdot V$, kde $M$ — maska (kauzální a/nebo padding maska) vylučující nepřípustné pozice. Několik „hlav" pozornosti paralelně zohledňuje různé aspekty kontextu (H hlav, obvykle $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$); jejich počet roste s měřítkem modelu.
2. Plně propojená síť (Feed‑Forward Network, FFN). Dvě lineární vrstvy s nelinearitou mezi nimi (obvykle GELU/SiLU; v řadě moderních modelů — SwiGLU). Mezilehlá dimenze je obvykle $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$; při použití SwiGLU se často volí $\approx frac83d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ pro zachování srovnatelného počtu parametrů. FFN obsahuje značnou část parametrů.

Doplňkové komponenty. Používají se reziduální (residual) spojení a normalizace vrstev; v moderních LLM se častěji uplatňuje Pre‑LN (normalizace před podbloky) — to zlepšuje stabilitu trénování při velké hloubce. Kromě klasické LayerNorm se stále více používá RMSNorm (snižuje výpočetní náklady a dobře funguje ve velkých modelech); v některých rodinách se také používá normalizace v prostoru pozornosti (např. normalizace Q/K před softmax). Poziční reprezentace mohou být absolutní nebo relativní; pro dlouhý kontext se de facto standardem stalo RoPE.

Příklady modelů a měřítko

• BERT‑Large: 24 vrstev, dimenze 1024, 16 hlav pozornosti, ≈340 mil. parametrů.
• GPT‑3 (175B): 96 vrstev, dimenze 12288, 96 hlav pozornosti, ≈175 mld. parametrů.
• LLaMA‑65B: 80 vrstev, dimenze 8192, 64 hlav pozornosti, ≈65 mld. parametrů.
• PaLM‑540B: 118 vrstev, dimenze řádu 18432, ≈540 mld. parametrů.

Výhody

• Jednotné bloky, dobře prozkoumané tréninkové režimy a předvídatelné chování při škálování.
• Kvalita se zlepšuje mocninným zákonem při růstu parametrů a dat; compute‑optimal režim předpokládá společné zvyšování velikosti modelu a objemu trénovacích tokenů.
• Jedna a táž architektura po doladění pokrývá široké spektrum úloh bez změn na úrovni vrstev.

Nevýhody

• Plná vlastní pozornost má kvadratickou složitost podle délky sekvence ($O(n^2)$), což omezuje kontextové okno.
• Plná aktivace parametrů při kroku generace: v dekodéru bez MoE cena inference na token roste přibližně úměrně počtu parametrů.
• Úzké hrdlo — propustnost paměti (memory‑bound): načítání vah z HBM často omezuje rychlost inference.

Omezení škálování a kontextu

• Paměť pro parametry roste lineárně s velikostí modelu; trénovací paměť se zvyšuje kvůli gradientům a stavům optimalizátoru.
• Základní konfigurace byly historicky omezeny na 2–4 tis. tokenů. Moderní poziční schémata (RoPE) a techniky rozšíření (Position Interpolation, YaRN aj.) umožňují zvětšit okno o řád i více, avšak za cenu dodatečné výpočetní/paměťové zátěže.

Moderní optimalizace

• FlashAttention. Přesná pozornost s ohledem na hierarchii paměti GPU; snižuje nároky na paměť a urychluje trénování/inference při dlouhých sekvencích.
• Redukce a správa KV‑cache. Multi‑Query Attention a Grouped‑Query Attention zmenšují objem cache a přenosy paměti; na úrovni serveru PagedAttention (vLLM) zvyšuje propustnost díky stránkovému správci cache.
• Spekulativní dekódování. Koncepční (draft) model navrhuje pokračování a hlavní model ho rychle ověří; dosahuje se urychlení bez změny distribuce výstupu.

Řídké modely (Sparse Models) a Mixture‑of‑Experts (MoE)

MoE je způsob, jak zvýšit kapacitu modelu bez proporcionálního růstu výpočtů na token. Místo jednoho velkého FFN bloku ve vrstvě se používá sada paralelních „expertů" (několik nezávislých FFN) a trénovatelný směrovač (gating network) pro každý token vybírá top‑k nejrelevantnějších expertů (obvykle k=1–2; v některých modelech k=4). Aktivují se pouze vybraní experti; jejich výstupy jsou váženy a sčítány. Celkový počet parametrů tak může dosahovat stovek miliard a dokonce bilionů, ale v každém kroku je využita pouze malá část.

Příklady modelů a měřítko

• Switch Transformer (Google): až ~1.6T parametrů; top‑1 směrování (jeden expert na token). Ukázal, že MoE umožňuje výrazně navýšit kapacitu při srovnatelných nákladech na token.
• GLaM (Google): 1.2T parametrů, 64 expertů ve vrstvě, top‑2; na každý token se aktivuje ≈96.6B parametrů (≈8%).
• Mixtral 8×7B (Mistral AI): ~46.7B parametrů celkem, ≈12.9B aktivních na token, top‑2.
• Mixtral 8×22B: ~141B parametrů celkem, ≈39B aktivních na token, top‑2.
• DBRX (Databricks): 132B parametrů celkem, ≈36B aktivních na token; 16 expertů a top‑4 směrování (fine‑grained MoE).

Výhody

• Výpočetní náklady jsou určeny počtem aktivních expertů k, nikoli celkovým počtem parametrů: lze trénovat a používat modely bilionového měřítka při nákladech srovnatelných s hustými modely výrazně menší velikosti.
• Specializace: experti se automaticky „přizpůsobují" jazykům/doménám/vzorům, čímž zlepšují kvalitu v multidoménových úlohách.
• Flexibilní nasazení: lze udržovat v paměti často používané experty a načítat vzácné (při odpovídající infrastruktuře).

Omezení

• Vyvažování zátěže: bez regularizace může směrovač „lpět" na části expertů (router collapse). Jsou potřeba auxiliary losses (load‑balancing) a vylepšená schémata směrování.
• Složitost distribuovaných výpočtů: vyžaduje expert parallelism a výměnu all‑to‑all; komunikační náklady a správa paměti se stávají úzkým hrdlem.
• Stabilita trénování: důležité jsou nastavení routeru a omezení kapacity (capacity), jinak může docházet k degradaci kvality/konvergence.

Moderní vylepšení

• Expert‑Choice routing: experti „vybírají" tokeny, což zlepšuje vyvažování a konvergenci při srovnatelných nákladech.
• Fine‑grained MoE: větší počet menších expertů (jako v DBRX) poskytuje jemnější granularitu specializace.
• Sparse Upcycling: převod hustého modelu na MoE z jeho checkpointu umožňuje výrazně zvýšit kvalitu při umírněných nákladech.

Vhodnost použití MoE

• Rozsáhlí multidoménoví asistenti při omezeném compute‑rozpočtu.
• Trénování na rozsáhlých korpusech, kde specializace přináší výhodu.
• Scénáře s vyvinutou distribuovanou infrastrukturou (mnoho GPU/TPU a rychlé sítě).

Kdy jsou lepší husté modely: omezená infrastruktura (1–2 GPU), přísné požadavky na předvídatelnou latenci a jednoduchost nasazení.

Retrieval‑Augmented Generation (RAG)

RAG je architekturální vzor systému kolem LLM, nikoli interní architektura samotného modelu. Kombinuje LLM (generativní komponent) s externí znalostní bází (komponent extrakce), což umožňuje kompenzovat omezenost „parametrické paměti" modelu.

• Princip fungování: Před generací LLM extrahuje relevantní dokumenty z externího zdroje (wiki, podniková znalostní báze, web) a opírá se o ně při formulování odpovědi.
• Výhody:
  • Snížení halucinací a zlepšení faktické přesnosti.
  • Aktuálnost bez úplného přetrénování modelu.
  • Citovatelnost a sledovatelnost odpovědí.
• Použití: De facto standard pro podnikové asistenty a systémy, kde jsou vyžadovány ověřitelné fakty a práce se soukromými/úzce specializovanými daty.

Mechanismy pozornosti a práce s kontextem

Základní vlastní pozornost má kvadratickou složitost podle délky sekvence ($O(n^2)$), proto vznikly optimalizace.

• Řídká pozornost (Sparse Attention): Omezení pozornosti na lokální okna/vzory. Příklady: Longformer, BigBird.
• FlashAttention: Přeuspořádání pořadí výpočtů s ohledem na hierarchii paměti GPU; přináší výrazný zisk z hlediska času a paměti a stala se de facto standardem při trénování LLM s dlouhým kontextem.
• MQA/GQA (urychlení dekódování): Multi‑Query Attention (sdílené klíče/hodnoty pro všechny hlavy) snižuje přenosy KV‑cache. Grouped‑Query Attention vyvažuje kvalitu/rychlost.
• Vylepšené poziční reprezentace:
  • ALiBi (Attention with Linear Biases): Lineární posuny skóre pozornosti zlepšují generalizaci na větší délky.
  • RoPE (Rotary Position Embeddings): Relativní poziční informace prostřednictvím rotace Q/K; hojně využíváno v moderních modelech (např. LLaMA).
  • Rozšíření kontextu pro RoPE‑modely: Position Interpolation , YaRN a NTK-aware modifikace umožňují efektivně zvětšovat kontextové okno bez změny architektury.

• Další přístupy k dlouhým sekvencím:
  • Transformer‑XL: rekurentní paměť mezi segmenty pro modelování vzdálených závislostí.
  • Reformer: LSH‑attention a reversibilní reziduální bloky pro úsporu paměti.
  • Performer: lineární aproximace softmax‑attention (FAVOR+).
  • Linformer: nízkohodnostní aproximace matice pozornosti.

Optimalizace modelů a infrastruktura trénování

Pro trénování a nasazení LLM se používají specializované techniky a frameworky.

• Kvantizace (Quantization): Snížení bitové šířky vah zmenšuje paměť a urychluje inference. QLoRA umožňuje efektivní doladění 4‑bitových modelů (včetně 65B) při kvalitě blízké plné přesnosti.
• Destilace znalostí (Knowledge Distillation): Teacher→Student trénování pro kompaktní modely; příkladem je DistilBERT.
• Distribuované trénování:
  • DeepSpeed a ZeRO — distribuce parametrů/gradientů/stavů optimalizátoru pro trénování bilionových modelů.
  • Megatron‑LM — tenzorový a pipeline paralelismus pro velmi velké transformery.
• Ekosystém a nástroje: Hugging Face Transformers a Accelerate poskytují standardní implementace modelů a integraci s DeepSpeed/FSDP pro trénování a inference.

Zákony škálování a compute‑optimal trénování

Empirickými zákony škálování je ukázáno, že křížová entropická chyba klesá mocninným zákonem při růstu parametrů, dat a výpočtů. Práce Chinchilla upřesnila režimy compute‑optimal: pro optimální efektivitu by měly být velikost modelu a počet trénovacích tokenů škálovány společně (příkladem je model 70B trénovaný na ~1.4T tokenech, který překonává větší nedotrénované modely).

Modely s prostorem stavů (State Space Models, SSM)

State Space Models (SSM) — alternativní architektura k transformerům pro práci s dlouhými sekvencemi. Čerpá z teorie řízení a digitálního zpracování signálů a řeší hlavní problém self‑attention: kvadratický růst výpočtů s rostoucí délkou textu.

Základní problém a řešení

Problém transformerů. Hlavní problém tradičních transformerů — kvadratická složitost pozornosti: text desetkrát delší vyžaduje přibližně stonásobně více výpočtů.

Přístup SSM. Místo „současného zaměření na všechna slova najednou" model postupuje textem sekvenčně a udržuje kompaktní vnitřní paměťový stav, který se aktualizuje v každém kroku. Výsledkem je, že čas i spotřeba paměti rostou přibližně lineárně s délkou textu. Přitom trénování může probíhat paralelně — prostřednictvím konvoluční reprezentace jádra (vysoká propustnost na dlouhých sekvencích).

Princip fungování

Diskrétní SSM je popsána rovnicemi stavu a výstupu:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

kde $x_t$ — paměťový stav, $u_t$ — vstup (token), $y_t$ — výstup. V hlubokých SSM jsou matice $A,B,C,D$ parametrizovány tak, aby zajistily stabilitu a efektivní výpočty na dlouhých sekvencích. Stejnou vrstvu lze interpretovat jako:

• rekurentní (skenování po krocích) — paměťově úsporná inference bez KV‑cache;
• konvoluční — paralelní trénování s předpočítaným jádrem.

Hlavní architektury a hybridy

• S4 (Structured State Spaces). Základní linie SSM se stabilní parametrizací matice stavu; vykazuje efektivitu na velmi dlouhých sekvencích.
• Mamba. Selektivní SSM: pravidla aktualizace paměti závisí na aktuálním vstupu (model sám rozhoduje, co „držet v paměti" a co „zapomenout"). Implementace je zaměřena na hierarchii paměti GPU; podle autorů je dosažen násobný nárůst propustnosti inference při lineární složitosti podle délky.
• RetNet. Mechanismus retention se třemi režimy: paralelní trénování, rekurentní a blokově-rekurentní inference. Cílem je spojit rychlé trénování (jako u transformerů) s ekonomickým průtokem při inference (O(1) paměť na token).
• Hybridy Attention+SSM. Příkladem je Jamba (střídání vrstev Transformer a Mamba plus MoE): udává podporu kontextů řádu ~256 K tokenů při výrazně nižších nárocích na paměť ve srovnání s čistě transformerovými modely podobné třídy.

Výhody

• Lineární složitost a úspora paměti při inference. Není globální self‑attention ani KV‑cache; uchovává se pouze kompaktní stav.
• Paralelní trénování na dlouhých sekvencích. Konvoluční režim zvyšuje propustnost trénování.
• Hardwarová efektivita. Implementace jsou zaměřeny na moderní hierarchii paměti (HBM/SRAM).
• Dlouhé kontexty a streaming. Hybridy SSM+Attention jsou praktické pro stovky tisíc tokenů při umírněných zdrojích.

Omezení a současná praxe

• Vyspělost ekosystému. Nástroje a „recepty" škálování (instrukce, RLHF/DPO) zatím zaostávají za transformerovým zásobníkem.
• Kvalita a stabilita. V řadě úloh vykazují hybridy (Attention+SSM) stabilnější kompromis „kvalita/rychlost/paměť" než „čisté" SSM.

Srovnání přístupů (souhrnně)

Charakteristika	Transformery	SSM	Hybridy (Attention+SSM)
Složitost podle délky	Kvadratická (self‑attention)	Lineární (sken/konvoluce)	Blízká lineární
Paměť na token (inference)	KV‑cache roste s kontextem	O(1) stav	Mírný růst
Dlouhé kontexty	Vyžadují spec. optimalizace	Přirozená podpora	Praktické do ~256 K
Vyspělost ekosystému	Vysoká	Rozvíjející se	Rozvíjející se

Praktická použití

• Analýza velmi dlouhých dokumentů (knihy, zprávy, vědecké přehledy).
• Proudové zpracování a chat scénáře s dlouhou historií bez zdražení paměti.
• Prostředí s omezenými zdroji (mobilní/edge zařízení).
• Časové řady a další sekvenční data.

Reprezentativní modely: S4, Mamba, RetNet; hybridy Attention+SSM (Jamba).

Evoluce architektur

• 2017 — publikován článek „Attention Is All You Need". Představena architektura transformeru: vícehlává vlastní pozornost a poziční kódování umožňují trénovat modely bez rekurence a konvolucí; přitom pozornost má kvadratickou složitost podle délky kontextu.

• 2018 — představeny GPT‑1 a BERT. GPT‑1 využívá zásobník pouze dekodérů s kauzální pozorností pro generaci a následné doladění; BERT zavádí obousměrný encoder a předtrénování MLM pro úlohy porozumění textu.

• 2019 — navrženy způsoby práce s dlouhými sekvencemi a škálován decoder‑only. Transformer‑XL přidává „paměť" a relativní pozice pro přesah za hranice pevného okna; GPT‑2 ukazuje růst zero‑shot schopností při zvýšení měřítka; BART demonstruje efektivitu denoising předtrénování pro seq2seq.

• 2020 — sjednocen formát „text‑to‑text" a ukázány metody pro dlouhé dokumenty. T5 formuluje jednotný přístup encoder–decoder pro různé úlohy; Longformer a BigBird využívají řídkou/strukturovanou pozornost pro dlouhé texty; GPT‑3 potvrzuje efektivitu škálování hustého decoder‑only.

• 2021 — vylepšeny poziční reprezentace a ukázána řídkost parametrů (MoE). RoPE a ALiBi zlepšují generalizaci na větší délky; Switch Transformer a GLaM aktivují pouze část expertů na token, čímž zvyšují kapacitu bez násobného růstu ceny výstupu.

• 2022 — upřesněn compute‑optimal režim a urychlena inference na dlouhých promptech. Chinchilla ukazuje výhodu většího počtu trénovacích tokenů při umírněné velikosti modelu; PaLM s Multi‑Query Attention snižuje objem KV‑cache; FlashAttention urychluje pozornost na GPU.

• 2023 — zvětšena kontextová okna bez změny vrstev a vylepšena serverová obsluha. Řada LLaMA upevňuje postupy (RMSNorm, SwiGLU, RoPE); Position Interpolation a YaRN rozšiřují kontext; vLLM/PagedAttention efektivněji spravuje KV‑cache.

• 2023 — GPT‑4 a Gemini demonstrují zpracování a generaci ve více modalitách v rámci jedné rodiny modelů.

• 2023 — navrženy modely s prostorem stavů (SSM). Mamba a RetNet navracejí sekvenční zpracování s kompaktním stavem místo KV‑cache a pokládají základy pro hybridní architektury.

• 2024 — zveřejněny open-source MoE modely a hybridy Attention+SSM; urychlena pozornost na nových GPU. Mixtral 8×7B/8×22B a DBRX potvrzují praktičnost MoE; Jamba kombinuje Transformer a Mamba pro velmi dlouhé kontexty; FlashAttention‑3 zvyšuje propustnost.

Odkazy

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — vizuální vysvětlení

Literatura

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768