LLM-architektúrák

A nagy nyelvi modellek (LLM) architektúrái olyan alapvető elvek és struktúrák, amelyek meghatározzák, hogyan épülnek fel, hogyan tanulnak és hogyan működnek a nagy nyelvi modellek. A modern LLM-ek, amelyek képesek megérteni és generálni az emberi nyelvet, szinte teljes egészében a Transformer architektúrán alapulnak, de számos fejlesztést és különböző megközelítést tartalmaznak a hatékonyság, a skálázhatóság és a képességek növelése érdekében.

Az LLM architektúracsaládok (transformerek)

A modern nagy nyelvi modellek a transformer architektúrán alapulnak, de különböző módon alkalmazzák azt a céltól függően: szöveg megértése, folytatás generálása vagy egyik szöveg másikká alakítása. A gyakorlatban három architektúracsaládot különböztetünk meg, miközben a transformer alapelvei megmaradnak.

1. Encoder‑only (csak kódoló, csak enkóder)

A modell csak a kódolók halmazát használja, és kétirányúan vizsgálja az egész bemeneti szöveget. Az előtanítás általában masked‑language modeling (MLM, maszkolással végzett nyelvmodellezés) formájában történik: a tokenek egy részét elrejtik, a modell pedig megtanulja azokat a környezetük alapján visszaállítani. A kétirányú kontextusnak köszönhetően ezek a modellek erősek a megértési és pontozási feladatokban: osztályozás, entitáskiemelés, dokumentumok rangsorolása és extraktív QA. Autoregresszív, „nulláról" való generálásra nem alkalmasak.

A gyakorlatban az encoder‑only családnál alternatív előtanítási célokat is alkalmaznak: replaced token detection (RTD) az ELECTRA‑ban (a diszkriminátor modell felismeri a felcserélt tokeneket), valamint kontrasztív tanítás a bi-enkóderek számára szemantikus keresés/retriever célokra (InfoNCE/softmax-loss „lekérdezés–dokumentum" párokat alkalmazva, mint a Dense Passage Retrieval esetén). RAG-ban alkalmazva az encoder‑only modellek vagy bi-enkóderként (a lekérdezés és a dokumentum külön kódolása a gyors ANN-kereséshez), vagy kereszt-enkóderként (a pár együttes kódolása pontos újrarangsoroláshoz) működnek.

Előnyök:

• Magas szintű szövegmegértés a kétirányú kontextusnak köszönhetően: osztályozás, NER, tényerek kinyerése, újrarangsorolás, extraktív QA.
• Párhuzamos feldolgozás és nagy áteresztőképesség: egyetlen előreterjesztési lépés autoregresszió nélkül; a tömeges pontozás kényelmesen kötegelhető.
• Természetes integráció a kereséssel és a RAG-gal: bi-enkóderként gyors szemantikus keresés; kereszt-enkóderként pontos újrarangsorolás.
• Hatékony alkalmazkodás: viszonylag kompakt változatok (≈100–300 millió paraméter; BERT‑base ≈110 millió) célzott finomhangolás után magas minőséget nyújtanak.
• Stabil késleltetés, amely független a generált válasz hosszától (nincs lépésenkénti dekódolás); jól alkalmazható nagy gyűjtemények offline pontozásához.
• Az enkóderek kontextusablaka relatív/rotációs pozíciókkal és/vagy lokálisan ritka figyelemmel bővíthető (pl. Longformer/BigBird), ami hasznos hosszú dokumentumok esetén.

Hátrányok:

• Nincs saját generatív képesség: párbeszédekhez és részletes válaszokhoz dekóder vagy külső generatív modul szükséges.
• Korlátozottság interaktív forgatókönyvekben: nincs állapotmegőrzéssel járó lépésenkénti generálás.
• Az előtanítási cél és a szabad generálás feladatai közötti eltérés: az MLM rosszabbul illeszkedik a generáláshoz, mint a kauzális modellezés.
• Történelmileg korlátozott kontextusablak (az abszolút pozíciójú alapkonfigurációkban gyakran 512 token); a bővítés speciális pozíció-/figyelemkonfigurációkat és/vagy finomhangolást igényel.
• A retrieval feladatokhoz külön kontrasztív finomhangolás szükséges a bi-enkóder és/vagy a kereszt-enkóder számára; enélkül a keresés/újrarangsorolás minősége általában alacsonyabb a speciálisan tanított modellekéhez képest.

Reprezentatív modellek: BERT és változatai, valamint RoBERTa és DeBERTa (kibővített encoder‑only változatok); az alternatív előtanítási célok közül az ELECTRA (RTD).

2. Decoder‑only (csak dekódoló, csak dekóder)

Csak a dekóderek halmaza van jelen, kauzális (balról jobbra irányuló) figyelemmel: a modell az adott prefix alapján jósolja meg a következő tokent. Ez a tanítási mód – causal language modeling (CLM) – ezeket a modelleket a generálás természetes választásává teszi: párbeszédek, részletes válaszok, kreatív szöveg, programkód. A kompromisszum a késleltetés növekedése és a KV-gyorsítótár mérete hosszú promptok esetén. A gyakorlatban a decoder‑only modelleknél széles körben alkalmaznak mérnöki megoldásokat: a KV-gyorsítótár csökkentése MQA és GQA segítségével, a következtetés gyorsítása spekulatív dekódolással és szerveres optimalizációkkal (PagedAttention/vLLM, continuous batching, chunked prefill).

Előnyök:

• Természetes szöveggenerálás (CLM): erős zero‑shot és few‑shot képességek; jól skálázható.
• Sokoldalú alkalmazhatóság: egyetlen modell sokféle feladatot old meg a promptban lévő utasítások és példák segítségével; természetesen kombinálható RAG-gal és eszközhívással (tool use).
• Érett ökoszisztéma: utasításos finomhangolás és viselkedési igazítás bevált módszerei (RLHF, DPO); nyílt forráskódú és kereskedelmi megvalósítások érhetők el.
• Gazdag következtetés-optimalizálási készlet: az MQA/GQA csökkenti a KV-gyorsítótár méretét és növeli az áteresztőképességet; a spekulatív dekódolás gyorsítja a következtetést az eloszlás megváltoztatása nélkül; a PagedAttention/vLLM a continuous batching és a chunked prefill segítségével növeli a GPU teljes kihasználtságát.
• Strukturált generálás támogatása szigorú válaszformátumokhoz (JSON/SQL/DSL), ami egyszerűsíti az integrációt információs rendszerekkel és API-kkal.

Hátrányok:

• Megnövekedett generálási késleltetés: szekvenciális következtetés; az új token költsége nő az „olvasott" kontextus hosszával (KV-gyorsítótár).
• Kevésbé előnyös a „hosszú bemenet – rövid kimenet" profilú feladatoknál (összefoglalás, fordítás) az encoder–decoder megközelítéssel szemben, ahol a bemenetet egyszer kódolják.
• Az egyirányú kontextus korlátja: megértési feladatoknál néha elmarad a kétirányú reprezentációjú modellektől (encoder‑only / encoder–decoder).
• A KV-gyorsítótárhoz szükséges memória „szűk keresztmetszet" lehet hosszú promptoknál és nagy kötegméretknél;
• Az aktivációk/KV kvantálása (INT8/FP8) gyorsítja a következtetést, de ronthatja a minőséget hosszú kontextusoknál/kódnál; gondos validálást igényel (különösen szigorú SLA esetén).

Reprezentatív modellek: GPT‑3, GPT‑4 (az architektúra és az adatkészlet részletei nem nyilvánosak), LLaMA és Llama 3 (8B/70B, 2024).

3. Encoder–decoder (kódoló–dekódoló, enkóder-dekóder)

Az architektúra mindkét komponenst ötvözi. Az enkóder kétirányú módban működik, a dekóder pedig kauzálisan. Az enkóder egyszer elemzi a bemenetet és kialakítja annak reprezentációját; a dekóder kimenetet generál, kereszt-figyelmen (cross‑attention) keresztül hozzáférve ehhez a reprezentációhoz. Ez a szétválasztott megközelítés különösen hasznos ott, ahol hosszú bemeneti szöveget kell rövid kimenetté alakítani: gépi fordítás, összefoglalás, dokumentum alapú válaszadás. Bár a módszer nagyobb összesített számítási költséggel jár (két halmaz és kereszt-figyelem), előnye a teljes forráselemzésen alapuló irányított generálás; a kódolás egyszer történik és a teljes következtetési folyamat során újrafelhasználható.

Előnyök:

• Feltételes generálás: a dekóder kereszt-figyelmet alkalmaz a bemenet reprezentációjára.
• Hatékony a „hosszú bemenet → rövid kimenet" forgatókönyvben: a bemenetet egyszer kódolják.
• Alkalmas a „text‑to‑text" formátumhoz és az irányított kimenethez (feladatspecifikus prefixek, speciális utasítások).
• Stabilitás és hatékonyság hosszú forrásnál: a dekódolási fázisban csak a kimenet önfigyelme nő, a kereszt-figyelem pedig az enkóder rögzített kulcsait/értékeit használja újra (a bemenetet nem „olvassa újra" minden lépésnél).

Hátrányok:

• A két halmaz növeli a memória- és számítási igényeket tanítás és alkalmazás során.
• Nagyon hosszú szekvenciáknál a teljes késleltetés összehasonlítható a decoder‑only megközelítéssel; az autoregresszió továbbra is szűk keresztmetszet.
• Kevesebb általános célú chat-modell létezik, mint a decoder‑only körben; általában magas minőségű seq2seq-motorként alkalmazzák specifikus feladatokra.
• Nagyon hosszú bemenetnél megnő a dekóder minden rétegében a kereszt-figyelem kulcsaihoz/értékeihez szükséges memória (a teljes forrásra vonatkozóan), ami gondos kiszolgálástervezést igényel.

Reprezentatív modellek: T5 (beleértve a T5 v1.1-et és az utasításos finomhangolási gyakorlatot a FLAN‑T5-ben) és BART.

Sűrű (dense) transformerek

Az LLM klasszikus és legelterjedtebb architektúrája: minden token feldolgozásakor a modell paramétereinek gyakorlatilag teljes készlete részt vesz. A ritka megközelítésekkel (pl. Mixture‑of‑Experts) ellentétben nincs szelektív részháló-aktiválás — minden blokk minden tokennél működik.

Működési elv és architektúra

Alapszerkezet. A modell N egyforma transformer-blokkból álló verem. Minden blokk tartalmaz:

1. Többfejű önfigyelmet (Multi‑Head Self‑Attention). Minden tokenhez három vektort számítanak: Q (query), K (key), V (value); a figyelmet $\mathrm{softmax}\left(\frac{Q{K}^{o}p+M}{\sqrt{d_k}}\right)\cdot V$ formájában definiálják, ahol $M$ egy maszk (kauzális és/vagy padding-maszk), amely kizárja az érvénytelen pozíciókat. Több „figyelemfej\" párhuzamosan veszi figyelembe a kontextus különböző aspektusait (H fej, általában $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$); számuk a modell méretével együtt nő.
2. Teljesen összekötött hálózatot (Feed‑Forward Network, FFN). Két lineáris réteg nemlinearitással köztük (általában GELU/SiLU; egyes modern modellekben SwiGLU). A közbülső dimenzió általában $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$; SwiGLU használatakor gyakran $\approx frac83d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ értéket alkalmaznak a hasonló paraméterszám megőrzése érdekében. Az FFN a paraméterek jelentős hányadát tartalmazza.

Kiegészítő komponensek. Reziduális (residual) kapcsolatokat és rétegnormalizációt alkalmaznak; a modern LLM-ekben gyakrabban használják a Pre-LN-t (normalizálás az alblokkok előtt) — ez javítja a tanítás stabilitását nagy mélységeknél. A klasszikus LayerNorm mellett egyre elterjedtebb az RMSNorm (csökkenti a számítási költséget és jól működik nagy modellekben); egyes modellcsaládokban figyelmi térben is alkalmaznak normalizálást (pl. Q/K normalizálása softmax előtt). A pozíciós reprezentációk lehetnek abszolútak vagy relatívak; hosszú kontextus esetén de facto szabvánnyá vált a RoPE.

Modellpéldák és méretarány

• BERT‑Large: 24 réteg, 1024-es dimenzió, 16 figyelemfej, ≈340 millió paraméter.
• GPT‑3 (175B): 96 réteg, 12 288-as dimenzió, 96 figyelemfej, ≈175 milliárd paraméter.
• LLaMA‑65B: 80 réteg, 8192-es dimenzió, 64 figyelemfej, ≈65 milliárd paraméter.
• PaLM‑540B: 118 réteg, kb. 18 432-es dimenzió, ≈540 milliárd paraméter.

Előnyök

• Egységes blokkok, jól ismert tanítási módok és kiszámítható skálázási viselkedés.
• A minőség hatványfüggvény szerint javul a paraméterek és adatok növekedésével; a compute‑optimal mód a modellméret és a tanító tokenek számának együttes növelését feltételezi.
• Ugyanaz az architektúra finomhangolás után a feladatok széles körét lefedi rétegszintű módosítások nélkül.

Hátrányok

• A teljes önfigyelem kvadratikus komplexitású a szekvenciahosszra nézve ($O(n^2)$), ami korlátozza a kontextusablakot.
• Teljes paraméteraktiválás a generálás lépésénél: MoE nélküli dekóderben a tokenenkénti következtetési költség nagyjából arányosan nő a paraméterek számával.
• Szűk keresztmetszet a memória-sávszélességnél (memory‑bound): a súlyok HBM-ből való betöltése gyakran korlátozza a következtetés sebességét.

Skálázási és kontextusbeli korlátok

• A paraméterekhez szükséges memória lineárisan nő a modell méretével; a tanítási memória a gradiensek és az optimalizáló állapotai miatt tovább növekszik.
• Az alapkonfigurációk történelmileg 2–4 ezer tokenre korlátozódtak. A modern pozíciókezelési módszerek (RoPE) és a bővítési technikák (Position Interpolation, YaRN stb.) lehetővé teszik az ablak nagyságrendnyi növelését, de ez további számítási/memória-terheléssel jár.

Modern optimalizálások

• FlashAttention. Pontos figyelem a GPU memóriahierarchiájának figyelembevételével; csökkenti a memóriaigényt és gyorsítja a tanítást/következtetést hosszú szekvenciáknál.
• KV-gyorsítótár csökkentése és kezelése. A Multi‑Query Attention és a Grouped‑Query Attention csökkenti a gyorsítótár méretét és a memória-forgalmat; szerver szintjén a PagedAttention (vLLM) lapozásos gyorsítótár-kezeléssel növeli az áteresztőképességet.
• Spekulatív dekódolás. Egy vázlat (draft) modell javasol egy folytatást, amelyet a fő modell gyorsan ellenőriz; gyorsítás érhető el a kimeneti eloszlás megváltoztatása nélkül.

Ritka modellek (Sparse Models) és Mixture‑of‑Experts (MoE)

A MoE olyan módszer, amellyel a modell kapacitása a tokenenkénti számítások arányos növelése nélkül növelhető. Egy nagy FFN-blokk helyett a rétegben párhuzamos „szakértők" (több független FFN) halmaza van jelen, és egy tanítható router (gating network) minden tokenhez kiválasztja a top‑k legrelevansabb szakértőt (általában k=1–2; egyes modellekben k=4). Csak a kiválasztott szakértők aktiválódnak; kimeneteiket súlyozzák és összeadják. Így az összes paraméter száma elérheti a százmilliárdokat, sőt a billiókat, de minden lépésnél csak kis hányaduk kerül felhasználásra.

Modellpéldák és méretarány

• Switch Transformer (Google): akár ~1,6T paraméter; top‑1 útválasztás (egy szakértő tokenenként). Megmutatta, hogy a MoE lehetővé teszi a kapacitás drasztikus növelését hasonló tokenenkénti költségek mellett.
• GLaM (Google): 1,2T paraméter, rétegenkénti 64 szakértő, top‑2; minden tokennél ≈96,6 milliárd paraméter aktiválódik (≈8%).
• Mixtral 8×7B (Mistral AI): összesen ~46,7 milliárd paraméter, tokenenkénti ≈12,9 milliárd aktív paraméter, top‑2.
• Mixtral 8×22B: összesen ~141 milliárd paraméter, tokenenkénti ≈39 milliárd aktív paraméter, top‑2.
• DBRX (Databricks): összesen 132 milliárd paraméter, tokenenkénti ≈36 milliárd aktív paraméter; 16 szakértő és top‑4 útválasztás (fine‑grained MoE).

Előnyök

• A számítási költséget az aktív szakértők k száma határozza meg, nem a paraméterek teljes száma: billió méretű modellek taníthatók és alkalmazhatók a lényegesen kisebb sűrű modellekkel összehasonlítható költségek mellett.
• Specializáció: a szakértők automatikusan „igazodnak\" nyelvekhez/doménekhez/mintákhoz, javítva a minőséget multidomain feladatokban.
• Rugalmas telepítés: a gyakran használt szakértők memóriában tarthatók, a ritkák betölthetők (megfelelő infrastruktúra esetén).

Korlátok

• Terheléselosztás: szabályozás nélkül a router a szakértők egy részére „ragadhat" (router collapse). Segéd-veszteségek (load‑balancing) és fejlettebb útválasztási sémák szükségesek.
• Elosztott számítás összetettsége: expert parallelism és all‑to‑all kommunikáció szükséges; a kommunikációs overhead és a memóriakezelés szűk keresztmetszet lesz.
• Tanítási stabilitás: fontos a router és a kapacitási korlátok beállítása, különben minőség/konvergencia-romlás következhet be.

Modern fejlesztések

• Expert‑Choice routing: a szakértők „választják\" a tokeneket, ami javítja az elosztást és a konvergenciát hasonló költségek mellett.
• Fine‑grained MoE: nagyobb számú, kisebb szakértő (mint a DBRX-ben) finomabb specializációs szemcsézettséget eredményez.
• Sparse Upcycling: egy sűrű modell MoE-vé alakítása a checkpoint-jából lehetővé teszi a minőség jelentős javítását mérsékelt költségek mellett.

A MoE alkalmazásának indokoltsága

• Nagy multidomain asszisztensek korlátozott számítási kerettel.
• Széles korpuszon való tanítás, ahol a specializáció előnyt jelent.
• Fejlett elosztott infrastruktúrával rendelkező forgatókönyvek (sok GPU/TPU és gyors hálózatok).

Mikor jobbak a sűrű modellek: korlátozott infrastruktúra esetén (1–2 GPU), szigorú kiszámítható késleltetési és egyszerű telepítési követelmények esetén.

Retrieval‑Augmented Generation (RAG)

A RAG az LLM körüli rendszerszintű architektúra-minta, nem pedig maga a modell belső architektúrája. Ötvözi az LLM-et (generatív komponens) egy külső tudásbázissal (kinyerési komponens), ami lehetővé teszi a modell korlátozott „parametrikus memóriájának\" kompenzálását.

• Működési elv: A generálás előtt az LLM releváns dokumentumokat keres ki egy külső forrásból (wiki, vállalati tudásbázis, web), és ezekre támaszkodik a válasz összeállításakor.
• Előnyök:
  • Hallucinációk csökkentése és faktikus pontosság javítása.
  • Naprakészség a modell teljes újratanítása nélkül.
  • Válaszok idézhetősége és nyomon követhetősége.
• Alkalmazás: De facto szabvány vállalati asszisztensek és olyan rendszerek esetén, ahol ellenőrizhető tények, valamint magán- vagy szűk szakterületi adatokkal való munka szükséges.

Figyelmi mechanizmusok és kontextuskezelés

Az alapvető önfigyelem kvadratikus komplexitású a szekvenciahosszra nézve ($O(n^2)$), ezért különböző optimalizálások jelentek meg.

• Ritka figyelem (Sparse Attention): A figyelem korlátozása lokális ablakokra/mintákra. Példák: Longformer, BigBird.
• FlashAttention: A számítási sorrend átrendezése a GPU memóriahierarchiájának figyelembevételével; jelentős időbeli és memóriabeli előnyt nyújt, és de facto szabvánnyá vált az LLM-ek hosszú kontextusú tanításakor.
• MQA/GQA (dekódolás gyorsítása): A Multi‑Query Attention (megosztott kulcsok/értékek minden fejhez) csökkenti a KV-gyorsítótár forgalmát. A Grouped‑Query Attention egyensúlyt teremt a minőség és a sebesség között.
• Fejlett pozíciós reprezentációk:
  • ALiBi (Attention with Linear Biases): Lineáris eltolások a figyelmi pontszámokhoz, amelyek javítják az általánosítást nagy hosszakra.
  • RoPE (Rotary Position Embeddings): Relatív pozíciós információ Q/K forgatásán keresztül; széles körben alkalmazott a modern modellekben (pl. LLaMA).
  • RoPE-modellek kontextusablakának bővítése: Position Interpolation , YaRN , valamint NTK-aware módosítások lehetővé teszik a kontextusablak hatékony növelését az architektúra megváltoztatása nélkül.

• Egyéb megközelítések hosszú szekvenciákhoz:
  • Transformer‑XL: Rekurrens memória szegmensek között a távolsági függőségek modellezéséhez.
  • Reformer: LSH-attention és visszafordítható reziduális blokkok a memória megtakarításához.
  • Performer: A softmax-attention lineáris közelítése (FAVOR+).
  • Linformer: A figyelemmátrix alacsony rangú közelítése.

Modelloptimalizálások és tanítási infrastruktúra

Az LLM-ek tanításához és telepítéséhez speciális technikákat és keretrendszereket alkalmaznak.

• Kvantálás (Quantization): A súlyok bitmélységének csökkentése csökkenti a memóriaigényt és gyorsítja a következtetést. A QLoRA lehetővé teszi a 4 bites modellek (beleértve a 65B-t is) hatékony finomhangolását, közel teljes pontosságú minőséggel.
• Tudásdesztilláció (Knowledge Distillation): Teacher→Student tanítás kompakt modellekhez; példa: DistilBERT.
• Elosztott tanítás:
  • DeepSpeed és ZeRO — paraméterek/gradiensek/optimalizáló állapotok elosztása billió paraméteres modellek tanításához.
  • Megatron‑LM — tenzoriális és csővezeték-párhuzamosság nagyon nagy transformerekhez.
• Ökoszisztéma és eszközök: A Hugging Face Transformers és az Accelerate szabványos modellmegvalósításokat és DeepSpeed/FSDP-integrációt biztosítanak tanításhoz és következtetéshez.

Skálázási törvények és compute‑optimal tanítás

Az empirikus skálázási törvények megmutatják, hogy a kereszt-entrópia hiba hatványfüggvény szerint csökken a paraméterek, az adatok és a számítások növekedésével. A Chinchilla munka pontosította a compute‑optimal módokat: az optimális hatékonysághoz a modell méretét és a tanító tokenek számát együttesen kell skálázni (példa: egy 70B-es modell, amelyet ~1,4T tokenen tanítottak, felülmúlja a nagyobb, alultanított modelleket).

Állapottér-modellek (State Space Models, SSM)

Az State Space Models (SSM) a transformerekkel szemben alternatív architektúrát kínálnak hosszú szekvenciák feldolgozásához. A vezérléselméletből és a digitális jelfeldolgozásból merítve megoldják az önfigyelem fő problémáját: a számítások kvadratikus növekedését a szöveg hosszával.

Az alapvető probléma és a megoldás

A transformerek problémája. A hagyományos transformerek fő problémája a figyelem kvadratikus komplexitása: 10-szer hosszabb szöveg körülbelül 100-szor több számítást igényel.

Az SSM megközelítése. Az összes szóra való egyidejű figyelem helyett a modell szekvenciálisan halad a szövegen, és kompakt belső memóriaállapotot tart fenn, amelyet minden lépésnél frissít. Ennek eredményeként az idő- és memóriaigény körülbelül lineárisan nő a szöveg hosszával. Eközben a tanítás párhuzamosan végezhető — az összevonási kernel-reprezentáción keresztül (nagy áteresztőképesség hosszú szekvenciáknál).

Működési elv

A diszkrét SSM-et állapot- és kimeneti egyenletek írják le:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

ahol $x_t$ a memóriaállapot, $u_t$ a bemenet (token), $y_t$ a kimenet. Mély SSM-ekben a $A,B,C,D$ mátrixokat úgy paraméterezik, hogy stabilitást és hatékony számítást biztosítsanak hosszú szekvenciákon. Ugyanaz a réteg tekinthető:

• rekurrensnek (lépésenkénti pásztázás) — memóriahatékony következtetés KV-gyorsítótár nélkül;
• konvolúciósnak — párhuzamos tanítás előre számított kernellel.

Fő architektúrák és hibridek

• S4 (Structured State Spaces). Az SSM alapmodellje stabil állapotmátrix-paraméterezéssel; hatékonyságot mutat nagyon hosszú szekvenciákon.
• Mamba. Szelektív SSM-ek: a memória frissítési szabályai a pillanatnyi bemenettől függnek (a modell maga dönti el, mit „tartson meg" és mit „felejtsen el"). A megvalósítás a GPU memóriahierarchiájára van optimalizálva; a szerzők szerint többszörös áteresztőképesség-növekedés érhető el lineáris komplexitás mellett.
• RetNet. A retention\" mechanizmus három móddal: párhuzamos tanítás, rekurrens és blokk-rekurrens következtetés. A cél a gyors tanítás (mint a transformereknél) és a hatékony kimeneti folyam (O(1) memória tokenenkénti) kombinálása.
• Attention+SSM hibridek. Példa: Jamba (Transformer és Mamba rétegek váltakozása plusz MoE): állítólag ~256 K tokenes kontextust támogat lényegesen kisebb memóriaigénnyel, mint a hasonló osztályú tisztán transformer-alapú modellek.

Előnyök

• Lineáris komplexitás és memóriatakarékosság következtetéskor. Nincs globális önfigyelem és KV-gyorsítótár; csak kompakt állapot tárolódik.
• Párhuzamos tanítás hosszú szekvenciákon. A konvolúciós mód növeli a tanítás áteresztőképességét.
• Hardveres hatékonyság. A megvalósítások a modern memóriahierarchiára (HBM/SRAM) vannak optimalizálva.
• Hosszú kontextusok és streaming. Az SSM+Attention hibridek praktikusak több százezer tokenig mérsékelt erőforrásokkal.

Korlátok és jelenlegi gyakorlat

• Ökoszisztéma érettsége. Az eszközök és a skálázási „receptek\" (utasítások, RLHF/DPO) egyelőre elmaradnak a transformer-alapú készlettől.
• Minőség és stabilitás. Egyes feladatokon a hibridek (Attention+SSM) stabilabb „minőség/sebesség/memória\" kompromisszumot mutatnak, mint a „tiszta" SSM-ek.

Megközelítések összehasonlítása (általánosan)

Jellemző	Transformerek	SSM	Hibridek (Attention+SSM)
Hossz szerinti komplexitás	Kvadratikus (önfigyelem)	Lineáris (pásztázás/konvolúció)	Közel lineáris
Memória tokenenként (következtetés)	KV-gyorsítótár nő a kontextussal	O(1) állapot	Mérsékelt növekedés
Hosszú kontextusok	Speciális optimalizálások szükségesek	Természetes támogatás	Praktikus ~256 K-ig
Ökoszisztéma érettsége	Magas	Fejlődőben	Fejlődőben

Gyakorlati alkalmazások

• Nagyon hosszú dokumentumok elemzése (könyvek, jelentések, tudományos áttekintések).
• Folyamatos feldolgozás és chat-forgatókönyvek hosszú előzménnyel memóriaterhelés növelése nélkül.
• Korlátozott erőforrással rendelkező környezetek (mobil/edge eszközök).
• Idősorok és egyéb szekvenciális adatok.

Reprezentatív modellek: S4, Mamba, RetNet; Attention+SSM hibridek (Jamba).

Az architektúrák fejlődése

• 2017 — megjelenik az „Attention Is All You Need\" cikk. Bemutatják a transformer architektúrát: a többfejű önfigyelem és a pozíciós kódolások lehetővé teszik a modellek rekurrencia és konvolúció nélküli tanítását; ugyanakkor a figyelem kvadratikus komplexitású a kontextushossz szerint.

• 2018 — bemutatják a GPT‑1-et és a BERT-et. A GPT‑1 csak dekódereket tartalmazó veremet használ kauzális figyelemmel a generáláshoz és az azt követő finomhangoláshoz; a BERT kétirányú enkódert és MLM előtanítást vezet be a szövegmegértési feladatokhoz.

• 2019 — megjelennek a hosszú szekvenciákkal való munkavégzés módjai és a decoder‑only méretezése. A Transformer‑XL „memóriát\" és relatív pozíciókat ad hozzá a rögzített ablak túllépéséhez; a GPT‑2 megmutatja a zero‑shot képességek növekedését skálázáskor; a BART hatékonyságát bizonyítja a denoising előtanítás seq2seq feladatokhoz.

• 2020 — egységesítik a „text‑to‑text\" formátumot és bemutatják a hosszú dokumentumok kezelésének módszereit. A T5 egységes encoder–decoder megközelítést fogalmaz meg különböző feladatokhoz; a Longformer és a BigBird ritka/strukturált figyelmet alkalmaz hosszú szövegekhez; a GPT‑3 megerősíti a sűrű decoder‑only skálázásának hatékonyságát.

• 2021 — javítják a pozíciós reprezentációkat és megmutatják a paraméter-ritkaságot (MoE). A RoPE és az ALiBi javítja az általánosítást nagy hosszakon; a Switch Transformer és a GLaM tokenenkénti csak néhány szakértőt aktivál, növelve a kapacitást a kimeneti költség arányos növelése nélkül.

• 2022 — pontosítják a compute‑optimal módot és gyorsítják a következtetést hosszú promptokon. A Chinchilla megmutatja a több tanító token előnyét mérsékelt modellméret esetén; a PaLM Multi‑Query Attention segítségével csökkenti a KV-gyorsítótár méretét; a FlashAttention gyorsítja a figyelmet GPU-n.

• 2023 — megnövelik a kontextusablakokat a rétegek módosítása nélkül és javítják a kiszolgálást. A LLaMA modellcsalád megszilárdítja a bevált gyakorlatokat (RMSNorm, SwiGLU, RoPE); a Position Interpolation és a YaRN bővíti a kontextust; a vLLM/PagedAttention hatékonyabban kezeli a KV-gyorsítótárat.

• 2023 — a GPT‑4 és a Gemini egyetlen modellcsaládon belül megmutatja a többmodális feldolgozást és generálást.

• 2023 — megjelennek az állapottér-modellek (SSM). A Mamba és a RetNet visszatér a kompakt állapottal rendelkező szekvenciális feldolgozáshoz KV-gyorsítótár helyett, és megalapozzák a hibrid architektúrákat.

• 2024 — megjelennek a nyílt MoE-modellek és Attention+SSM hibridek; gyorsítják a figyelmet az új GPU-kon. A Mixtral 8×7B/8×22B és a DBRX megerősíti a MoE gyakorlati alkalmazhatóságát; a Jamba ötvözi a Transformer és a Mamba modelleket nagyon hosszú kontextusokhoz; a FlashAttention‑3 növeli az áteresztőképességet.

Hivatkozások

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — vizuális magyarázat

Irodalom

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768