Arhitecturi LLM

Arhitecturile modelelor lingvistice de mari dimensiuni (LLM) reprezintă principiile și structurile fundamentale care determină modul în care sunt construite, antrenate și funcționează modelele lingvistice de mari dimensiuni. LLM-urile moderne, capabile să înțeleagă și să genereze limbaj uman, se bazează aproape în întregime pe arhitectura Transformer, dar includ numeroase îmbunătățiri și abordări diverse, orientate spre creșterea eficienței, scalabilității și capabilităților.

Familii de arhitecturi LLM (transformere)

Modelele lingvistice de mari dimensiuni moderne se bazează pe arhitectura transformer, dar o utilizează diferit în funcție de scop: înțelegerea textului, generarea unei continuări sau transformarea unui text în altul. În practică se disting trei familii, cu păstrarea principiilor de bază ale transformer-ului.

1. Encoder‑only (doar codificator, doar encoder)

Modelul utilizează doar stiva de codificatoare și procesează întregul text de intrare în mod bidirecțional. Pre-antrenarea este de obicei construită ca masked‑language modeling (MLM, modelare lingvistică cu mascarea tokenilor): o parte dintre tokeni sunt mascați, iar modelul învață să îi recupereze din context. Datorită contextului bidirecțional, astfel de modele excelează la sarcinile de înțelegere și scorare: clasificare, extragere de entități, reordonarea documentelor și QA extrac­tiv. Nu sunt destinate generării autoregresive „de la zero".

În plus, în practică se aplică și obiective alternative de pre-antrenare pentru familia encoder‑only: replaced token detection (RTD) în ELECTRA (modelul-discriminator detectează tokenii înlocuiți) și antrenarea contrastivă a bi-encoderelor pentru căutare semantică/retrieval (InfoNCE/softmax‑loss pe perechi „interogare-document", ca în Dense Passage Retrieval). Când sunt utilizate în RAG, modelele encoder‑only acționează fie ca bi-encoder (codificarea separată a interogării și documentului pentru căutare rapidă ANN), fie ca cross-encoder (codificarea comună a perechii pentru reordonare precisă).

Avantaje:

• Calitate ridicată în înțelegerea textului datorită contextului bidirecțional: clasificare, NER, extragere de fapte, reordonare, QA extractiv.
• Procesare paralelă și debit ridicat: o singură trecere directă fără auto-regresie; convenabil pentru scorarea în lot a volumelor mari.
• Integrare naturală cu căutarea și RAG: ca bi-encoder — căutare semantică rapidă; ca cross-encoder — reordonare precisă.
• Adaptare eficientă: variantele relativ compacte (≈100–300 milioane de parametri; BERT‑base ≈110 milioane) oferă calitate ridicată după ajustarea fină orientată pe sarcini.
• Latență stabilă, independentă de lungimea răspunsului generat (fără decodare pas cu pas); potrivite pentru scorarea offline a colecțiilor mari.
• Posibilitatea de a extinde fereastra de context a encoderelor prin poziții relative/rotaționale și/sau atenție local-rarefiatoare (ex.: Longformer/BigBird), util pentru documente lungi.

Dezavantaje:

• Fără capacități generative proprii: pentru dialoguri și răspunsuri elaborate este necesar un decodor sau un modul generativ extern.
• Limitare în scenariile interactive: fără generare pas cu pas cu păstrarea stării.
• Nepotrivire între obiectivul de pre-antrenare și sarcinile de generare liberă: MLM se aliniază mai slab cu generarea față de modelarea cauzală.
• Fereastră de context istoric limitată (adesea 512 tokeni în configurațiile de bază cu poziții absolute); extinderea necesită scheme speciale de poziție/atenție și/sau ajustare fină.
• Pentru sarcinile de retrieval este necesară o ajustare fină contrastivă separată a bi-encoderului și/sau cross-encoderului; fără aceasta, calitatea căutării/reordonării este de obicei inferioară modelelor special antrenate.

Modele reprezentative: BERT și derivatele sale, precum și RoBERTa și DeBERTa (variante extinse encoder‑only); dintre obiectivele alternative de pre-antrenare — ELECTRA (RTD).

2. Decoder‑only (doar decodificator, doar decoder)

Este utilizată doar stiva de decodificatoare cu atenție cauzală (de la stânga la dreapta): modelul prezice următorul token pe baza prefixului deja dat. Acest regim de antrenare — causal language modeling (CLM) — face aceste modele alegerea naturală pentru generare: dialoguri, răspunsuri elaborate, text creativ, cod sursă. Compromisul constă în creșterea latenței și a volumului KV‑cache la prompturi lungi. În practică, pentru decoder‑only se aplică pe scară largă tehnici inginerești: reducerea KV‑cache prin MQA și GQA, accelerarea inferenței prin decodare speculativă și optimizări de server (PagedAttention/vLLM, continuous batching, chunked prefill).

Avantaje:

• Generare naturală a textului (CLM): capacități puternice zero‑shot și few‑shot; scalare bună.
• Versatilitate de utilizare: un singur model rezolvă numeroase sarcini prin instrucțiuni și exemple în prompt; se combină natural cu RAG și apelarea de instrumente (tool use).
• Ecosistem matur: practici de ajustare fină prin instrucțiuni și aliniere comportamentală (RLHF, DPO); implementări open-source și comerciale disponibile.
• Stivă bogată de optimizări pentru inferență: MQA/GQA reduc volumul KV‑cache și cresc debitul; decodarea speculativă accelerează inferența fără a modifica distribuția; PagedAttention/vLLM cu continuous batching și chunked prefill cresc utilizarea end-to-end a GPU.
• Suport pentru generare structurată pentru formate stricte de răspuns (JSON/SQL/DSL), ceea ce simplifică integrarea cu SI și API.

Dezavantaje:

• Latență crescută la generare: inferență secvențială; costul unui nou token crește cu lungimea contextului deja „citit" (KV‑cache).
• Mai puțin avantajos pentru profilul „intrare lungă – ieșire scurtă" (sumarizare, traducere) față de encoder–decoder, unde intrarea este codificată o singură dată.
• Limitare la contextul unidirecțional: în sarcinile de înțelegere, uneori cedează modelelor cu reprezentare bidirecțională (encoder‑only / encoder–decoder).
• Memoria pentru KV‑cache poate deveni „gâtul de sticlă" la prompturi lungi și loturi mari;
• Cuantizarea activărilor/KV (INT8/FP8) accelerează inferența, dar poate degrada calitatea pe contexte lungi/cod; necesită validare atentă (în special la SLA stricte).

Modele reprezentative: GPT‑3, GPT‑4 (detaliile arhitecturii și ale setului de date nu sunt dezvăluite public), LLaMA și Llama 3 (8B/70B, 2024).

3. Encoder–decoder (codificator–decodificator, encoder-decoder)

Arhitectura combină ambele componente. Encoderul funcționează în mod bidirecțional, iar decoderul — cauzal. Encoderul analizează o dată intrarea și formează reprezentarea acesteia; decoderul generează ieșirea, accesând această reprezentare prin cross‑attention. Această abordare separată este deosebit de utilă acolo unde este necesară transformarea unui text de intrare lung într-o ieșire scurtă: traducere automată, sumarizare, răspunsuri bazate pe documente. Deși metoda necesită costuri computaționale cumulate mai mari (două stive și cross-atenție), avantajul său este generarea controlată pe baza analizei complete a textului sursă; în plus, codificarea se efectuează o singură dată și este reutilizată pe parcursul întregului proces de inferență.

Avantaje:

• Generare condiționată: decoderul utilizează cross‑attention față de reprezentarea intrării.
• Eficient în scenariul „intrare lungă → ieșire scurtă": intrarea este codificată o singură dată.
• Convenabil pentru formatul „text‑to‑text" și ieșire controlată (prefixuri de sarcini, instrucțiuni speciale).
• Stabilitate și eficiență la sursă lungă: în faza de decodare crește doar self‑attention pe ieșire, iar cross‑attention reutilizează cheile/valorile fixe ale encoderului (intrarea nu este „recitită" la fiecare pas).

Dezavantaje:

• Cele două stive cresc cerințele de memorie și calcul la antrenare și utilizare.
• La secvențe extrem de lungi, latența totală este comparabilă cu decoder‑only; auto-regresia rămâne blocajul principal.
• Mai puține modele de chat universale față de decoder‑only; sunt utilizate mai frecvent ca motor seq2seq de înaltă calitate pentru sarcini specifice.
• La o intrare foarte lungă, crește memoria pentru cheile/valorile cross‑attention în fiecare strat al decodorului (pe întreaga sursă), ceea ce necesită o planificare atentă a servirii.

Modele reprezentative: T5 (inclusiv T5 v1.1 și practica ajustării fine prin instrucțiuni în FLAN‑T5) și BART.

Transformere dense (dense transformers)

Arhitectura clasică și cea mai răspândită pentru LLM: la procesarea fiecărui token participă practic întregul set de parametri ai modelului. Spre deosebire de abordările rarefiate (de exemplu, Mixture‑of‑Experts), nu există activare selectivă a subrețelelor — fiecare bloc funcționează pentru fiecare token.

Principiu de funcționare și arhitectură

Structura de bază. Modelul este o stivă de N blocuri transformer identice. Fiecare bloc include:

1. Atenție multi-cap cu auto-atenție (Multi‑Head Self‑Attention). Pentru fiecare token se calculează trei vectori: Q (query), K (key), V (value); atenția este definită ca $\mathrm{softmax}\left(\frac{Q{K}^{o}p+M}{\sqrt{d_k}}\right)\cdot V$, unde $M$ este masca (cauzală și/sau de padding), care exclude pozițiile inadmisibile. Mai multe „capete" de atenție iau în considerare simultan diferite aspecte ale contextului (H capete, de obicei $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$); numărul lor crește odată cu scala modelului.
2. Rețea feed-forward (Feed‑Forward Network, FFN). Două straturi liniare cu o neliniaritate între ele (de obicei GELU/SiLU; în unele modele moderne — SwiGLU). Dimensiunea intermediară este de obicei $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$; când se utilizează SwiGLU, se ia adesea $\approx frac83d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ pentru a păstra un număr comparabil de parametri. FFN conține o parte semnificativă a parametrilor.

Componente suplimentare. Se utilizează conexiuni reziduale și normalizare a straturilor; în LLM-urile moderne se aplică mai frecvent Pre‑LN (normalizare înainte de subblocuri) — aceasta îmbunătățește stabilitatea antrenării la adâncimi mari. Pe lângă LayerNorm clasic, se utilizează tot mai mult RMSNorm (reduce costurile computaționale și funcționează bine în modelele mari); de asemenea, în unele familii se aplică normalizarea în spațiul atenției (ex.: normalizarea Q/K înainte de softmax). Reprezentările poziționale pot fi absolute sau relative; pentru context lung, standardul de facto a devenit RoPE.

Exemple de modele și scală

• BERT‑Large: 24 straturi, dimensiune 1024, 16 capete de atenție, ≈340 milioane de parametri.
• GPT‑3 (175B): 96 straturi, dimensiune 12288, 96 capete de atenție, ≈175 miliarde de parametri.
• LLaMA‑65B: 80 straturi, dimensiune 8192, 64 capete de atenție, ≈65 miliarde de parametri.
• PaLM‑540B: 118 straturi, dimensiune de ordinul 18432, ≈540 miliarde de parametri.

Avantaje

• Blocuri uniforme, regimuri de antrenare bine studiate și comportament previzibil la scalare.
• Calitatea se îmbunătățește conform unei legi de putere odată cu creșterea parametrilor și a datelor; regimul compute‑optimal presupune creșterea simultană a dimensiunii modelului și a volumului de tokeni de antrenare.
• Aceeași arhitectură, după ajustarea fină, acoperă un spectru larg de sarcini fără modificări la nivel de straturi.

Dezavantaje

• Auto-atenția completă are complexitate pătratică față de lungimea secvenței ($O(n^2)$), ceea ce limitează fereastra de context.
• Activarea completă a parametrilor la pasul de generare: în decodor fără MoE, costul inferenței per token crește aproximativ proporțional cu numărul de parametri.
• Blocajul principal este debitul de memorie (memory‑bound): încărcarea ponderilor din HBM limitează adesea viteza de inferență.

Limitări ale scalării și contextului

• Memoria pentru parametri crește liniar cu dimensiunea modelului; memoria de antrenare crește din cauza gradienților și a stărilor optimizatorului.
• Configurațiile de bază au fost limitate istoric la 2–4 mii de tokeni. Schemele moderne de poziționare (RoPE) și tehnicile de extindere (Position Interpolation, YaRN etc.) permit creșterea ferestrei cu un ordin de mărime și mai mult, dar cu costul unei sarcini computaționale/de memorie suplimentare.

Optimizări moderne

• FlashAttention. Atenție exactă ținând cont de ierarhia memoriei GPU; reduce costurile de memorie și accelerează antrenarea/inferența la secvențe lungi.
• Reducerea și gestionarea KV‑cache. Multi‑Query Attention și Grouped‑Query Attention reduc volumul cache-ului și traficul de memorie; la nivel de server, PagedAttention (vLLM) crește debitul prin gestionarea paginată a cache-ului.
• Decodare speculativă. Un model draft propune o continuare, iar modelul principal o verifică rapid; se obține accelerare fără modificarea distribuției ieșirii.

Modele rarefiate (Sparse Models) și Mixture‑of‑Experts (MoE)

MoE este o modalitate de a crește capacitatea modelului fără o creștere proporțională a calculelor per token. În loc de un singur bloc FFN mare în strat, se utilizează un set de „experți" paraleli (mai multe FFN independente), iar un router antrenabil (gating network) selectează pentru fiecare token top‑k cei mai relevanți experți (de obicei k=1–2; în unele modele k=4). Sunt activați doar experții selectați; ieșirile lor sunt ponderate și sumate. Astfel, numărul total de parametri poate fi de sute de miliarde și chiar trilioane, dar la fiecare pas este utilizată doar o mică fracție.

Exemple de modele și scală

• Switch Transformer (Google): până la ~1.6T parametri; rutare top‑1 (un expert per token). A demonstrat că MoE permite creșterea bruscă a capacității la costuri comparabile per token.
• GLaM (Google): 1.2T parametri, 64 experți per strat, top‑2; pentru fiecare token sunt activați ≈96.6B parametri (≈8%).
• Mixtral 8×7B (Mistral AI): ~46.7B parametri total, ≈12.9B activi per token, top‑2.
• Mixtral 8×22B: ~141B parametri total, ≈39B activi per token, top‑2.
• DBRX (Databricks): 132B parametri total, ≈36B activi per token; 16 experți și rutare top‑4 (fine‑grained MoE).

Avantaje

• Costul calculelor este determinat de numărul de experți activi k, nu de numărul total de parametri: se pot antrena și utiliza modele la scară de trilioane la costuri comparabile cu modele dense considerabil mai mici.
• Specializare: experții se „adaptează" automat la limbi/domenii/tipare, îmbunătățind calitatea în sarcinile multi-domeniu.
• Implementare flexibilă: se pot păstra în memorie experții frecvent utilizați și se pot încărca cei rari (cu infrastructura corespunzătoare).

Limitări

• Echilibrarea încărcării: fără regularizare, routerul poate „bloca" o parte dintre experți (router collapse). Sunt necesare auxiliary losses (load‑balancing) și scheme de rutare îmbunătățite.
• Complexitatea calculelor distribuite: necesită expert parallelism și schimb all‑to‑all; costurile de comunicare și gestionarea memoriei devin blocajul principal.
• Stabilitate la antrenare: configurările routerului și ale limitărilor de capacitate (capacity) sunt importante, altfel pot apărea degradări ale calității/convergenței.

Îmbunătățiri moderne

• Expert‑Choice routing: experții „aleg" tokenii, ceea ce îmbunătățește echilibrarea și convergența la costuri comparabile.
• Fine‑grained MoE: un număr mai mare de experți mai mici (ca în DBRX) oferă o granularitate fină a specializării.
• Sparse Upcycling: conversia unui model dens în MoE din checkpoint-ul său permite creșterea semnificativă a calității la costuri moderate.

Oportunitatea utilizării MoE

• Asistenți multi-domeniu de mari dimensiuni cu buget compute limitat.
• Antrenare pe corpusuri extinse, unde specializarea aduce câștig.
• Scenarii cu infrastructură distribuită dezvoltată (multe GPU/TPU și rețele rapide).

Când sunt preferate modelele dense: infrastructură limitată (1–2 GPU), cerințe stricte de latență previzibilă și simplitate a implementării.

Retrieval‑Augmented Generation (RAG)

RAG este un tipar de sistem în jurul LLM, nu o arhitectură internă a modelului în sine. El combină LLM-ul (componenta generativă) cu o bază de cunoștințe externă (componenta de extragere), ceea ce permite compensarea limitărilor „memoriei parametrice" a modelului.

• Principiu de funcționare: Înainte de generare, LLM extrage documente relevante dintr-o sursă externă (wiki, bază de cunoștințe corporativă, web) și se bazează pe ele la formularea răspunsului.
• Avantaje:
  • Reducerea halucinațiilor și îmbunătățirea acurateței factuale.
  • Actualitate fără re-antrenarea completă a modelului.
  • Posibilitatea de a cita și trasa sursele răspunsurilor.
• Aplicare: Standard de facto pentru asistenții corporativi și sistemele unde sunt necesare fapte verificabile și lucrul cu date private/de nișă.

Mecanisme de atenție și lucrul cu contextul

Auto-atenția de bază are complexitate pătratică față de lungimea secvenței ($O(n^2)$), de aceea au apărut optimizări.

• Atenție rarefiatăoare (Sparse Attention): Limitarea atenției la ferestre/tipare locale. Exemple: Longformer, BigBird.
• FlashAttention: Restructurarea ordinii calculelor ținând cont de ierarhia memoriei GPU; oferă un câștig semnificativ de timp și memorie și a devenit standardul de facto la antrenarea LLM-urilor cu context lung.
• MQA/GQA (accelerarea decodării): Multi‑Query Attention (chei/valori comune pentru toate capetele) reduce traficul KV‑cache. Grouped‑Query Attention echilibrează calitatea/viteza.
• Reprezentări poziționale îmbunătățite:
  • ALiBi (Attention with Linear Biases): Decalaje liniare la scorurile de atenție îmbunătățesc generalizarea la lungimi mai mari.
  • RoPE (Rotary Position Embeddings): Informație pozițională relativă prin rotirea Q/K; utilizat pe scară largă în modelele moderne (de exemplu, LLaMA).
  • Extinderea contextului pentru modelele RoPE: Position Interpolation , YaRN , precum și modificările NTK-aware permit creșterea eficientă a ferestrei de context fără modificarea arhitecturii.

• Alte abordări pentru secvențe lungi:
  • Transformer‑XL: Memorie recurentă între segmente pentru modelarea dependențelor la distanță.
  • Reformer: LSH‑attention și blocuri reziduale reversibile pentru economisirea memoriei.
  • Performer: Aproximare liniară a softmax‑attention (FAVOR+).
  • Linformer: Aproximare de rang scăzut a matricei de atenție.

Optimizări ale modelelor și infrastructura de antrenare

Pentru antrenarea și implementarea LLM-urilor se utilizează tehnici și framework-uri specializate.

• Cuantizare (Quantization): Reducerea preciziei ponderilor micșorează memoria și accelerează inferența. QLoRA permite ajustarea fină eficientă a modelelor de 4 biți (inclusiv 65B) cu o calitate apropiată de precizia completă.
• Distilarea cunoștințelor (Knowledge Distillation): Antrenare Teacher→Student pentru modele compacte; exemplu — DistilBERT.
• Antrenare distribuită:
  • DeepSpeed și ZeRO — distribuirea parametrilor/gradienților/stărilor optimizatorului pentru antrenarea modelelor de ordinul trilioanelor.
  • Megatron‑LM — paralelism tensorial și de pipeline pentru transformere foarte mari.
• Ecosistem și instrumente: Hugging Face Transformers și Accelerate oferă implementări standard ale modelelor și integrare cu DeepSpeed/FSDP pentru antrenare și inferență.

Legi de scalare și antrenare compute‑optimal

Legile de scalare empirice arată că eroarea de entropie încrucișată scade conform unei legi de putere odată cu creșterea parametrilor, datelor și calculelor. Lucrarea Chinchilla a rafinat regimurile compute‑optimal: pentru eficiență optimă, dimensiunea modelului și numărul de tokeni de antrenare trebuie scalate simultan (exemplu — un model de 70B antrenat pe ~1.4T tokeni, care depășește modele mai mari, sub-antrenate).

Modele cu spațiu de stări (State Space Models, SSM)

State Space Models (SSM) reprezintă o arhitectură alternativă la transformere pentru lucrul cu secvențe lungi. Aceasta preia idei din teoria controlului și prelucrarea digitală a semnalelor și rezolvă principala problemă a self‑attention: creșterea pătratică a calculelor odată cu creșterea lungimii textului.

Problema principală și soluția

Problema transformerelor. Principala problemă a transformerelor tradiționale este complexitatea pătratică a atenției: un text de 10 ori mai lung necesită aproximativ de 100 de ori mai multe calcule.

Abordarea SSM. În loc de „atenție simultană la toate cuvintele", modelul parcurge textul secvențial și menține o stare de memorie compactă internă, care este actualizată la fiecare pas. Ca rezultat, timpul și consumul de memorie cresc aproximativ liniar cu lungimea textului. Antrenarea poate fi efectuată în paralel — prin reprezentarea convoluțională a nucleului (debit ridicat pe secvențe lungi).

Principiu de funcționare

SSM discret este descris prin ecuațiile de stare și de ieșire:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

unde $x_t$ este starea de memorie, $u_t$ este intrarea (token-ul), $y_t$ este ieșirea. În SSM-urile profunde, matricele $A,B,C,D$ sunt parametrizate astfel încât să asigure stabilitate și calcule eficiente pe secvențe lungi. Același strat poate fi considerat:

• recurent (scanare pas cu pas) — inferență eficientă din punct de vedere al memoriei fără KV‑cache;
• convoluțional — antrenare paralelă cu nucleu pre-calculat.

Arhitecturi principale și hibrizi

• S4 (Structured State Spaces). Linia de bază SSM cu parametrizare stabilă a matricei de stare; demonstrează eficiență pe secvențe foarte lungi.
• Mamba. SSM selective: regulile de actualizare a memoriei depind de intrarea curentă (modelul decide singur ce să „rețină în memorie" și ce să „uite"). Implementarea este orientată spre ierarhia memoriei GPU; conform autorilor, se obține o creștere multiplă a debitului de inferență la complexitate liniară față de lungime.
• RetNet. Mecanism de retention cu trei regimuri: antrenare paralelă, inferență recurentă și bloc-recurentă. Obiectivul este de a combina antrenare rapidă (ca la transformere) cu un flux economic la inferență (O(1) memorie per token).
• Hibrizi Attention+SSM. Exemplu — Jamba (alternarea straturilor Transformer și Mamba plus MoE): raportează suport pentru contexte de ordinul ~256 K tokeni la cerințe de memorie semnificativ mai mici față de modelele pur-transformer de clasă similară.

Avantaje

• Complexitate liniară și economie de memorie la inferență. Fără global self‑attention și KV‑cache; se stochează doar o stare compactă.
• Antrenare paralelă pe secvențe lungi. Regimul convoluțional crește debitul de antrenare.
• Eficiență hardware. Implementările sunt orientate spre ierarhia modernă a memoriei (HBM/SRAM).
• Contexte lungi și streaming. Hibrizii SSM+Attention sunt practici pentru sute de mii de tokeni la resurse moderate.

Limitări și practică curentă

• Maturitatea ecosistemului. Instrumentele și „rețetele" de scalare (instrucțiuni, RLHF/DPO) sunt încă inferioare stivei bazate pe transformere.
• Calitate și stabilitate. La anumite sarcini, hibrizii (Attention+SSM) demonstrează un compromis mai stabil „calitate/viteză/memorie" față de SSM-urile „pure".

Comparația abordărilor (rezumativ)

Caracteristică	Transformere	SSM	Hibrizi (Attention+SSM)
Complexitate față de lungime	Pătratică (self‑attention)	Liniară (scanare/convoluție)	Apropiată de liniară
Memorie per token (inferență)	KV‑cache crește cu contextul	Stare O(1)	Creștere moderată
Contexte lungi	Necesită optimizări speciale	Suport natural	Practici până la ~256 K
Maturitatea ecosistemului	Ridicată	În dezvoltare	În dezvoltare

Aplicații practice

• Analiza documentelor foarte lungi (cărți, rapoarte, recenzii științifice).
• Procesare în flux și scenarii de chat cu istoric lung fără creșterea costului de memorie.
• Medii cu resurse limitate (dispozitive mobile/edge).
• Serii temporale și alte date secvențiale.

Modele reprezentative: S4, Mamba, RetNet; hibrizi Attention+SSM (Jamba).

Evoluția arhitecturilor

• 2017 — publicat articolul „Attention Is All You Need". Prezentată arhitectura transformer: atenția multi-cap cu auto-atenție și codificările poziționale permit antrenarea modelelor fără recurență și convoluții; totodată, atenția are complexitate pătratică față de lungimea contextului.

• 2018 — prezentate GPT‑1 și BERT. GPT‑1 utilizează o stivă doar cu decodoare și atenție cauzală pentru generare și ajustare fină ulterioară; BERT introduce un encoder bidirecțional și pre-antrenare MLM pentru sarcinile de înțelegere a textului.

• 2019 — propuse metode de lucru cu secvențe lungi și scalat decoder‑only. Transformer‑XL adaugă „memorie" și poziții relative pentru a depăși fereastra fixă; GPT‑2 demonstrează creșterea capacităților zero‑shot la creșterea scalei; BART demonstrează eficiența pre-antrenării prin eliminarea zgomotului pentru seq2seq.

• 2020 — unificat formatul „text‑to‑text" și demonstrate metode pentru documente lungi. T5 formulează o abordare unificată encoder–decoder pentru diferite sarcini; Longformer și BigBird utilizează atenție rarefiatoare/structurată pentru texte lungi; GPT‑3 confirmă eficiența scalării dense decoder‑only.

• 2021 — îmbunătățite reprezentările poziționale și demonstrată raritatea parametrilor (MoE). RoPE și ALiBi îmbunătățesc generalizarea la lungimi mari; Switch Transformer și GLaM activează doar o parte dintre experți per token, crescând capacitatea fără o creștere proporțională a costului de inferență.

• 2022 — rafinat regimul compute‑optimal și accelerată inferența pe prompturi lungi. Chinchilla demonstrează avantajul unui număr mai mare de tokeni de antrenare la dimensiune moderată a modelului; PaLM cu Multi‑Query Attention reduce volumul KV‑cache; FlashAttention accelerează atenția pe GPU.

• 2023 — extinse ferestrele de context fără modificarea straturilor și îmbunătățită servirea. Familia LLaMA consolidează practicile (RMSNorm, SwiGLU, RoPE); Position Interpolation și YaRN extind contextul; vLLM/PagedAttention gestionează mai eficient KV‑cache-ul.

• 2023 — GPT‑4 și Gemini demonstrează procesarea și generarea în mai multe modalități în cadrul aceleiași familii de modele.

• 2023 — propuse modele cu spațiu de stări (SSM). Mamba și RetNet revin la procesarea secvențială cu stare compactă în locul KV‑cache-ului și pun bazele arhitecturilor hibride.

• 2024 — publicate modele MoE open-source și hibrizi Attention+SSM; accelerată atenția pe GPU-uri noi. Mixtral 8×7B/8×22B și DBRX confirmă practicabilitatea MoE; Jamba combină Transformer și Mamba pentru contexte foarte lungi; FlashAttention‑3 crește debitul.

Referințe

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — explicație vizuală

Bibliografie

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768