Decoder-only models (architecture) (RO)

Modele bazate exclusiv pe decodor (engl. Decoder-Only Models) — reprezintă clasa dominantă de arhitecturi pentru modelele lingvistice de mari dimensiuni (LLM), bazate exclusiv pe partea de decodare (decodor) a arhitecturii Transformer. Aceste modele sunt specializate în sarcini de generare de text și constituie baza majorității chatboților moderni și a asistenților AI.

Seria emblematică care a popularizat această abordare este seria de modele GPT de la OpenAI.

Concept și arhitectură

Ideea fundamentală a modelelor bazate exclusiv pe decodor constă în generarea autoregresivă a secvențelor. Aceasta înseamnă că modelul prezice următorul token pe baza tuturor tokenilor anteriori generați până în acel moment. Promptul de intrare (cererea utilizatorului) și textul deja generat sunt tratate ca o singură secvență pe care modelul o continuă.

Din punct de vedere arhitectural, modelul este format dintr-o stivă de $N$ straturi identice de decodor. Fiecare strat, spre deosebire de encoder sau de un decodor complet, conține doar două subsstraturi principale:

1. Atenție automultiple cu mască (Masked Multi-Head Self-Attention): Acesta este mecanismul cheie care asigură proprietatea autoregresivă. În timpul procesării secvenței, o specială mască cauzală (causal mask) împiedică fiecare token să „privească" tokeniii ulteriori. Astfel, predicția pentru poziția $i$ depinde doar de tokenii de la pozițiile $<i$.
2. Rețea neurală complet conectată (Feed-Forward Network): Aplică o transformare neliniară reprezentării fiecărui token.

În modelele bazate exclusiv pe decodor lipsește mecanismul de atenție încrucișată (cross-attention), deoarece nu există un encoder la care să se „acorde atenție\".

Sarcini de pre-antrenare

Modelele bazate exclusiv pe decodor sunt antrenate pe o singură sarcină, dar extrem de puternică, de auto-supraveghere:

Modelare lingvistică cauzală (Causal Language Modeling, CLM)

• Principiul de funcționare: Modelul este antrenat să prezică următorul token dintr-o secvență. La fiecare pas de antrenare, primește la intrare un fragment de text și trebuie să genereze o distribuție de probabilitate pentru următorul token.
• Obiectivul: Maximizarea probabilității tokenului următor corect pe volume imense de date text. Această sarcină, aparent simplă, obligă modelul să învețe gramatica, sintaxa, fapte despre lume și tipare complexe ale limbajului.

Aplicații

Datorită naturii lor autoregresive, modelele bazate exclusiv pe decodor sunt ideale pentru orice sarcini care necesită generare de text:

• Generare de text liber: Redactarea de articole, poezii, scenarii etc.
• Sisteme de dialog și chatboți: Răspunsuri la întrebările utilizatorilor în stil conversațional.
• Sumarizare: Crearea unui rezumat al textelor lungi.
• Traducere automată: Deși pentru aceasta se folosesc adesea modele encoder-decoder, modelele bazate exclusiv pe decodor pot gestiona de asemenea traducerea, dacă sarcina este formulată în prompt (de exemplu, „Traduce din engleză în română: …\").
• Generare de cod: Generarea de cod pe baza unei descrieri textuale.
• Învățare în context (In-context learning): Datorită scării, modelele-decodor de mari dimensiuni demonstrează capacitatea de a rezolva sarcini noi primind doar câteva exemple (few-shot) sau chiar niciun exemplu (zero-shot) direct în prompt, fără necesitatea fine-tuning-ului.

Modele principale și evoluția lor

• Seria GPT (2018-prezent): Pionierii și popularizatorii abordării. GPT-1 a demonstrat eficiența pre-antrenării, GPT-2 a ilustrat puterea scalării, iar GPT-3 — apariția capacităților few-shot. ChatGPT și GPT-4 au transformat această arhitectură în standardul pentru asistenții AI.
• LLaMA (2023-prezent): O serie de modele deschise de la Meta, care a democratizat accesul la LLM-uri puternice și a stimulat un val de inovații în comunitate.
• Claude (2023-prezent): O familie de modele de la Anthropic, axată pe siguranță și controlabilitate prin intermediul Constitutional AI.
• PaLM și Gemini (2022-prezent): Modelele emblematice ale Google. Gemini este, de asemenea, un model bazat exclusiv pe decodor, nativ multimodal.

Comparație cu alte arhitecturi

Compararea arhitecturilor cheie bazate pe Transformer

Arhitectură	Sarcina principală	Direcția contextului	Modele tipice
Exclusiv-decodor	Generare de text	Unidirecțional (de la stânga la dreapta)	GPT, LLaMA, Claude, Gemini
Exclusiv-encoder	Înțelegerea textului	Bidirecțional	BERT, RoBERTa
Encoder-decoder	Transformarea secvenței în secvență	Bidirecțional (encoder) + Unidirecțional (decoder)	T5, BART, Transformer original

Vezi și

• GPT