Mga Arkitektura ng LLM

Mga Arkitektura ng Malalaking Modelo ng Wika (LLM) — ito ang mga pangunahing prinsipyo at istruktura na nagtatakda kung paano itinatatayo, sinasaklaw, at gumagana ang malalaking modelo ng wika. Ang mga modernong LLM, na kayang umintindi at bumuo ng wikang pantao, ay halos ganap na nakabatay sa arkitektura ng Transformer, ngunit kinabibilangan ng maraming pagpapabuti at iba't ibang pamamaraan na naglalayong palakasin ang kahusayan, kakayahang sumaklob sa malaking sukat, at mga kakayahan.

Mga Pamilya ng Arkitektura ng LLM (mga transformer)

Ang mga modernong malalaking modelo ng wika ay nakabatay sa arkitektura ng transformer, ngunit ginagamit ito sa iba't ibang paraan depende sa layunin: maunawaan ang teksto, bumuo ng kasunod na teksto, o baguhin ang isang teksto patungo sa isa pa. Sa praktika, tatlong pamilya ang kinikilala habang pinapanatili ang mga pangunahing prinsipyo ng transformer.

1. Encoder‑only (tanging encoder lamang)

Ginagamit ng modelo ang encoder stack lamang at tinitingnan ang buong input na teksto nang dobleng direksyon. Ang pre-training ay karaniwang itinatatayo bilang masked‑language modeling (MLM, pagmomodelo ng wika na may pagtatago): ang ilang mga token ay itinatago, at natututo ang modelo na ibalik ang mga ito batay sa kapaligiran. Salamat sa dobleng direksyong konteksto, ang mga modelong ito ay malakas sa mga gawaing pang-unawa at scoring: klasipikasyon, pagkilala sa mga entidad, muling pag-aayos ng mga dokumento, at extractive QA. Hindi sila inilaan para sa autoregressive na pagbuo "mula sa simula".

Karagdagan pa, sa praktika ay ginagamit din ang mga alternatibong layunin ng pre-training para sa pamilyang encoder‑only: replaced token detection (RTD) sa ELECTRA (ang discriminator na modelo ay nakikilala ang mga pinalitang token) at contrastive learning ng bi-encoder para sa semantic search/retriever (InfoNCE/softmax‑loss sa mga pares na "query-dokumento", tulad ng sa Dense Passage Retrieval). Kapag ginamit sa RAG, ang encoder‑only ay gumaganap bilang bi-encoder (hiwalay na pag-encode ng query at dokumento para sa mabilis na ANN‑search), o bilang cross‑encoder (magkasamang pag-encode ng pares para sa tumpak na muling pag-aayos).

Mga Kalamangan:

• Mataas na kalidad ng pag-unawa sa teksto salamat sa dobleng direksyong konteksto: klasipikasyon, NER, pagkuha ng mga katotohanan, muling pag-aayos, extractive QA.
• Parallel na pagproseso at mataas na throughput: isang forward pass nang walang auto-regression; maginhawang i-batch ang malawakang scoring.
• Natural na integrasyon sa paghahanap at RAG: bilang bi-encoder — mabilis na semantic search; bilang cross-encoder — tumpak na muling pag-aayos.
• Mahusay na pag-aangkop: ang medyo compact na mga variant (≈100–300 milyong parameter; BERT‑base ≈110 milyon) ay nagbibigay ng mataas na kalidad pagkatapos ng target na fine-tuning.
• Matatag na latency na hindi nakasalalay sa haba ng ginawang sagot (walang step-by-step na decoding); angkop para sa offline scoring ng malalaking koleksyon.
• Posibilidad na palakihin ang context window ng mga encoder sa pamamagitan ng relatibo/rotational na posisyon at/o lokal na sparse attention (hal., Longformer/BigBird), na kapaki-pakinabang para sa mahahabang dokumento.

Mga Kakulangan:

• Walang sariling generative na kakayahan: para sa mga dayalogo at detalyadong sagot, kailangan ng decoder o panlabas na generative na modyul.
• Limitasyon sa mga interactive na senaryo: walang hakbang-hakbang na pagbuo na may pag-iingat ng estado.
• Hindi pagkakatugma ng layunin ng pre-training sa mga gawaing libreng pagbuo: ang MLM ay mas mababa ang pagkakatugma sa pagbuo kumpara sa causal modeling.
• Makasaysayang limitadong context window (madalas na 512 token sa mga pangunahing konfigurasyon ng absolute na posisyon); ang pagpapalawak ay nangangailangan ng mga espesyal na scheme ng posisyon/atensyon at/o fine-tuning.
• Para sa mga gawaing retrieval, kinakailangan ng hiwalay na contrastive fine-tuning ng bi-encoder at/o cross-encoder; kung wala ito, ang kalidad ng paghahanap/muling pag-aayos ay karaniwang mas mababa kaysa sa mga espesyal na sinanay na modelo.

Mga Kinatawang Modelo: BERT at mga derivative nito, gayundin ang RoBERTa at DeBERTa (mga pinalawig na variant ng encoder‑only); mula sa mga alternatibong layunin ng pre-training — ELECTRA (RTD).

2. Decoder‑only (tanging decoder lamang)

Ginagamit lamang ang decoder stack na may causal (kaliwa-patungo) na atensyon: hinuhulaan ng modelo ang susunod na token batay sa naibigay nang prefix. Ang ganitong mode ng pagsasanay — causal language modeling (CLM) — ay ginagawang natural na pagpipilian ang mga modelong ito para sa pagbuo: mga dayalogo, detalyadong sagot, malikhaing teksto, code ng programa. Ang kompromiso ay ang pagtaas ng latency at dami ng KV-cache sa mahabang mga prompt. Sa praktika, malawakang ginagamit ang mga engineering na pamamaraan para sa decoder‑only: pagbabawas ng KV-cache sa pamamagitan ng MQA at GQA, pagpapabilis ng inference sa pamamagitan ng speculative decoding at mga server optimization (PagedAttention/vLLM, continuous batching, chunked prefill).

Mga Kalamangan:

• Natural na pagbuo ng teksto (CLM): malakas na zero‑shot at few‑shot na kakayahan; mabuting sumaklob sa malaking sukat.
• Versatility ng paggamit: isang modelo ang naglulutas ng maraming gawain sa pamamagitan ng mga tagubilin at halimbawa sa prompt; natural na pinagsasama sa RAG at pagtawag ng mga kagamitan (tool use).
• Mature na ecosystem: mga praktis ng instructional fine-tuning at pagkakatugma ng gawi (RLHF, DPO); magagamit ang mga bukas at komersyal na implementasyon.
• Mayamang stack ng mga optimisasyon ng inference: ang MQA/GQA ay nagpapababa ng dami ng KV-cache at nagpapataas ng throughput; ang speculative decoding ay nagpapabilis ng inference nang hindi binabago ang distribusyon; ang PagedAttention/vLLM na may continuous batching at chunked prefill ay nagpapataas ng end-to-end na paggamit ng GPU.
• Suporta sa structured generation para sa mahigpit na mga format ng sagot (JSON/SQL/DSL), na nagpapadali ng integrasyon sa mga IS at API.

Mga Kakulangan:

• Mataas na latency ng pagbuo: sequential na inference; ang gastos sa bagong token ay lumalaki kasabay ng haba ng naunawaan nang konteksto (KV-cache).
• Mas hindi kapaki-pakinabang sa profile na "mahabang input – maikling output" (summarization, pagsasalin) kumpara sa encoder–decoder, kung saan ang input ay ini-encode nang isang beses.
• Limitasyon ng unidirectional na konteksto: sa mga gawaing pag-unawa ay minsan naaatim ang mga modelong may dobleng direksyong representasyon (encoder‑only / encoder–decoder).
• Ang memorya para sa KV-cache ay maaaring maging "bottleneck" sa mahabang mga prompt at malalaking batch;
• Ang quantization ng mga activation/KV (INT8/FP8) ay nagpapabilis ng inference, ngunit maaaring magpababa ng kalidad sa mahabang konteksto/code; nangangailangan ng maingat na validation (lalo na sa mahigpit na SLA).

Mga Kinatawang Modelo: GPT‑3, GPT‑4 (ang mga detalye ng arkitektura at dataset ay hindi ibinubunyag nang publiko), LLaMA at Llama 3 (8B/70B, 2024).

3. Encoder–decoder (encoder-decoder)

Pinagsasama ng arkitektura ang parehong bahagi. Ang encoder ay gumagana sa dobleng direksyong mode, habang ang decoder ay gumagana nang causally. Isang beses sinusuri ng encoder ang input at bumubuo ng representasyon nito; ang decoder ay bumubuo ng output, na inaabot ang representasyong iyon sa pamamagitan ng cross‑attention. Ang ganitong hiwalay na pamamaraan ay lalo na kapaki-pakinabang kung saan kinakailangang baguhin ang mahabang input na teksto patungo sa maikling output: makina sa pagsasalin, summarization, mga sagot batay sa mga dokumento. Kahit na nangangailangan ng mas mataas na kabuuang computational cost ang pamamaraan (dalawang stack at cross-attention), ang kalamangan nito ay ang kontroladong pagbuo batay sa kumpletong pagsusuri ng source text; habang ang pag-encode ay isang beses na isinasagawa at muling ginagamit sa buong proseso ng inference.

Mga Kalamangan:

• Conditional generation: ginagamit ng decoder ang cross‑attention sa representasyon ng input.
• Mahusay sa senaryo ng "mahabang input → maikling output": ang input ay ini-encode nang isang beses.
• Maginhawa para sa format na "text‑to‑text" at kontroladong output (mga prefix ng gawain, espesyal na tagubilin).
• Katatagan at kahusayan sa mahabang source: sa yugto ng decoding, lumalaki lamang ang self‑attention sa output, habang ang cross‑attention ay muling gumagamit ng mga nakatakdang key/value mula sa encoder (ang input ay hindi "binabasa muli" sa bawat hakbang).

Mga Kakulangan:

• Ang dalawang stack ay nagpapataas ng mga kinakailangan sa memorya at mga kalkulasyon sa panahon ng pagsasanay at paggamit.
• Sa sobrang mahabang mga sequence, ang kabuuang latency ay katulad ng sa decoder‑only; ang auto-regression ay nananatiling bottleneck.
• Mas kaunting unibersal na chat na modelo kumpara sa mga decoder‑only; mas madalas na ginagamit bilang mataas na kalidad na seq2seq-engine para sa mga tiyak na gawain.
• Sa napaka-mahabang input, tumataas ang memorya para sa mga key/value ng cross‑attention sa bawat layer ng decoder (sa buong source), na nangangailangan ng maingat na pagpaplano ng serving.

Mga Kinatawang Modelo: T5 (kabilang ang T5 v1.1 at ang praktis ng instructional fine-tuning sa FLAN‑T5) at BART.

Mga Dense Transformer

Klasiko at pinaka-karaniwang arkitektura ng LLM: kapag nagpoproseso ng bawat token, halos lahat ng mga parameter ng modelo ay kalahok. Hindi tulad ng mga sparse na pamamaraan (hal., Mixture‑of‑Experts), walang selective na pag-activate ng mga subnet — ang bawat bloke ay gumagana para sa bawat token.

Prinsipyo ng Paggana at Arkitektura

Pangunahing Istruktura. Ang modelo ay isang stack ng N magkaparehong transformer block. Ang bawat bloke ay may kasamang:

1. Multi‑Head Self‑Attention. Para sa bawat token, tatlong vector ang kinakalkula: Q (query), K (key), V (value); ang atensyon ay tinutukoy bilang $\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}+M}{\sqrt{d_k}}\right)\cdot V$, kung saan ang $M$ ay isang mask (causal at/o padding mask) na nagtatanggal ng mga hindi pinahihintulutang posisyon. Ilang "ulo" ng atensyon ang parallel na isinasaalang-alang ang iba't ibang aspeto ng konteksto (H na ulo, karaniwang $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$); ang kanilang bilang ay lumalaki kasabay ng sukat ng modelo.
2. Feed‑Forward Network (FFN). Dalawang linear na layer na may nonlinearity sa pagitan (karaniwang GELU/SiLU; sa ilang modernong modelo — SwiGLU). Ang intermediate na dimensyon ay karaniwang $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$; kapag gumagamit ng SwiGLU, madalas na kinukuha ang $\approx \frac{8}{3}{d}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ upang mapanatili ang katulad na bilang ng mga parameter. Ang FFN ay naglalaman ng malaking bahagi ng mga parameter.

Mga Karagdagang Bahagi. Ginagamit ang residual na koneksyon at normalisasyon ng mga layer; sa mga modernong LLM, mas madalas na ginagamit ang Pre‑LN (normalisasyon bago ang mga sub-block) — pinapabuti nito ang katatagan ng pagsasanay sa malalaking lalim. Bukod sa klasikong LayerNorm, lalong mas malaganap na ginagamit ang RMSNorm (nagpapababa ng computational overhead at gumagana nang maayos sa malalaking modelo); gayundin sa ilang pamilya ay inilalapat ang normalisasyon sa espasyo ng atensyon (hal., normalisasyon ng Q/K bago ang softmax). Ang mga positional na representasyon ay maaaring absolute o relative; para sa mahabang konteksto, ang RoPE ay naging de facto na pamantayan.

Mga Halimbawa ng Modelo at Sukat

• BERT‑Large: 24 na layer, dimensyon 1024, 16 ulo ng atensyon, ≈340 milyong parameter.
• GPT‑3 (175B): 96 na layer, dimensyon 12288, 96 ulo ng atensyon, ≈175 bilyong parameter.
• LLaMA‑65B: 80 na layer, dimensyon 8192, 64 ulo ng atensyon, ≈65 bilyong parameter.
• PaLM‑540B: 118 na layer, dimensyon ng order na 18432, ≈540 bilyong parameter.

Mga Kalamangan

• Magkaparehong mga bloke, mabuting pag-aaral na mga mode ng pagsasanay at predictable na gawi sa pagsukat.
• Ang kalidad ay nagpabuti nang exponential habang lumalaki ang mga parameter at data; ang compute‑optimal na mode ay nagpapahiwatig ng magkasamang pagtaas ng laki ng modelo at dami ng mga token sa pagsasanay.
• Ang parehong arkitektura pagkatapos ng fine-tuning ay sumasaklaw sa malawak na hanay ng mga gawain nang walang pagbabago sa antas ng layer.

Mga Kakulangan

• Ang kumpletong self-attention ay may quadratic na kumplikasyon ayon sa haba ng sequence ($O(n^2)$), na nagtatakda ng hangganan sa context window.
• Kumpletong pag-activate ng mga parameter sa hakbang ng pagbuo: sa decoder nang walang MoE, ang gastos ng inference bawat token ay lumalaki nang halos proporsyonal sa bilang ng mga parameter.
• Bottleneck — memory bandwidth (memory‑bound): ang pag-load ng mga timbang mula sa HBM ay madalas na naglilimita sa bilis ng inference.

Mga Limitasyon ng Scaling at Konteksto

• Ang memorya para sa mga parameter ay lumalaki nang linear kasabay ng laki ng modelo; ang memorya sa pagsasanay ay tumataas dahil sa mga gradient at estado ng optimizer.
• Ang mga pangunahing konfigurasyon ay makasaysayang limitado sa 2–4 libong token. Ang mga modernong positional scheme (RoPE) at mga pamamaraan ng pagpapalawak (Position Interpolation, YaRN at iba pa) ay nagbibigay-daan na palakihin ang window nang sampung beses at higit pa, ngunit sa presyo ng karagdagang computational/memory na karga.

Mga Modernong Optimisasyon

• FlashAttention. Tumpak na atensyon na may pagsasaalang-alang sa hierarchy ng memorya ng GPU; nagpapababa ng gastos sa memorya at nagpapabilis ng pagsasanay/inference sa mahabang mga sequence.
• Pagbabawas at Pamamahala ng KV-cache. Binabawasan ng Multi‑Query Attention at Grouped‑Query Attention ang dami ng cache at trapiko ng memorya; sa antas ng server, ang PagedAttention (vLLM) ay nagpapataas ng throughput sa pamamagitan ng paged na pamamahala ng cache.
• Speculative Decoding. Ang draft na modelo ay nagmumungkahi ng kasunod, at mabilis itong bine-verify ng pangunahing modelo; nakamit ang pagpapabilis nang hindi binabago ang distribusyon ng output.

Mga Sparse Model at Mixture‑of‑Experts (MoE)

Ang MoE ay isang paraan upang mapataas ang kapasidad ng modelo nang walang proporsyonal na pagtaas ng mga kalkulasyon bawat token. Sa halip na isang malaking FFN block sa isang layer, ginagamit ang isang hanay ng mga parallel na "eksperto" (ilang independyenteng FFN), at ang isang natutunang router (gating network) para sa bawat token ay pumipili ng top‑k pinaka-kaugnay na mga eksperto (karaniwang k=1–2; sa ilang modelo k=4). Ang mga napiling eksperto lamang ang ina-activate; ang kanilang mga output ay binibigyan ng timbang at pinagsama. Kaya ang kabuuang mga parameter ay maaaring daan-daang bilyon at kahit trilyon, ngunit sa bawat hakbang ay isang maliit na bahagi lamang ang ginagamit.

Mga Halimbawa ng Modelo at Sukat

• Switch Transformer (Google): hanggang ~1.6T na parameter; top‑1 routing (isang eksperto bawat token). Ipinakita na ang MoE ay nagbibigay-daan na malaki ang pagtaas ng kapasidad sa katulad na gastos bawat token.
• GLaM (Google): 1.2T na parameter, 64 eksperto sa isang layer, top‑2; ≈96.6B na parameter (≈8%) ang ina-activate para sa bawat token.
• Mixtral 8×7B (Mistral AI): ~46.7B na kabuuang parameter, ≈12.9B na aktibo bawat token, top‑2.
• Mixtral 8×22B: ~141B na kabuuang parameter, ≈39B na aktibo bawat token, top‑2.
• DBRX (Databricks): 132B na kabuuang parameter, ≈36B na aktibo bawat token; 16 eksperto at top‑4 routing (fine‑grained MoE).

Mga Kalamangan

• Ang gastos sa mga kalkulasyon ay tinutukoy ng bilang ng mga aktibong eksperto k, at hindi ng kabuuang bilang ng mga parameter: posibleng magsanay at gumamit ng mga modelo sa sukat ng trilyon sa mga gastos na katulad ng sa mas maliit na dense na modelo.
• Espesyalisasyon: ang mga eksperto ay awtomatikong "iniaangkop" sa mga wika/domain/pattern, nagpapabuti ng kalidad sa mga multi-domain na gawain.
• Flexible na deployment: maaaring itago sa memorya ang mga madalas na ginagamit na eksperto at i-load ang mga bihirang ginagamit (sa naaangkop na imprastraktura).

Mga Limitasyon

• Balanse ng karga: kung wala ang regularisasyon, ang router ay maaaring "mag-stick" sa ilang mga eksperto (router collapse). Kinakailangan ang mga auxiliary loss (load‑balancing) at mga pinahusay na scheme ng routing.
• Kumplikasyon ng distributed computing: kinakailangan ang expert parallelism at all‑to‑all na palitan; ang mga gastos sa komunikasyon at pamamahala ng memorya ay nagiging bottleneck.
• Katatagan ng pagsasanay: mahalaga ang mga setting ng router at mga limitasyon ng kapasidad (capacity), kung hindi ay posible ang pagbaba ng kalidad/convergence.

Mga Modernong Pagpapabuti

• Expert‑Choice routing: ang mga eksperto ay "pumipili" ng mga token, na nagpapabuti ng balanse at convergence sa katulad na mga gastos.
• Fine‑grained MoE: mas malaking bilang ng mas maliliit na eksperto (tulad ng sa DBRX) ay nagbibigay ng mas pinong granularity ng espesyalisasyon.
• Sparse Upcycling: ang paglipat ng isang dense na modelo patungo sa MoE mula sa checkpoint nito ay nagbibigay-daan na mapataas ang kalidad nang malaki sa katamtamang gastos.

Pagiging Angkop ng Paggamit ng MoE

• Malalaking multi-domain na assistant na may limitadong compute budget.
• Pagsasanay sa malalawak na corpus, kung saan ang espesyalisasyon ay nagbibigay ng kalamangan.
• Mga senaryo na may advanced na distributed na imprastraktura (maraming GPU/TPU at mabilis na network).

Kung kailan mas magaling ang mga dense na modelo: limitadong imprastraktura (1–2 GPU), mahigpit na mga kinakailangan sa predictable na latency at kadalian ng deployment.

Retrieval‑Augmented Generation (RAG)

Ang RAG ay isang arkitekturang pattern ng sistema sa paligid ng LLM, at hindi ang panloob na arkitektura ng modelo mismo. Pinagsasama nito ang LLM (generative na bahagi) sa isang panlabas na knowledge base (retrieval na bahagi), na nagbibigay-daan na mabayaran ang limitadong "parametric memory" ng modelo.

• Prinsipyo ng Paggana: Bago ang pagbuo, ang LLM ay kumukuha ng mga kaugnay na dokumento mula sa panlabas na pinagkukunan (wiki, corporate knowledge base, web) at umaasa sa mga ito kapag bumubuo ng sagot.
• Mga Kalamangan:
  • Pagbabawas ng mga hallucination at pagpapabuti ng katumpakan ng katotohanan.
  • Kasalukuyan nang kaalaman nang walang kumpletong muling pagsasanay ng modelo.
  • Kakayahang siting at traceability ng mga sagot.
• Paggamit: De facto na pamantayan para sa mga corporate assistant at sistema kung saan kinakailangan ang mga nabe-verify na katotohanan at paggana sa pribado/espesyal na data.

Mga Mekanismo ng Atensyon at Paggawa sa Konteksto

Ang pangunahing self-attention ay may quadratic na kumplikasyon ayon sa haba ng sequence ($O(n^2)$), kaya lumitaw ang mga optimisasyon.

• Sparse Attention: Paglilimita ng atensyon sa mga lokal na window/pattern. Mga halimbawa: Longformer, BigBird.
• FlashAttention: Muling pagsasaayos ng pagkakasunud-sunod ng mga kalkulasyon na may pagsasaalang-alang sa hierarchy ng memorya ng GPU; nagbibigay ng malaking pakinabang sa oras at memorya at naging de facto na pamantayan sa pagsasanay ng LLM na may mahabang konteksto.
• MQA/GQA (pagpapabilis ng decoding): Multi‑Query Attention (mga karaniwang key/value para sa lahat ng ulo) ay nagpapababa ng trapiko ng KV-cache. Ang Grouped‑Query Attention ay nagbabalanse ng kalidad/bilis.
• Mga Pinahusay na Positional na Representasyon:
  • ALiBi (Attention with Linear Biases): Ang mga linear na offset sa mga puntos ng atensyon ay nagpapabuti ng generalization sa mas malalaking haba.
  • RoPE (Rotary Position Embeddings): Relatibong positional na impormasyon sa pamamagitan ng pag-ikot ng Q/K; malawakang ginagamit sa mga modernong modelo (hal., LLaMA).
  • Pagpapalawak ng konteksto para sa mga RoPE na modelo: Position Interpolation , YaRN , pati na rin ang mga NTK-aware na modipikasyon ay nagbibigay-daan na epektibong palakihin ang context window nang hindi binabago ang arkitektura.

• Iba pang mga Pamamaraan para sa Mahabang Sequence:
  • Transformer‑XL: Recurrent na memorya sa pagitan ng mga segment para sa pagmomodelo ng malalayong dependency.
  • Reformer: LSH-attention at mga reversible residual block para sa pagtitipid ng memorya.
  • Performer: Linear na approximation ng softmax-attention (FAVOR+).
  • Linformer: Mababang-rangong approximation ng attention matrix.

Mga Optimisasyon ng Modelo at Imprastraktura ng Pagsasanay

Para sa pagsasanay at deployment ng LLM, ginagamit ang mga espesyalisadong pamamaraan at framework.

• Quantization: Ang pagbabawas ng bit-width ng mga timbang ay nagpapababa ng memorya at nagpapabilis ng inference. Ang QLoRA ay nagbibigay-daan sa mahusay na fine-tuning ng mga 4-bit na modelo (kabilang ang 65B) na may kalidad na malapit sa full-precision.
• Knowledge Distillation: Teacher→Student na pagsasanay para sa mga compact na modelo; halimbawa — DistilBERT.
• Distributed Training:
  • DeepSpeed at ZeRO — distribusyon ng mga parameter/gradient/estado ng optimizer para sa pagsasanay ng mga modelo sa sukat ng trilyon.
  • Megatron‑LM — tensor at pipeline parallelism para sa napaka-malaking mga transformer.
• Ecosystem at Mga Kagamitan: Ang Hugging Face Transformers at Accelerate ay nagbibigay ng mga karaniwang implementasyon ng modelo at integrasyon sa DeepSpeed/FSDP para sa pagsasanay at inference.

Mga Batas ng Scaling at Compute‑Optimal na Pagsasanay

Ang mga empirikal na batas ng scaling ay nagpapakita na ang cross-entropy error ay bumababa ayon sa power law habang lumalaki ang mga parameter, data, at mga kalkulasyon. Ang gawa na Chinchilla ay pinino ang mga compute‑optimal na mode: para sa pinakamataas na kahusayan, ang laki ng modelo at bilang ng mga token sa pagsasanay ay dapat palaguin nang magkasabay (halimbawa — 70B na modelo na sinanay sa ~1.4T na token, na mas mahusay kaysa sa mas malalaking under-trained na modelo).

Mga Modelo na May Espasyo ng Estado (State Space Models, SSM)

Ang State Space Models (SSM) ay isang alternatibong arkitektura sa mga transformer para sa paggawa sa mahabang mga sequence. Humiram ito ng mga ideya mula sa teorya ng kontrol at digital signal processing at nilulutas ang pangunahing problema ng self-attention: ang quadratic na paglago ng mga kalkulasyon habang tumataas ang haba ng teksto.

Pangunahing Problema at Solusyon

Problema ng mga Transformer. Ang pangunahing problema ng mga tradisyonal na transformer ay ang quadratic na kumplikasyon ng atensyon: ang teksto na 10 beses na mas mahaba ay nangangailangan ng halos 100 beses na mas maraming kalkulasyon.

Pamamaraan ng SSM. Sa halip na "sabay na bigyang pansin ang lahat ng salita," ang modelo ay kumikilos sa teksto nang sunud-sunod at pinapanatili ang isang compact na panloob na estado ng memorya, na ina-update sa bawat hakbang. Bilang resulta, ang oras at pagkonsumo ng memorya ay lumalaki nang halos linear kasabay ng haba ng teksto. Kasabay nito, ang pagsasanay ay maaaring isagawa nang parallel — sa pamamagitan ng convolutional na representasyon ng kernel (mataas na throughput sa mahabang mga sequence).

Prinsipyo ng Paggana

Ang discrete SSM ay inilarawan ng mga equation ng estado at output:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

kung saan ang $x_t$ ay ang estado ng memorya, ang $u_t$ ay ang input (token), ang $y_t$ ay ang output. Sa malalim na SSM, ang mga matrix na $A,B,C,D$ ay parametrized upang matiyak ang katatagan at mahusay na mga kalkulasyon sa mahabang mga sequence. Ang parehong layer ay maaaring ituring bilang:

• recurrent (pag-scan sa mga hakbang) — matipid sa memorya na inference nang walang KV-cache;
• convolutional — parallel na pagsasanay na may pre-computed na kernel.

Mga Pangunahing Arkitektura at Mga Hybrid

• S4 (Structured State Spaces). Baseline ng SSM na may matatag na parametrization ng state matrix; nagpapakita ng kahusayan sa napaka-mahabang mga sequence.
• Mamba. Selective SSM: ang mga panuntunan sa pag-update ng memorya ay nakasalalay sa kasalukuyang input (ang modelo mismo ay nagpapasya kung ano ang "itatago sa memorya" at kung ano ang "kalilimutan"). Ang implementasyon ay nakatuon sa hierarchy ng memorya ng GPU; ayon sa mga may-akda, isang malaking pagtaas ng throughput ng inference ang naabot sa linear na kumplikasyon ayon sa haba.
• RetNet. Mekanismo ng retention na may tatlong mode: parallel na pagsasanay, recurrent at block-recurrent na inference. Ang layunin ay pagsamahin ang mabilis na pagsasanay (tulad ng sa mga transformer) na may matipid na daloy sa inference (O(1) memorya bawat token).
• Mga Hybrid na Attention+SSM. Halimbawa — Jamba (paghahalili ng mga Transformer at Mamba layer kasama ang MoE): iniuulat ang suporta para sa mga konteksto ng order na ~256K token na may mas mababa pang kinakailangan sa memorya kumpara sa mga purong transformer na modelo ng katulad na klase.

Mga Kalamangan

• Linear na kumplikasyon at pagtitipid ng memorya sa inference. Walang global na self-attention at KV-cache; isang compact na estado lamang ang iniimbak.
• Parallel na pagsasanay sa mahabang mga sequence. Ang convolutional na mode ay nagpapataas ng throughput ng pagsasanay.
• Kahusayan ng hardware. Ang mga implementasyon ay nakatuon sa modernong hierarchy ng memorya (HBM/SRAM).
• Mahabang konteksto at streaming. Ang mga hybrid na SSM+Attention ay praktikal para sa daan-daang libong token sa katamtamang mga mapagkukunan.

Mga Limitasyon at Kasalukuyang Praktis

• Kapanahunan ng ecosystem. Ang mga kagamitan at mga "recipe" ng scaling (mga tagubilin, RLHF/DPO) ay hindi pa gaanong advanced kumpara sa transformer stack.
• Kalidad at katatagan. Sa ilang mga gawain, ang mga hybrid (Attention+SSM) ay nagpapakita ng mas matatag na kompromiso ng "kalidad/bilis/memorya" kaysa sa mga "purong" SSM.

Paghahambing ng mga Pamamaraan (pangkalahatang-ideya)

Katangian	Mga Transformer	SSM	Mga Hybrid (Attention+SSM)
Kumplikasyon ayon sa haba	Quadratic (self‑attention)	Linear (scan/convolution)	Malapit sa linear
Memorya bawat token (inference)	Lumalaki ang KV-cache kasabay ng konteksto	O(1) estado	Katamtamang paglago
Mahabang konteksto	Kinakailangan ang espesyal na optimisasyon	Natural na suporta	Praktikal hanggang ~256K
Kapanahunan ng ecosystem	Mataas	Umuunlad	Umuunlad

Mga Praktikal na Paggamit

• Pagsusuri ng napaka-mahabang mga dokumento (mga libro, ulat, siyentipikong pagsusuri).
• Streaming na pagproseso at mga chat na senaryo na may mahabang kasaysayan nang walang pagtaas ng gastos sa memorya.
• Mga kapaligiran na may limitadong mga mapagkukunan (mga mobile/edge na device).
• Mga time series at iba pang sequential na data.

Mga Kinatawang Modelo: S4, Mamba, RetNet; mga hybrid na Attention+SSM (Jamba).

Ebolusyon ng mga Arkitektura

• 2017 — inilathala ang artikulong "Attention Is All You Need". Ipinakita ang arkitektura ng transformer: ang multi-head self-attention at positional encoding ay nagbibigay-daan sa pagsasanay ng mga modelo nang walang recurrence at convolution; kasabay nito, ang atensyon ay may quadratic na kumplikasyon ayon sa haba ng konteksto.

• 2018 — iprinisenta ang GPT‑1 at BERT. Ginagamit ng GPT‑1 ang isang stack ng decoder lamang na may causal na atensyon para sa pagbuo at kasunod na fine-tuning; ipinakilala ng BERT ang bidirectional encoder at MLM pre-training para sa mga gawaing pag-unawa ng teksto.

• 2019 — iminungkahi ang mga paraan ng paggawa sa mahabang mga sequence at pinalaki ang decoder‑only. Ang Transformer‑XL ay nagdaragdag ng "memorya" at mga relatibong posisyon para makalampas sa nakatakdang window; ipinapakita ng GPT‑2 ang pagtaas ng zero-shot na kakayahan habang tumataas ang sukat; ipinakita ng BART ang kahusayan ng denoising pre-training para sa seq2seq.

• 2020 — pinag-isa ang format na "text‑to‑text" at ipinakita ang mga pamamaraan para sa mahabang mga dokumento. Binubuo ng T5 ang isang pinag-isang encoder–decoder na pamamaraan para sa iba't ibang gawain; ginagamit ng Longformer at BigBird ang sparse/structured na atensyon para sa mahabang mga teksto; kinukumpirma ng GPT‑3 ang kahusayan ng scaling ng dense decoder‑only.

• 2021 — pinahusay ang mga positional na representasyon at ipinakita ang sparsity ng mga parameter (MoE). Ang RoPE at ALiBi ay nagpapabuti ng generalization sa mas malalaking haba; ang Switch Transformer at GLaM ay ina-activate ang isang bahagi lamang ng mga eksperto bawat token, nagpapataas ng kapasidad nang walang proporsyonal na pagtaas ng gastos sa inference.

• 2022 — pinino ang compute‑optimal na mode at pinabilis ang inference sa mahabang mga prompt. Ipinapakita ng Chinchilla ang kalamangan ng mas malaking bilang ng mga token sa pagsasanay sa katamtamang laki ng modelo; binabawasan ng PaLM na may Multi‑Query Attention ang dami ng KV-cache; pinapabilis ng FlashAttention ang atensyon sa GPU.

• 2023 — pinalaki ang mga context window nang walang pagbabago sa mga layer at pinahusay ang server-side serving. Ang linya ng LLaMA ay nagtatag ng mga praktis (RMSNorm, SwiGLU, RoPE); pinalawak ng Position Interpolation at YaRN ang konteksto; mas mahusay na pinamamahalaan ng vLLM/PagedAttention ang KV-cache.

• 2023 — ipinakita ng GPT‑4 at Gemini ang pagproseso at pagbuo sa maraming modalidad sa loob ng isang pamilya ng modelo.

• 2023 — iminungkahi ang mga SSM. Ang Mamba at RetNet ay bumabalik sa sequential na pagproseso na may compact na estado sa halip na KV-cache at nagtatayo ng pundasyon para sa mga hybrid na arkitektura.

• 2024 — inilathala ang mga bukas na MoE na modelo at mga hybrid na Attention+SSM; pinabilis ang atensyon sa mga bagong GPU. Kinukumpirma ng Mixtral 8×7B/8×22B at DBRX ang pagiging praktikal ng MoE; pinagsasama ng Jamba ang Transformer at Mamba para sa napaka-mahabang konteksto; pinapataas ng FlashAttention‑3 ang throughput.

Mga Sanggunian

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — visual na paliwanag

Mga Aklat-aralan

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768