Large language model architectures (TR)

Büyük dil modellerinin (LLM) mimarileri — büyük dil modellerinin nasıl inşa edildiğini, eğitildiğini ve çalıştığını belirleyen temel ilkeler ve yapılardır. İnsan dilini anlayabilen ve üretebilen modern LLM'ler neredeyse tamamen Transformer mimarisine dayanmaktadır; ancak verimlilik, ölçeklenebilirlik ve yetenekleri artırmaya yönelik çok sayıda iyileştirme ve farklı yaklaşım içermektedir.

LLM Mimarilerinin Aileleri (transformer'lar)

Modern büyük dil modelleri transformer mimarisine dayanmaktadır; ancak amaca bağlı olarak — metni anlamak, devamını üretmek ya da bir metni diğerine dönüştürmek — bu mimariyi farklı biçimlerde kullanırlar. Uygulamada, transformer'ın temel ilkeleri korunarak üç aile ayırt edilmektedir.

1. Encoder‑only (yalnızca kodlayıcı, yalnızca encoder)

Model yalnızca encoder yığınını kullanır ve giriş metninin tamamına çift yönlü olarak bakar. Ön eğitim genellikle masked‑language modeling (MLM, maskeli dil modellemesi) biçiminde kurgulanır: token'ların bir kısmı gizlenir ve model bunları bağlama göre kurtarmayı öğrenir. Çift yönlü bağlam sayesinde bu modeller anlama ve skorlama görevlerinde güçlüdür: sınıflandırma, varlık tanıma, belge yeniden sıralama ve çıkarımsal QA. Sıfırdan özgün metin üretimi için tasarlanmamışlardır.

Uygulamada encoder‑only ailesi için alternatif ön eğitim hedefleri de kullanılmaktadır: ELECTRA'da replaced token detection (RTD) (ayrımcı model, değiştirilen token'ları tanır) ve anlamsal arama/retriever için bi‑encoder'ların karşılaştırmalı öğrenimi (Dense Passage Retrieval'da olduğu gibi «sorgu-belge» çiftleri üzerinde InfoNCE/softmax-loss). RAG'da kullanıldığında encoder‑only modeller ya bi‑encoder (hızlı ANN araması için sorgu ve belgenin ayrı ayrı kodlanması) ya da cross‑encoder (doğru yeniden sıralama için çiftin birlikte kodlanması) olarak işlev görür.

Avantajlar:

• Çift yönlü bağlam sayesinde yüksek metin anlama kalitesi: sınıflandırma, NER, olgu çıkarımı, yeniden sıralama, çıkarımsal QA.
• Paralel işleme ve yüksek verim: otomatik regresyon olmaksızın tek bir ileri geçiş; toplu skorlama için kolay gruplama.
• Arama ve RAG ile doğal entegrasyon: bi‑encoder rolünde hızlı anlamsal arama; cross‑encoder rolünde hassas yeniden sıralama.
• Verimli uyarlama: hedefli ince ayardan sonra nispeten kompakt varyantlar (≈100–300 milyon parametre; BERT‑base ≈110 milyon) yüksek kalite sağlar.
• Üretilen yanıtın uzunluğuna bağlı olmayan kararlı gecikme (adım adım kod çözme yoktur); büyük koleksiyonların çevrimdışı skorlaması için uygundur.
• Göreli/döngüsel konumlar ve/veya yerel-seyrek dikkat (örn. Longformer/BigBird) sayesinde encoder'larda bağlam penceresi uzunluğunun artırılabilmesi; uzun belgeler için kullanışlıdır.

Dezavantajlar:

• Özgün üretim yetenekleri yoktur: diyaloglar ve ayrıntılı yanıtlar için bir decoder veya harici üretici modül gerekir.
• Etkileşimli senaryolarda sınırlılık: durum koruyarak adım adım üretim yoktur.
• Ön eğitim hedefinin serbest üretim görevleriyle uyuşmazlığı: MLM, nedensel modellemeye kıyasla üretimle daha zayıf örtüşür.
• Tarihsel olarak sınırlı bağlam penceresi (mutlak konum temel yapılandırmalarında genellikle 512 token); genişletme özel konum/dikkat şemaları ve/veya ince ayar gerektirir.
• Retrieval görevleri için bi‑encoder ve/veya cross‑encoder'ın ayrı karşılaştırmalı ince ayarı gerekir; bu yapılmadan arama/yeniden sıralama kalitesi genellikle özel eğitimli modellerden düşük kalır.

Temsili modeller: BERT ve türevleri, ayrıca RoBERTa ve DeBERTa (genişletilmiş encoder‑only varyantları); alternatif ön eğitim hedefleri arasında ELECTRA (RTD).

2. Decoder‑only (yalnızca kod çözücü, yalnızca decoder)

Yalnızca nedensel (soldan sağa) dikkat içeren decoder yığını devreye girer: model, belirlenmiş bir önek üzerinden bir sonraki token'ı tahmin eder. Bu eğitim modu — causal language modeling (CLM) — bu modelleri üretim için doğal bir seçim haline getirir: diyaloglar, ayrıntılı yanıtlar, yaratıcı metinler, program kodu. Ödünleşme — uzun prompt'larda artan gecikme ve KV‑cache boyutudur. Uygulamada decoder‑only için mühendislik teknikleri yaygın biçimde kullanılmaktadır: MQA ve GQA ile KV‑cache azaltma, spekülatif kod çözme ve sunucu optimizasyonları (PagedAttention/vLLM, continuous batching, chunked prefill) ile çıkarım hızlandırma.

Avantajlar:

• Doğal metin üretimi (CLM): güçlü zero‑shot ve few‑shot yetenekler; iyi ölçeklenir.
• Çok yönlülük: tek bir model, prompt'taki talimatlar ve örneklerle pek çok görevi çözer; RAG ve araç çağrısıyla (tool use) doğal biçimde uyum sağlar.
• Olgun ekosistem: talimat tabanlı ince ayar ve davranış hizalama (RLHF, DPO) uygulamaları; açık ve ticari uygulamalar mevcuttur.
• Zengin çıkarım optimizasyon yığını: MQA/GQA KV‑cache boyutunu azaltır ve verimi artırır; spekülatif kod çözme dağılımı değiştirmeden çıkarımı hızlandırır; PagedAttention/vLLM, continuous batching ve chunked prefill ile GPU'nun uçtan uca kullanım oranını artırır.
• Katı yanıt formatları (JSON/SQL/DSL) için yapılandırılmış üretim desteği; bu durum bilgi sistemleri ve API ile entegrasyonu kolaylaştırır.

Dezavantajlar:

• Artan üretim gecikmesi: sıralı çıkarım; yeni bir token'ın maliyeti halihazırda «okunmuş» bağlamın uzunluğuyla birlikte artar (KV‑cache).
• «Uzun giriş – kısa çıkış» profilinde (özetleme, çeviri) encoder–decoder'a kıyasla daha az avantajlı; encoder–decoder'da giriş bir kez kodlanır.
• Tek yönlü bağlam kısıtı: anlama görevlerinde zaman zaman çift yönlü temsil kullanan modellere (encoder‑only / encoder–decoder) göre geride kalır.
• KV‑cache için gereken bellek, uzun prompt'larda ve büyük toplu işlemlerde «darboğaz» oluşturabilir;
• Aktivasyon/KV kuantizasyonu (INT8/FP8) çıkarımı hızlandırır; ancak uzun bağlamlarda/kodda kaliteyi düşürebilir; titiz doğrulama gerektirir (özellikle katı SLA'larda).

Temsili modeller: GPT‑3, GPT‑4 (mimari ve veri kümesi ayrıntıları kamuya açık değil), LLaMA ve Llama 3 (8B/70B, 2024).

3. Encoder–decoder (kodlayıcı–kod çözücü, encoder-decoder)

Mimari her iki bileşeni de bir araya getirir. Encoder çift yönlü modda çalışır, decoder ise nedensel modda. Encoder girişi bir kez analiz eder ve onun temsilini oluşturur; decoder, cross‑attention aracılığıyla bu temsile başvurarak çıktı üretir. Bu ayrık yaklaşım, uzun bir giriş metninin kısa bir çıktıya dönüştürülmesini gerektiren durumlarda özellikle kullanışlıdır: makine çevirisi, özetleme, belgelere dayalı yanıtlar. Yöntem daha büyük toplam hesaplama maliyeti gerektirse de (iki yığın ve cross‑attention), avantajı kaynak metnin tam analizine dayalı kontrollü üretimdir; üstelik kodlama tek seferlik yapılır ve çıkarım sürecinin tamamında yeniden kullanılır.

Avantajlar:

• Koşullu üretim: decoder, giriş temsiline cross‑attention uygular.
• «Uzun giriş → kısa çıkış» senaryosunda verimli: giriş bir kez kodlanır.
• «Text‑to‑text» formatı ve kontrollü çıkarım (görev önekleri, özel talimatlar) için uygundur.
• Uzun kaynaklarda kararlılık ve verimlilik: kod çözme aşamasında yalnızca çıktı üzerindeki self‑attention büyür; cross‑attention encoder'dan alınan sabit anahtar/değerleri yeniden kullanır (giriş her adımda «yeniden okunmaz»).

Dezavantajlar:

• İki yığın, eğitim ve kullanım sırasında bellek ve hesaplama gereksinimlerini artırır.
• Çok uzun dizilerde toplam gecikme decoder‑only ile karşılaştırılabilir düzeye gelir; otomatik regresyon darboğaz olmaya devam eder.
• Decoder‑only'ye kıyasla daha az sayıda genel amaçlı sohbet modeli; daha çok belirli görevler için yüksek kaliteli seq2seq motoru olarak kullanılır.
• Çok uzun girişlerde her decoder katmanında cross‑attention için gereken bellek (kaynağın tamamı üzerinden anahtar/değerler) artar; dikkatli servis planlaması gerektirir.

Temsili modeller: T5 (T5 v1.1 ve FLAN‑T5'deki talimat tabanlı ince ayar uygulamaları dahil) ve BART.

Yoğun (Dense) Transformer'lar

En yaygın LLM mimarisi olan klasik yoğun transformer, her token işlenirken modelin parametre kümesinin neredeyse tamamını devreye sokar. Seyrek yaklaşımların (örneğin Mixture‑of‑Experts) aksine, alt ağların seçici aktivasyonu söz konusu değildir — her blok her token için çalışır.

Çalışma ilkesi ve mimari

Temel yapı. Model, N adet özdeş transformer bloğundan oluşan bir yığındır. Her blok şunları içerir:

1. Çok Başlı Öz-Dikkat (Multi‑Head Self‑Attention). Her token için üç vektör hesaplanır: Q (query), K (key), V (value); dikkat $\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}+M}{\sqrt{d_k}}\right)\cdot V$ olarak tanımlanır; burada $M$ — geçersiz konumları dışlayan maske (nedensel ve/veya dolgu maskesi). Birden fazla «dikkat başı» bağlamın farklı yönlerini paralel olarak ele alır (H baş, genellikle $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$); sayıları modelin ölçeğiyle birlikte artar.
2. Tam Bağlantılı Ağ (Feed‑Forward Network, FFN). Aralarında doğrusal olmayan bir fonksiyon bulunan iki doğrusal katman (genellikle GELU/SiLU; bazı modern modellerde SwiGLU). Ara boyut genellikle $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$; SwiGLU kullanıldığında karşılaştırılabilir parametre sayısını korumak için genellikle $\approx \frac{8}{3}{d}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ alınır. FFN parametrelerin önemli bir bölümünü barındırır.

Ek bileşenler. Artık (residual) bağlantılar ve katman normalizasyonu kullanılır; modern LLM'lerde daha sık Pre‑LN (alt bloklardan önce normalizasyon) tercih edilir — bu, büyük derinliklerde eğitim kararlılığını artırır. Klasik LayerNorm'a ek olarak RMSNorm giderek daha yaygın hale gelmektedir (hesaplama maliyetini düşürür ve büyük modellerde iyi çalışır); bazı model ailelerinde dikkat uzayında normalizasyon da uygulanır (örn. softmax öncesi Q/K normalizasyonu). Konum temsilleri mutlak veya göreli olabilir; uzun bağlam için fiili standart RoPE olmuştur.

Model örnekleri ve ölçek

• BERT‑Large: 24 katman, 1024 boyut, 16 dikkat başı, ≈340 milyon parametre.
• GPT‑3 (175B): 96 katman, 12288 boyut, 96 dikkat başı, ≈175 milyar parametre.
• LLaMA‑65B: 80 katman, 8192 boyut, 64 dikkat başı, ≈65 milyar parametre.
• PaLM‑540B: 118 katman, yaklaşık 18432 boyut, ≈540 milyar parametre.

Avantajlar

• Düzgün bloklar, iyi anlaşılmış eğitim modları ve ölçeklendirmede öngörülebilir davranış.
• Parametre ve veri artışıyla kalite üstel biçimde iyileşir; compute‑optimal mod, model boyutu ve eğitim token sayısının birlikte artırılmasını öngörür.
• Aynı mimari, ince ayardan sonra katman düzeyinde değişiklik yapmaksızın geniş bir görev yelpazesini karşılar.

Dezavantajlar

• Tam öz-dikkat, dizi uzunluğuna göre ikinci dereceden karmaşıklığa sahiptir ($O(n^2)$); bu durum bağlam penceresini kısıtlar.
• Üretim adımında tam parametre aktivasyonu: MoE olmayan bir decoder'da token başına çıkarım maliyeti yaklaşık olarak parametre sayısıyla orantılı biçimde artar.
• Bellek bant genişliği darboğazı (bellek sınırlı): HBM'den ağırlık yükleme çoğu zaman çıkarım hızını sınırlar.

Ölçeklendirme ve bağlam kısıtları

• Parametreler için gereken bellek model boyutuyla doğrusal olarak büyür; eğitim belleği gradyanlar ve optimizer durumları nedeniyle artar.
• Temel yapılandırmalar tarihsel olarak 2–4 bin token ile sınırlıydı. Modern konum şemaları (RoPE) ve genişletme teknikleri (Position Interpolation, YaRN vb.) pencereyi bir kat ve daha fazla büyütmeye olanak tanır; ancak bunun bedeli ek hesaplama/bellek yüküdür.

Modern optimizasyonlar

• FlashAttention. GPU bellek hiyerarşisini dikkate alan kesin dikkat algoritması; bellek maliyetini düşürür ve uzun dizilerde eğitim/çıkarımı hızlandırır.
• KV‑cache azaltma ve yönetimi. Multi‑Query Attention ve Grouped‑Query Attention cache boyutunu ve bellek trafiğini azaltır; sunucu düzeyinde PagedAttention (vLLM), sayfalı cache yönetimiyle verimi artırır.
• Spekülatif kod çözme. Taslak (draft) model bir devam önerir, ana model bunu hızla doğrular; çıktı dağılımı değiştirilmeksizin hızlanma sağlanır.

Seyrek Modeller (Sparse Models) ve Mixture‑of‑Experts (MoE)

MoE, token başına hesaplama maliyetinde orantılı bir artış olmaksızın model kapasitesini büyütmenin bir yoludur. Katmanda tek büyük bir FFN bloğu yerine paralel «uzman» kümesi (birden fazla bağımsız FFN) kullanılır; öğrenilebilir bir yönlendirici (gating network), her token için en alakalı top‑k uzmanları seçer (genellikle k=1–2; bazı modellerde k=4). Yalnızca seçilen uzmanlar etkinleştirilir; çıktıları ağırlıklandırılarak toplanır. Böylece toplam parametre sayısı yüzlerce milyarı, hatta trilyonları bulabilirken her adımda yalnızca küçük bir kısım kullanılır.

Model örnekleri ve ölçek

• Switch Transformer (Google): ~1.6T parametreye kadar; top‑1 yönlendirme (token başına bir uzman). MoE'nin token başına karşılaştırılabilir maliyetle kapasiteyi büyük ölçüde artırabildiğini göstermiştir.
• GLaM (Google): 1.2T parametre, katmanda 64 uzman, top‑2; her token için ≈%8'e karşılık gelen ≈96.6B parametre etkinleşir.
• Mixtral 8×7B (Mistral AI): toplamda ~46.7B parametre, token başına ≈12.9B aktif, top‑2.
• Mixtral 8×22B: toplamda ~141B parametre, token başına ≈39B aktif, top‑2.
• DBRX (Databricks): toplamda 132B parametre, token başına ≈36B aktif; 16 uzman ve top‑4 yönlendirme (ince taneli MoE).

Avantajlar

• Hesaplama maliyeti, toplam parametre sayısı değil, aktif uzman sayısı k tarafından belirlenir: trilyonluk ölçekte modelleri, belirgin biçimde daha küçük yoğun modellerle karşılaştırılabilir maliyetle eğitip kullanmak mümkündür.
• Uzmanlaşma: uzmanlar otomatik olarak diller/alanlar/desenler için «ayar yapar»; bu durum çok alanlı görevlerde kaliteyi artırır.
• Esnek dağıtım: sık kullanılan uzmanları bellekte tutup nadir kullanılanları isteğe bağlı yüklemek mümkündür (uygun altyapı gerektiren).

Kısıtlamalar

• Yük dengeleme: düzenleme olmadan yönlendirici bazı uzmanlara «takılıp kalabilir» (router collapse). Yardımcı kayıplar (load‑balancing) ve geliştirilmiş yönlendirme şemaları gerekir.
• Dağıtık hesaplama karmaşıklığı: expert parallelism ve all‑to‑all iletişim gerekir; iletişim maliyetleri ve bellek yönetimi darboğaz haline gelir.
• Eğitim kararlılığı: yönlendirici ve kapasite kısıtı ayarları önemlidir; aksi takdirde kalite/yakınsama bozulabilir.

Modern iyileştirmeler

• Expert‑Choice yönlendirme: uzmanlar token'ları «seçer»; bu durum karşılaştırılabilir maliyetle dengelemeyi ve yakınsamayı iyileştirir.
• Fine‑grained MoE: daha fazla sayıda daha küçük uzman (DBRX'te olduğu gibi) uzmanlaşmada ince granülasyon sağlar.
• Sparse Upcycling: yoğun bir modelin checkpoint'inden MoE'ye dönüştürülmesi, ılımlı maliyetle kaliteyi önemli ölçüde artırmaya olanak tanır.

MoE kullanımının uygunluğu

• Sınırlı compute bütçesiyle büyük çok alanlı asistanlar.
• Uzmanlaşmanın kazanım sağladığı geniş derlemler üzerinde eğitim.
• Gelişmiş dağıtık altyapı senaryoları (çok sayıda GPU/TPU ve hızlı ağlar).

Yoğun modellerin daha iyi olduğu durumlar: sınırlı altyapı (1–2 GPU), öngörülebilir gecikme ve basit dağıtım için katı gereksinimler.

Retrieval‑Augmented Generation (RAG)

RAG, modelin iç mimarisi değil, LLM etrafında kurulan bir sistem mimarisi desenidir. Bir LLM'yi (üretici bileşen) harici bir bilgi tabanıyla (geri getirme bileşeni) birleştirir; bu sayede modelin «parametrik belleğinin» sınırlılığı telafi edilir.

• Çalışma ilkesi: Üretimden önce LLM, harici bir kaynaktan (wiki, kurumsal bilgi tabanı, web) ilgili belgeleri getirir ve yanıt oluştururken bunlara dayanır.
• Avantajlar:
  • Hallüsinasyonların azalması ve olgusal doğruluğun artması.
  • Modelin tamamen yeniden eğitilmesi gerekmeksizin güncellik.
  • Yanıtların alıntılanabilirliği ve izlenebilirliği.
• Kullanım: Doğrulanabilir olgular ve özel/dar kapsamlı verilerle çalışmanın gerektiği kurumsal asistanlar ve sistemler için fiili standart.

Dikkat mekanizmaları ve bağlamla çalışma

Temel öz-dikkat dizi uzunluğuna göre ikinci dereceden karmaşıklığa sahiptir ($O(n^2)$); bu nedenle çeşitli optimizasyonlar geliştirilmiştir.

• Seyrek Dikkat (Sparse Attention): Dikkati yerel pencereler/desenlerle kısıtlama. Örnekler: Longformer, BigBird.
• FlashAttention: GPU bellek hiyerarşisini dikkate alarak hesaplama sırasının yeniden düzenlenmesi; zaman ve bellek açısından önemli kazanım sağlar ve uzun bağlamlı LLM eğitiminde fiili standart haline gelmiştir.
• MQA/GQA (kod çözme hızlandırma): Multi‑Query Attention (tüm başlar için ortak anahtar/değerler) KV‑cache trafiğini azaltır. Grouped‑Query Attention kalite/hız dengesini kurar.
• Geliştirilmiş konum temsilleri:
  • ALiBi (Attention with Linear Biases): Dikkat puanlarına doğrusal kaymalar eklenerek büyük uzunluklara genelleme iyileştirilir.
  • RoPE (Rotary Position Embeddings): Q/K döndürme yoluyla göreli konum bilgisi; modern modellerde (örneğin LLaMA) yaygın olarak kullanılmaktadır.
  • RoPE modelleri için bağlam genişletme: Position Interpolation , YaRN ve NTK-aware değişiklikler, mimariyi değiştirmeksizin bağlam penceresini etkin biçimde büyütmeye olanak tanır.

• Uzun diziler için diğer yaklaşımlar:
  • Transformer‑XL: Uzun mesafeli bağımlılıkları modellemek için segmentler arasında yinelemeli bellek.
  • Reformer: Bellek tasarrufu için LSH-attention ve tersine çevrilebilir artık bloklar.
  • Performer: softmax-attention'ın doğrusal yaklaşımı (FAVOR+).
  • Linformer: Dikkat matrisinin düşük kerteli yaklaşımı.

Model optimizasyonları ve eğitim altyapısı

LLM'lerin eğitimi ve dağıtımı için özel teknikler ve çerçeveler kullanılmaktadır.

• Kuantizasyon (Quantization): Ağırlık hassasiyetinin azaltılması belleği düşürür ve çıkarımı hızlandırır. QLoRA, 4-bitlik modellerin (65B dahil) tam hassasiyete yakın kaliteyle etkin biçimde ince ayarlanmasına olanak tanır.
• Bilgi Damıtma (Knowledge Distillation): Kompakt modeller için Teacher→Student eğitimi; örnek — DistilBERT.
• Dağıtık eğitim:
  • DeepSpeed ve ZeRO — trilyonluk modellerin eğitimi için parametre/gradyan/optimizer durum dağıtımı.
  • Megatron‑LM — çok büyük transformer'lar için tensör ve boru hattı paralelizmi.
• Ekosistem ve araçlar: Hugging Face Transformers ve Accelerate, standart model uygulamaları ile eğitim ve çıkarım için DeepSpeed/FSDP entegrasyonu sağlar.

Ölçeklendirme yasaları ve compute‑optimal eğitim

Deneysel ölçeklendirme yasaları, parametre, veri ve hesaplama artışıyla çapraz entropi hatasının üstel bir yasayla azaldığını göstermektedir. Chinchilla çalışması compute‑optimal modları netleştirmiştir: en iyi verimlilik için model boyutu ve eğitim token sayısı birlikte ölçeklendirilmelidir (örnek — ~1.4T token üzerinde eğitilmiş ve daha büyük ancak yetersiz eğitilmiş modelleri geride bırakan 70B model).

Durum Uzayı Modelleri (State Space Models, SSM)

State Space Models (SSM), uzun dizilerle çalışmak için transformer'lara alternatif bir mimaridir. Kontrol teorisi ve dijital sinyal işleme fikirlerini ödünç alır ve self-attention'ın temel sorununu çözer: metin uzunluğu arttıkça hesaplamanın ikinci dereceden büyümesi.

Temel sorun ve çözüm

Transformer'ların sorunu. Geleneksel transformer'ların temel sorunu dikkat mekanizmasının ikinci dereceden karmaşıklığıdır: 10 kat daha uzun bir metin yaklaşık 100 kat daha fazla hesaplama gerektirir.

SSM yaklaşımı. Model «tüm kelimelere aynı anda dikkat etmek» yerine metnin üzerinden sıralı biçimde geçer ve her adımda güncellenen kompakt bir iç bellek durumu sürdürür. Sonuç olarak zaman ve bellek tüketimi metin uzunluğuyla yaklaşık doğrusal biçimde büyür. Üstelik eğitim paralel olarak gerçekleştirilebilir — çekirdek evrişimsel temsili aracılığıyla (uzun dizilerde yüksek verim).

Çalışma ilkesi

Ayrık SSM, durum ve çıkış denklemleriyle tanımlanır:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

burada $x_t$ — bellek durumu, $u_t$ — giriş (token), $y_t$ — çıkış. Derin SSM'lerde $A,B,C,D$ matrisleri, uzun dizilerde kararlılık ve verimli hesaplama sağlayacak biçimde parametrize edilir. Aynı katman şu şekilde ele alınabilir:

• yinelemeli (adım adım tarama) — KV‑cache olmaksızın bellek açısından ekonomik çıkarım;
• evrişimsel — önceden hesaplanmış çekirdekle paralel eğitim.

Temel mimariler ve hibridler

• S4 (Structured State Spaces). Kararlı durum matrisi parametrizasyonuna sahip SSM temel çizgisi; çok uzun dizilerde etkinliğini kanıtlamıştır.
• Mamba. Seçici SSM: bellek güncelleme kuralları mevcut girişe bağlıdır (model «bellekte ne tutacağına» ve «ne unutacağına» kendisi karar verir). Uygulama GPU bellek hiyerarşisine yöneliktir; yazarlara göre doğrusal karmaşıklıkla çıkarım verimi birkaç kat artmaktadır.
• RetNet. Üç modlu retention mekanizması: paralel eğitim, yinelemeli ve blok-yinelemeli çıkarım. Amaç — hızlı eğitim (transformer gibi) ile ekonomik çıkarım akışını (token başına O(1) bellek) bir arada sunmak.
• Attention+SSM Hibridleri. Örnek — Jamba (Transformer ve Mamba katmanlarının dönüşümlü kullanımı artı MoE): benzer sınıftaki saf transformer modellere kıyasla belirgin biçimde daha düşük bellek gereksinimiyle ~256 K token düzeyinde bağlam desteği sunduğunu bildirmektedir.

Avantajlar

• Çıkarımda doğrusal karmaşıklık ve bellek tasarrufu. Global self-attention ve KV‑cache yoktur; yalnızca kompakt bir durum tutulur.
• Uzun dizilerde paralel eğitim. Evrişimsel mod eğitim verimini artırır.
• Donanım verimliliği. Uygulamalar modern bellek hiyerarşisine (HBM/SRAM) yöneliktir.
• Uzun bağlamlar ve akış. SSM+Attention hibridleri, ılımlı kaynaklar için yüz binlerce token'da pratik kullanım sunar.

Kısıtlamalar ve güncel uygulama

• Ekosistem olgunluğu. Araçlar ve ölçeklendirme «tarifleri» (talimatlar, RLHF/DPO) henüz transformer yığınının gerisindedir.
• Kalite ve kararlılık. Bazı görevlerde hibridler (Attention+SSM), «saf» SSM'ye kıyasla daha kararlı bir «kalite/hız/bellek» dengesi sergiler.

Yaklaşımların karşılaştırması (genel)

Özellik	Transformer'lar	SSM	Hibridler (Attention+SSM)
Uzunluğa göre karmaşıklık	İkinci dereceden (self‑attention)	Doğrusal (tarama/evrişim)	Doğrusala yakın
Token başına bellek (çıkarım)	KV‑cache bağlamla büyür	O(1) durum	Ilımlı büyüme
Uzun bağlamlar	Özel optimizasyonlar gerektirir	Doğal destek	~256 K'ya kadar pratik
Ekosistem olgunluğu	Yüksek	Gelişmekte	Gelişmekte

Pratik uygulamalar

• Çok uzun belgelerin analizi (kitaplar, raporlar, bilimsel incelemeler).
• Bellek maliyeti artırmaksızın uzun geçmişli akış işleme ve sohbet senaryoları.
• Sınırlı kaynaklu ortamlar (mobil/edge cihazlar).
• Zaman serileri ve diğer sıralı veriler.

Temsili modeller: S4, Mamba, RetNet; Attention+SSM hibridleri (Jamba).

Mimarilerin evrimi

• 2017 — «Attention Is All You Need» makalesi yayımlandı. Transformer mimarisi tanıtıldı: çok başlı öz-dikkat ve konum kodlamaları, modellerin yineleme ve evrişim olmaksızın eğitilmesine olanak tanır; bununla birlikte dikkat, bağlam uzunluğuna göre ikinci dereceden karmaşıklığa sahiptir.

• 2018 — GPT‑1 ve BERT tanıtıldı. GPT‑1, üretim ve ardından ince ayar için nedensel dikkat içeren yalnızca decoder yığınını kullanır; BERT, metin anlama görevleri için çift yönlü encoder ve MLM ön eğitimini tanıtır.

• 2019 — Uzun dizilerle çalışma yöntemleri önerildi ve decoder‑only ölçeklendi. Transformer‑XL, sabit pencereyi aşmak için «bellek» ve göreli konumlar ekler; GPT‑2, ölçek artışıyla zero‑shot yeteneklerinin büyüdüğünü gösterir; BART, seq2seq için gürültü giderme ön eğitiminin etkinliğini ortaya koyar.

• 2020 — «Text‑to‑text» formatı birleştirildi ve uzun belgeler için yöntemler gösterildi. T5, farklı görevler için birleşik encoder–decoder yaklaşımını formüle eder; Longformer ve BigBird, uzun metinler için seyrek/yapılandırılmış dikkat kullanır; GPT‑3, yoğun decoder‑only'nin ölçeklendirme etkinliğini doğrular.

• 2021 — Konum temsilleri iyileştirildi ve parametre seyrekliği (MoE) gösterildi. RoPE ve ALiBi büyük uzunluklara genellemeyi artırır; Switch Transformer ve GLaM, token başına yalnızca uzmanların bir bölümünü etkinleştirerek çıkarım maliyetini orantısız biçimde artırmaksızın kapasiteyi yükseltir.

• 2022 — Compute‑optimal mod netleştirildi ve uzun prompt'larda çıkarım hızlandırıldı. Chinchilla, ılımlı model boyutunda daha fazla eğitim token'ının avantajını ortaya koyar; Multi‑Query Attention içeren PaLM, KV‑cache boyutunu azaltır; FlashAttention, GPU üzerindeki dikkati hızlandırır.

• 2023 — Katmanlar değiştirilmeksizin bağlam pencereleri genişletildi ve sunucu tarafı sunum iyileştirildi. LLaMA serisi uygulamaları (RMSNorm, SwiGLU, RoPE) yerleşik kılar; Position Interpolation ve YaRN bağlamı genişletir; vLLM/PagedAttention, KV‑cache'i daha verimli yönetir.

• 2023 — GPT‑4 ve Gemini, tek bir model ailesi çerçevesinde çok kipli işleme ve üretimi gösterir.

• 2023 — Durum uzayı modelleri (SSM) önerildi. Mamba ve RetNet, KV‑cache yerine kompakt durum içeren sıralı işlemeye geri döner ve hibrit mimarilerin temelini atar.

• 2024 — Açık MoE modelleri ve Attention+SSM hibridleri yayımlandı; yeni GPU'larda dikkat hızlandırıldı. Mixtral 8×7B/8×22B ve DBRX, MoE'nin pratikliğini doğrular; Jamba, çok uzun bağlamlar için Transformer ve Mamba'yı birleştirir; FlashAttention‑3 verimi artırır.

Literatür

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768

Kaynakça

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — görsel açıklama