Theoretical foundations of large language models (TR)

Büyük dil modellerinin teorik temelleri (transformer mimarisine dayalı) — modern büyük dil modellerinin (LLM) işleyişini, eğitimini ve yeteneklerini açıklayan matematiksel, istatistiksel ve bilgi-kuramsal ilkelerin bütünüdür. Bu temeller, Transformer mimarisi üzerine inşa edilmiş modellerin insan dilini yüksek düzeyde tutarlılıkla nasıl anlayıp üretebildiğini açıklamaktadır.

Mimari Temeller: Transformer Mimarisi

Modern LLM'ler neredeyse tamamen, 2017 yılında yayımlanan "Attention Is All You Need" makalesiyle tanıtılan Transformer mimarisine dayanmaktadır. Bu mimari, yinelemeli katmanlardan (RNN ve LSTM'de olduğu gibi) vazgeçerek dikkat (attention) mekanizmasını temel almış; bu sayede uzun dizilerin verimli şekilde işlenmesi ve hesaplamaların paralelleştirilmesi mümkün olmuştur.

Self-Attention - Öz-Dikkat Mekanizması

Bu mekanizma, Transformer mimarisinin çekirdeğini oluşturur. Öz-dikkat mekanizması, modelin bir dizideki her kelimenin (token'ın) önemini aynı dizideki tüm diğer kelimelere göre ağırlıklandırmasını sağlar. Her token için üç vektör oluşturulur:

• Query (Q, Sorgu): Geçerli kelimeyi temsil eden vektör.
• Key (K, Anahtar): Diğer kelimelerden gelen sorgularla karşılaştırılan vektör.
• Value (V, Değer): İleriye aktarılacak kelime bilgisini içeren vektör.

Dikkat skoru, ölçeklendirilmiş iç çarpım olarak hesaplanır:

$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

burada $d_k$ anahtar vektörlerinin boyutudur. Bu mekanizma, modelin kelimeler arasındaki mesafeden bağımsız olarak karmaşık bağlamsal ilişkileri yakalamasını sağlar.

Multi-Head Attention - Çok Başlı Dikkat, farklı projeksiyon matrisleriyle bu tür birden fazla hesaplamanın paralel olarak gerçekleştirilmesidir; bu sayede model sözdizimi ve anlambilimin farklı yönlerine aynı anda odaklanabilmektedir.

Transformer Tabanlı Mimari Türleri

Transformer bileşenlerinin kullanımında üç temel seçenek bulunmaktadır:

1. Encoder-Decoder (Kodlayıcı-Kod Çözücü): Diziyi diziye dönüştürme görevleri için klasik mimari (örneğin makine çevirisi). Kodlayıcı giriş dizisini işler, kod çözücü ise çıkış dizisini üretir. Örnekler: T5, BART.
2. Encoder-Only (Yalnızca Kodlayıcı): Yalnızca kodlayıcı yığınını kullanan modeller. Tüm dizinin bağlamının derin şekilde anlaşılmasını gerektiren görevler için uygundur (metin sınıflandırma, adlandırılmış varlık tanıma). Örnek: BERT.
3. Decoder-Only (Yalnızca Kod Çözücü): Yalnızca kod çözücü yığınını kullanan modeller. Önceki token'lara dayanarak bir sonraki token'ı tahmin eden otoregresif biçimde çalışırlar. Bu, üretici modeller için standarttır. Örnekler: GPT, LLaMA, Claude.

Konumsal Kodlama

Öz-dikkat mekanizması kelime sırasını dikkate almadığından, mimariye konumsal kodlama eklenmektedir. Token embedding'lerine, dizideki konumlarını kodlayan vektörler eklenir. Orijinal modelde sinüzoidal fonksiyonlar kullanılmıştır:

$\text{PE}(\text{pos},2i)=\sin (\text{pos}/10000^{2i/d_{\text{model}}})$

$\text{PE}(\text{pos},2i+1)=\cos (\text{pos}/10000^{2i/d_{\text{model}}})$

Modern modellerde ayrıca öğrenilebilir ve dönel (Rotary Position Embeddings, RoPE) konumsal kodlamalar da kullanılmaktadır.

Eğitim İlkeleri: Olasılıktan Optimizasyona

Dil Modellemesi: Olasılıksal Bir Görev Olarak

LLM'lerin temelinde dil modellemesi görevi yatar; bu görev, bir metin dizisinin olasılığını tahmin etmeyi kapsar. Biçimsel olarak, $X=(x_1,x_2,\dots ,x_T)$ dizisi için model $P(X)$ olasılığını tahmin eder. Olasılıkların zincir kuralı aracılığıyla bu ifade, koşullu olasılıkların çarpımına açılır:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

Dolayısıyla modelin eğitimi, bir sonraki token'ı $x_t$ önceki token'lardan oluşan bağlama dayanarak tahmin etmeye indirgenir.

Kayıp Fonksiyonu ve Bilgi Kuramı

Tahminlerin kalitesini değerlendirmek ve modeli eğitmek amacıyla çapraz entropi kayıp fonksiyonu kullanılır. Bu fonksiyon, modelin tahmin ettiği olasılık dağılımı ($q$) ile gerçek dağılım ($p$) arasındaki farkı ölçer; burada doğru sonraki token'ın olasılığı 1, diğerlerininki ise 0'dır.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

Çapraz entropinin en aza indirilmesi, eğitim verilerinin olabilirliğinin en üst düzeye çıkarılmasıyla eşdeğerdir.

İlgili bir kalite ölçütü olan perplexity (şaşkınlık), çapraz entropinin üstel fonksiyonu olarak tanımlanır: $\text{Perplexity}=2^{H(p,q)}$. Sezgisel olarak, perplexity modelin her adımda "seçim yaptığı" ortalama seçenek sayısını gösterir. Perplexity ne kadar düşükse model o kadar güvenli ve doğru demektir.

Optimizasyon

LLM eğitimi, modelin milyarlarca parametresini düzelterek kayıp fonksiyonunu en aza indirme sürecidir. Bu amaçla gradyan inişine dayalı yöntemler kullanılmaktadır. En yaygın kullanılan optimizatör, her parametre için öğrenme hızını uyarlamalı olarak ayarlayan Adam (Adaptive Moment Estimation) ve onun türevleridir (örneğin AdamW).

Eğitim Paradigmaları

1. Ön Eğitim (Pre-training): Model, aşağıdaki gibi öz-denetimli görevler kullanılarak devasa etiketlenmemiş metin derlemleri (Common Crawl, The Pile, C4) üzerinde eğitilir:
   • Causal Language Modeling (CLM) - Nedensel Dil Modellemesi: Bir sonraki token'ı tahmin etme (GPT'de kullanılır).
   • Masked Language Modeling (MLM) - Maskeli Dil Modellemesi: Metindeki rastgele maskelenmiş token'ları geri yükleme (BERT'te kullanılır).
2. Fine-tuning - Hassas Ayar: Ön eğitimin ardından model, küçük etiketli veri kümeleri üzerinde belirli görevlere uyarlanır.
3. Alignment - Hizalama: Modelin davranışını insan tercihleri ve değerleriyle uyumlu hale getirmeye yönelik özel bir hassas ayar aşaması. Temel yöntem, insan tercihlerini tahmin eden bir modelden gelen ödül sinyali kullanılarak modelin ince ayarlandığı RLHF (Reinforcement Learning from Human Feedback)dir.

Ölçekleme Yasaları ve Ortaya Çıkan Yetenekler

Ampirik araştırmalar, LLM performansının üç faktörün artmasıyla öngörülebilir biçimde iyileştiğini ortaya koymuştur: model boyutu (parametre sayısı, $N$), eğitim veri kümesinin boyutu ($D$) ve hesaplama miktarı ($C$). Bu ilişki, üs yasalarıyla (scaling laws) tanımlanmaktadır.

OpenAI'nin çalışmasında (Kaplan ve ark., 2020) önerilen yasa, kayıp fonksiyonunun $L$, $N$, $D$ ve $C$'un üs fonksiyonu olarak azaldığını göstermektedir. DeepMind'ın daha sonraki çalışması (Hoffmann ve ark., 2022), bu yasaları güncelleyerek (Chinchilla yasaları) en uygun eğitim için hem model boyutunun hem de veri miktarının dengeli biçimde artırılması gerektiğini ortaya koymuştur.

Ölçeklemenin önemli bir sonucu, ortaya çıkan yeteneklerin (emergent abilities) belirmesidir; bu, modelin açıkça eğitilmediği görevleri (örneğin aritmetik, mantıksal çıkarım, kod yazma) çözmeye başlamasıyla ortaya çıkan niteliksel performans sıçramalarıdır. Bu yetenekler genellikle daha küçük modellerde bulunmaz ve yalnızca belirli bir ölçek eşiğine ulaşıldıktan sonra ortaya çıkar.

Metin Üretimi: Kod Çözme Stratejileri

Eğitimin ardından model, bir sonraki token'ı yinelemeli olarak tahmin ederek metin üretir. Modelin çıkardığı olasılık dağılımından bir sonraki token'ın seçimi, çeşitli kod çözme stratejileri kullanılarak gerçekleştirilir:

• Greedy Search - Açgözlü Arama: Her zaman en olası token seçilir. Hızlıdır, ancak çoğu zaman tekrarlayan ve sıkıcı metinlere yol açar.
• Beam Search - Işın Arama: Her adımda $k$ en olası dizi korunur; bu sayede daha iyi küresel çözümler bulunabilir.
• Sıcaklık ile Örnekleme: Token olasılıkları sıcaklık parametresiyle ($T$) düzeltilir. $T>1$ durumunda dağılım daha düzgün hale gelir (daha fazla yaratıcılık), $T<1$ durumunda ise daha sivri hale gelir (daha az rastlantısallık).
• Top-k Örnekleme: Her adımda örnekleme, en olası $k$ token ile sınırlandırılır.
• Top-p (Nucleus) Örnekleme: Örnekleme, toplam olasılığı $p$ eşiğini aşan minimum token kümesiyle sınırlandırılır. Bu, aday havuzunun boyutunun dinamik olarak uyarlanmasına olanak tanır.

Teorik Sorunlar ve Kısıtlamalar

• Halüsinasyon: Modellerin gerçekte yanlış olan ancak makul görünen bilgi üretme eğilimi. Bu durum, modellerin metnin doğruluğunu değil olasılığını optimize etmesiyle ilgilidir.
• Önyargı (Bias): LLM'ler, eğitim verilerinde bulunan toplumsal, kültürel ve diğer önyargıları devralmakta ve pekiştirmektedir.
• Yorumlanabilirlik ("kara kutu"): Devasa parametre sayısı nedeniyle modelin kararlarını tam olarak anlamak son derece güçtür; bu durum hata ayıklamayı zorlaştırmakta ve riskler doğurmaktadır.
• Hesaplama Karmaşıklığı: Öz-dikkat mekanizması, dizi uzunluğuna göre karesel karmaşıklığa sahiptir ($O(n^2)$); bu durum işlenebilecek maksimum bağlam uzunluğunu kısıtlamaktadır.

Ayrıca bakınız

• Büyük dil modelleri
• BERT
• GPT

Kaynakça

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.