Decoder-only models (architecture) (TR)
Yalnızca çözücü modeller (İng. Decoder-Only Models) — büyük dil modellerinin (LLM) baskın mimari sınıfıdır; yalnızca Transformer mimarisinin çözücü (decoder) bölümünü temel alır. Bu modeller metin üretimi görevlerinde uzmanlaşmış olup günümüzdeki sohbet botlarının ve yapay zeka asistanlarının büyük çoğunluğunun temelini oluşturmaktadır.
Bu yaklaşımı popülerleştiren öncü model serisi, OpenAI'ın GPT model ailesidir.
Kavram ve Mimari
Yalnızca çözücü modellerin temel fikri, dizilerin otoregresif üretimine dayanmaktadır. Bu, modelin bir sonraki token'ı, daha önce üretilmiş tüm token'lara bakarak tahmin ettiği anlamına gelir. Giriş olarak verilen prompt (kullanıcı isteği) ve halihazırda üretilmiş metin, modelin devam ettirdiği tek bir dizi olarak değerlendirilir.
Mimari açıdan model, özdeş çözücü katmanından oluşan bir yığındır. Her katman, bir kodlayıcıdan (encoder) veya tam çözücüden (full decoder) farklı olarak yalnızca iki temel alt katman içerir:
- Maskelenmiş Çok Başlı Öz-Dikkat (Masked Multi-Head Self-Attention): Otoregresif özelliği sağlayan temel mekanizmadır. Dizi işlenirken özel bir nedensel maske (causal mask), her token'ın kendinden sonraki token'lara "bakmasını" engeller. Böylece konumundaki tahmin yalnızca konumlarındaki token'lara bağlıdır.
- Tam Bağlantılı Sinir Ağı (Feed-Forward Network): Her token temsiline doğrusal olmayan bir dönüşüm uygular.
Yalnızca çözücü modellerde, üzerine "dikkat yöneltilebilecek" bir kodlayıcı bulunmadığından çapraz dikkat (cross-attention) mekanizması yer almaz.
Ön Eğitim Görevleri
Yalnızca çözücü modeller, tek ama son derece güçlü bir öz-denetimli görev üzerinde eğitilir:
Nedensel Dil Modelleme (Causal Language Modeling, CLM)
- Çalışma prensibi: Model, bir dizideki bir sonraki token'ı tahmin etmeyi öğrenir. Her eğitim adımında girdi olarak bir metin parçası alır ve bir sonraki token için olasılık dağılımı üretmek zorundadır.
- Amaç: Devasa miktarda metin verisi üzerinde doğru bir sonraki token'ın olasılığını en üst düzeye çıkarmak. İlk bakışta basit görünen bu görev, modeli dilbilgisini, söz dizimini, dünya hakkındaki olguları ve dilin karmaşık örüntülerini öğrenmeye zorlar.
Kullanım Alanları
Otoregresif yapıları sayesinde yalnızca çözücü modeller, metin üretimi gerektiren tüm görevler için son derece uygundur:
- Serbest biçimli metin üretimi: Makale, şiir, senaryo yazımı vb.
- Diyalog sistemleri ve sohbet botları: Kullanıcı sorularına konuşma tarzında yanıt verme.
- Özetleme: Uzun metinlerin kısa özetlerinin oluşturulması.
- Makine çevirisi: Bu amaçla çoğunlukla encoder-decoder modeller kullanılsa da yalnızca çözücü modeller, görev prompt içinde tanımlandığında (örneğin "İngilizceden Türkçeye çevir: ...") çeviri görevini de yerine getirebilir.
- Kod yazımı: Metin açıklamasından kod üretimi.
- Bağlam içi öğrenme (In-context learning): Büyük çözücü modeller, ölçekleri sayesinde, prompt içinde yalnızca birkaç örnek verilmesiyle (few-shot) hatta hiç örnek verilmeksizin (zero-shot) ve herhangi bir ek eğitim (fine-tuning) gerektirmeksizin yeni görevleri çözme kapasitesi sergilemektedir.
Başlıca Modeller ve Gelişimleri
- GPT serisi (2018-günümüz): Yaklaşımın öncüleri ve popülerleştiricileri. GPT-1 ön eğitimin etkinliğini kanıtladı, GPT-2 ölçeklemenin gücünü ortaya koydu, GPT-3 ise few-shot yeteneklerinin ortaya çıkışını gösterdi. ChatGPT ve GPT-4, bu mimariyi yapay zeka asistanları için standart haline getirdi.
- LLaMA (2023-günümüz): Meta'nın açık model serisi; güçlü LLM'lere erişimi demokratikleştirdi ve toplulukta bir yenilik dalgasını teşvik etti.
- Claude (2023-günümüz): Anthropic'in, Constitutional AI aracılığıyla güvenlik ve denetlenebilirliğe odaklanan model ailesi.
- PaLM ve Gemini (2022-günümüz): Google'ın amiral gemisi modelleri. Gemini aynı zamanda doğası gereği çok modlu bir yalnızca çözücü modeldir.
Diğer Mimarilerle Karşılaştırma
| Mimari | Temel Görev | Bağlam Yönü | Tipik Modeller |
|---|---|---|---|
| Yalnızca çözücü | Metin üretimi | Tek yönlü (soldan sağa) | GPT, LLaMA, Claude, Gemini |
| Yalnızca kodlayıcı | Metin anlama | İki yönlü | BERT, RoBERTa |
| Kodlayıcı-çözücü | Diziden diziye dönüşüm | İki yönlü (kodlayıcı) + Tek yönlü (çözücü) | T5, BART, orijinal Transformer |
Ayrıca bakınız
- GPT