Gemma (Google) (TR)

From Systems analysis Wiki
Jump to navigation Jump to search

Gemma — Google tarafından (Google DeepMind birimi) geliştirilen ve yayımlanan, özgürce erişilebilen bir dil modelleri ailesidir. Gemma modelleri, amiral gemisi Gemini ailesiyle aynı araştırma ve teknoloji tabanına dayanmakta olup onların hafifletilmiş, yüksek performanslı sürümleri olarak konumlandırılmaktadır[1]. Adı, Latince'de "değerli taş" anlamına gelen gemma sözcüğünden gelmektedir[2].

Gemma, open models (açık modeller) kategorisine girmektedir: Google, model ağırlıklarını yayımlamakta; bu sayede araştırmacılar ve geliştiriciler, sorumlu kullanım koşullarına uymak kaydıyla söz konusu ağırlıkları ticari projeler dahil olmak üzere serbestçe kullanabilmekte, ince ayar yapabilmekte ve dağıtabilmektedir[2]. Bu durum, yalnızca bulut tabanlı API'ler aracılığıyla erişilebilen Gemini modellerinden temel farkı oluşturmaktadır. Gemma modelleri, yalnızca veri merkezlerinde değil, tüketici donanımı üzerinde (GPU'lu dizüstü ve masaüstü bilgisayarlarda) yerel olarak da çalışabilmektedir[3].

Geliştirme ve Sürümler

Gemma ailesi, her biri mimari, performans ve yetenekler açısından iyileştirmeler getiren birkaç model kuşağını kapsamaktadır.

Birinci Kuşak: Gemma 1

Gemma'nın ilk sürümü 21 Şubat 2024 tarihinde yayımlandı[4]. Bu sürüm, decoder-only transformer mimarisine dayanan iki metin modelini içermekteydi:

  • Gemma 2B (2 milyar parametre)
  • Gemma 7B (7 milyar parametre)

Çıkış döneminde Google, bu modellerin temel benchmark'larda çok daha büyük muadillerini geride bıraktığını açıkladı[2]. İlk modeller ağırlıklı olarak İngilizce odaklıydı; ancak web belgeleri, yazılım kodu ve matematik problemleri dahil olmak üzere çeşitli veriler üzerinde eğitildi[1]. Her iki model de temel (pre-trained) ve kullanıcı komutlarına daha iyi uymak amacıyla talimat bazlı ince ayar yapılmış (instruction-tuned) olmak üzere iki ayrı biçimde yayımlandı[2].

İkinci Kuşak: Gemma 2

Gemma 2, 27 Haziran 2024 tarihinde duyuruldu ve önemli iyileştirmeler getirdi[1].

  • Model boyutları: 9 milyar ve 27 milyar parametreli modeller yayımlandı. Daha küçük varyantlar, kaliteyi artırmak amacıyla daha büyük modelden bilgi damıtma (knowledge distillation) yöntemiyle eğitildi[5].
  • Bağlam penceresi: İlk sürümdeki 8192 token değerine kıyasla 80.000 token'a kadar önemli ölçüde genişletildi[6][7].
  • Mimari iyileştirmeler: Uzun bağlamla verimli çalışmak için grouped-query attention mekanizması ile dönüşümlü yerel ve küresel attention şeması uygulamaya alındı[1].

Üçüncü Kuşak: Gemma 3

Gemma 3, çok kiplilik (multimodality) ve genişletilmiş görev kapsamına odaklanarak ailenin bir sonraki adımı olarak Mart 2025'te tanıtıldı[6].

  • Çok kiplilik: Modeller, metin yanı sıra girdi olarak görüntü ve video desteği kazandı.
  • Boyutlar ve diller: Model serisi dört boyutu (1B, 4B, 12B, 27B) kapsamakta ve 140'a kadar dili desteklemektedir[6].
  • Bağlam penceresi: 128.000 token'a yükseltildi[6].

Google'ın verilerine göre Gemma 3 27B, kendi döneminin en iyi açık modelleriyle kıyaslanabilir sonuçlar elde etmiş; sıralamada yalnızca DeepSeek-R1 gibi özel modellerin gerisinde kalmıştır[6].

Mimari ve Teknik Özellikler

Gemma modelleri, GPT modellerine benzer şekilde "yalnızca decoder" (decoder-only) konfigürasyonundaki transformer mimarisine dayanmaktadır[7]. Bu, modelin bir sonraki token'ı tüm önceki token'lara dayanarak tahmin ederek metni otoregresif biçimde ürettiği anlamına gelmektedir. Temel teknik tercihler şunlardır:

  • Döngüsel Konumsal Embedding'ler (RoPE): Mutlak konumsal embedding'ler yerine RoPE kullanılmakta; bu sayede konum bilgisi etkin biçimde kodlanabilmektedir.
  • Multi-query ve Grouped-query Attention: Daha küçük modellerde (örneğin Gemma 2B) hızlanma ve bellek tasarrufu amacıyla multi-query attention (tüm attention başları için tek anahtar/değer) kullanılmaktadır. Gemma 2'de ise sorgular gruplar hâlinde işlenen grouped-query attention mekanizması uygulamaya alınmış; bu yaklaşım hız ve kalite arasında bir denge sunmaktadır[1][7].
  • Dönüşümlü Attention Şeması: Gemma 2'de küresel öz-attention katmanlarının sınırlı "kayan pencere" katmanlarıyla dönüşümlü kullanıldığı bir şema hayata geçirilmiş; bu sayede uzun bağlamların etkin biçimde işlenmesi sağlanmaktadır[1].

Model Ailesi ve Varyantlar

Google, evrensel temel modellerin yanı sıra belirli görevlere yönelik optimize edilmiş çeşitli Gemma türev sürümleri yayımlamıştır.

  • CodeGemma: C++, C#, Go, Java, JavaScript, Python, Rust ve diğer dilleri destekleyen, yazılım kodu üretme ve tamamlama amacıyla tasarlanmış model[1].
  • DataGemma: RAG teknikleri kullanılarak dış verilerle entegrasyon için ince ayar yapılmış model ailesi. Model, yanıt doğruluğunu artırmak amacıyla veri tabanlarına (örneğin Google Data Commons) arama sorguları yürütebilmektedir[1].
  • PaliGemma: Görüntü ve metin girdilerini işleyebilen çok kipli model. Görüntü açıklama ve nesne tanıma gibi görsel soru-cevap görevleri için tasarlanmıştır[1].
  • RecurrentGemma: Yerel attention ile doğrusal tekrarlayan bağlantıları birleştiren hibrit Griffin mimarisine sahip deneysel varyant. Bu yaklaşım uzun dizilerin üretimini önemli ölçüde hızlandırmaktadır[7].
  • MedGemma: Tıp alanına yönelik özelleştirilmiş Gemma 3 sürümü. Tıbbi görüntüleri (röntgen, kesit görüntüleri) ve klinik belgeleri analiz etmek için çok kipli (4B) ve metin tabanlı (27B) modeller içermektedir. Modeller açık kaynak olarak dağıtılmakla birlikte ek doğrulama yapılmadan doğrudan klinik kullanım için önerilmemektedir[8].
  • DolphinGemma: Yunus iletişimlerinin çözümlenmesinde Gemma teknolojilerinin uygulanmasına yönelik araştırma projesi. Model, yıllara dayanan ses kayıtları üzerinde eğitilmiş olup hayvan dilindeki örüntülerin belirlenmesinde kullanılmaktadır[9].

Erişilebilirlik ve Kullanım

Gemma modelleri Kaggle ve Hugging Face platformlarında mevcuttur; aynı zamanda Google Colab ve Vertex AI Model Garden hizmetleriyle entegre edilmiştir[2]. Çıkarım hızını artırmak amacıyla Google, NVIDIA iş birliğiyle modelleri TensorRT'ye uyarlamıştır. Gemma'nın lisans koşulları, bazı diğer açık kaynak projelerinden farklı olarak modellerin ticari kullanımına ve değiştirilmesine olanak tanımaktadır. Dağıtım, Responsible AI License ile düzenlenmekte; bu lisans belirli alanlarda (örneğin silah geliştirme) kullanımı kısıtlamakta ve türev ürünlerin güvenli ve etik yapay zeka ilkelerine uymasını zorunlu kılmaktadır[3].

Güvenlik ve Sorumluluk

Geliştiriciler, modellerin açık niteliği göz önünde bulundurularak güvenlik konularına özel önem vermiştir.

  • Veri Filtreleme: Eğitim dataset'lerinin hazırlanması sırasında sızıntı riskini azaltmak amacıyla kişisel veriler ve diğer hassas bilgiler otomatik olarak filtrelendi[2].
  • Hizalama (Alignment): Modellerin talimat sürümleri, tercih edilen yanıt biçimlerini pekiştirmek için Supervised Fine-Tuning (SFT) ve RLHF (insan geri bildirimine dayalı pekiştirmeli öğrenme) yöntemleri kullanılarak çok aşamalı hizalama sürecinden geçirildi[1].
  • Red Teaming: Modeller yayımlanmadan önce kötü niyetli sorgulara karşı dirençleri bakımından kapsamlı testlere tabi tutuldu. Uzmanlar, güvenlik açıklarını belirlemek amacıyla tehlikeli veya istenmeyen içerik üretimini tetiklemeye çalıştı[3].
  • Responsible AI Toolkit Araç Seti: Google, modellerin yanı sıra güvenli dağıtımı kolaylaştırmak amacıyla model iç durumlarını analiz etmek için Gemma Debugger yardımcı programını ve istenmeyen içerik sınıflandırıcılarını içeren bir araç seti yayımladı[2].
  • ShieldGemma: Gemma'nın çok kipli sürümlerinde güvenli olmayan içerik üretimini önlemek amacıyla tasarlanmış özel filtre modeli[6].

Dış bağlantılar

  • Google AI sitesindeki resmi Gemma sayfası
  • Hugging Face'teki Gemma modelleri

Kaynakça

  • Mesnard, T. et al. (2024). Gemma: Open Models Based on Gemini Research and Technology. arXiv:2403.08295.
  • Rivière, M. et al. (2024). Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118.
  • Kamath, A. et al. (2025). Gemma 3 Technical Report. arXiv:2503.19786.
  • Zhao, H. et al. (2024). CodeGemma: Open Code Models Based on Gemma. arXiv:2406.11409.
  • Beyer, L. et al. (2024). PaliGemma: A Versatile 3B VLM for Transfer. arXiv:2407.07726.
  • Steiner, A. et al. (2024). PaliGemma 2: A Family of Versatile VLMs for Transfer. arXiv:2412.03555.
  • Botev, A. et al. (2024). RecurrentGemma: Moving Past Transformers for Efficient Open Language Models. arXiv:2404.07839.
  • Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
  • Chinnakonduru, S. S. & Mohapatra, A. (2024). Weighted Grouped Query Attention in Transformers. arXiv:2407.10855.
  • Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
  • Radhakrishnan, P. et al. (2024). Knowing When to Ask — Bridging Large Language Models and Data. arXiv:2409.13741.

Notlar

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 «What Is Google Gemma?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 «Gemma: Google introduces new state-of-the-art open models». Google Developers Blog. [2]
  3. ↑ 3.0 3.1 3.2 «Google's open-source Gemma AI models draw from the research behind Gemini». The Verge. [3]
  4. ↑ «Google launches two new open LLMs». TechCrunch. [4]
  5. ↑ «Gemma 2: Improving Open Language Models at a Practical Size». Google.
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 «Google unveils open source Gemma 3 model with 128k context window». VentureBeat. [5]
  7. ↑ 7.0 7.1 7.2 7.3 «Gemma explained: An overview of Gemma model family architectures». Google Developers Blog. [6]
  8. ↑ «Google Releases MedGemma: Open AI Models for Medical Text and Image Analysis». InfoQ. [7]
  9. ↑ «Google Is Training a New A.I. Model to Decode Dolphin Chatter—and Potentially Talk Back». Smithsonian Magazine. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Gemma_(Google)_(TR)&oldid=2567"