Gemma (Google) (UR)

Gemma — یہ آزادانہ دستیاب زبان کے ماڈلز کا ایک خاندان ہے جسے Google (ذیلی ادارہ Google DeepMind) نے تیار اور جاری کیا ہے۔ Gemma کے ماڈلز اسی تحقیقی اور تکنیکی بنیاد پر استوار ہیں جس پر Gemini کا اہم خاندان قائم ہے، اور انہیں اس کے ہلکے، اعلیٰ کارکردگی والے ورژن کے طور پر پیش کیا جاتا ہے۔ یہ نام لاطینی لفظ gemma سے ماخوذ ہے جس کا مطلب «قیمتی پتھر» ہے۔

Gemma کا تعلق open models (کھلے ماڈلز) کی زمرہ بندی سے ہے: Google ماڈلز کے weights شائع کرتی ہے، جس کی بدولت محققین اور ڈویلپرز انہیں آزادانہ طور پر استعمال، fine-tuning اور تقسیم کر سکتے ہیں، بشمول تجارتی منصوبوں کے، ذمہ دارانہ استعمال کی شرائط کے ساتھ۔ یہ Gemini ماڈلز سے ایک اہم فرق ہے، جن تک رسائی صرف کلاؤڈ API کے ذریعے ممکن ہے۔ Gemma ماڈلز صارفین کے عام آلات (لیپ ٹاپ، GPU والے ڈیسک ٹاپ کمپیوٹر) پر مقامی طور پر کام کر سکتے ہیں، نہ کہ صرف ڈیٹا سینٹرز میں۔

ترقی اور اجراء

Gemma کے خاندان میں ماڈلز کی کئی نسلیں شامل ہیں، جن میں سے ہر ایک نے فن تعمیر، کارکردگی اور صلاحیتوں میں بہتری لائی۔

پہلی نسل: Gemma 1

Gemma کا پہلا ورژن 21 فروری 2024 کو جاری کیا گیا۔ اس میں decoder transformer کے فن تعمیر پر مبنی دو متنی ماڈلز شامل تھے:

• Gemma 2B (2 ارب parameters)
• Gemma 7B (7 ارب parameters)

اجراء کے وقت Google نے اعلان کیا کہ یہ ماڈلز اہم benchmarks پر اپنے سے بہت بڑے ہم منصبوں سے بہتر کارکردگی دکھاتے ہیں۔ اصل ماڈلز بنیادی طور پر انگریزی میں تھے، لیکن انہیں متنوع ڈیٹا پر تربیت دی گئی تھی، جس میں ویب دستاویزات، پروگرامنگ کوڈ اور ریاضی کے مسائل شامل تھے۔ دونوں ماڈلز دو صورتوں میں جاری کیے گئے: بنیادی (pre-trained) اور ہدایاتی fine-tuning (instruction-tuned) جو صارف کے احکامات کو بہتر طریقے سے پورا کرنے کے لیے۔

دوسری نسل: Gemma 2

Gemma 2 کا اعلان 27 جون 2024 کو کیا گیا اور اس نے اہم بہتریاں لائیں۔

• ماڈلز کے سائز: 9 اور 27 ارب parameters والے ماڈلز جاری کیے گئے۔ چھوٹے ورژنز کو معیار بہتر بنانے کے لیے بڑے ماڈل سے knowledge distillation کی تکنیک استعمال کرتے ہوئے تربیت دی گئی۔
• Context window: اسے نمایاں طور پر بڑھا کر 80,000 tokens کر دیا گیا (پہلے ورژن میں 8192 کے مقابلے میں)۔
• فن تعمیر میں بہتریاں: grouped-query attention کے طریقہ کار اور لمبے context کے ساتھ موثر کام کے لیے مقامی اور عالمی توجہ کی بدلتی ہوئی ترتیب متعارف کرائی گئی۔

تیسری نسل: Gemma 3

Gemma 3 کو مارچ 2025 میں خاندان کی ترقی میں اگلے قدم کے طور پر پیش کیا گیا، جس میں multimodality اور وسیع تر کاموں کی سرانجام دہی پر زور دیا گیا۔

• Multimodality: ماڈلز کو متن کے ساتھ ساتھ تصاویر اور ویڈیو بطور input قبول کرنے کی صلاحیت ملی۔
• سائز اور زبانیں: ماڈل کی رینج چار سائزوں (1B، 4B، 12B، 27B) پر محیط ہے اور 140 تک زبانوں کو سپورٹ کرتی ہے۔
• Context window: اسے بڑھا کر 128,000 tokens کر دیا گیا۔

Google کے مطابق، Gemma 3 27B نے اپنے دور کے بہترین کھلے ماڈلز کی سطح کے نتائج دکھائے، رینکنگ میں صرف DeepSeek-R1 جیسے خصوصی ماڈلز سے پیچھے رہا۔

فن تعمیر اور تکنیکی خصوصیات

Gemma ماڈلز transformer کے فن تعمیر پر «صرف decoder» (decoder-only) کنفیگریشن میں مبنی ہیں، جو GPT ماڈلز سے ملتا جلتا ہے۔ اس کا مطلب ہے کہ ماڈل تمام پچھلے tokens کی بنیاد پر اگلے token کی پیش گوئی کرتے ہوئے autoregressive طریقے سے متن تیار کرتا ہے۔ اہم تکنیکی حلوں میں شامل ہیں:

• Rotary Positional Embeddings (RoPE): مطلق positional embeddings کی جگہ RoPE استعمال کیے جاتے ہیں، جو positional معلومات کو موثر طریقے سے encode کرنے کی اجازت دیتے ہیں۔
• Multi-query اور Grouped-query attention: رفتار بڑھانے اور چھوٹے ماڈلز (جیسے Gemma 2B) میں میموری بچانے کے لیے multi-query attention (تمام attention heads کے لیے واحد key/value) استعمال کیا جاتا ہے۔ Gemma 2 میں grouped-query attention کا طریقہ کار متعارف کرایا گیا، جہاں queries کو گروپوں میں تقسیم کیا جاتا ہے، جو رفتار اور معیار کے درمیان ایک توازن ہے۔
• بدلتی ہوئی attention ترتیب: Gemma 2 میں ایک ترتیب نافذ کی گئی ہے جہاں عالمی self-attention کی تہیں محدود «sliding window» والی تہوں کے ساتھ باری باری آتی ہیں، جو لمبے contexts کو موثر طریقے سے پروسیس کرنے کی اجازت دیتی ہے۔

ماڈلز کا خاندان اور ورژنز

عالمگیر بنیادی ماڈلز کے علاوہ، Google نے Gemma کے کئی مشتق ورژنز جاری کیے ہیں جو مخصوص کاموں کے لیے بہتر بنائے گئے ہیں۔

• CodeGemma: پروگرامنگ کوڈ تیار کرنے اور مکمل کرنے کا ماڈل، جو C++، C#، Go، Java، JavaScript، Python، Rust اور دیگر زبانوں کو سپورٹ کرتا ہے۔
• DataGemma: ماڈلز کا خاندان جسے RAG تکنیکوں کا استعمال کرتے ہوئے بیرونی ڈیٹا کے ساتھ یکجا ہونے کے لیے fine-tune کیا گیا ہے۔ یہ ماڈل جوابات کی حقیقی درستگی بڑھانے کے لیے ڈیٹا بیسز (جیسے Google Data Commons) میں تلاشی سوالات کر سکتا ہے۔
• PaliGemma: ایک multimodal ماڈل جو تصاویر اور متن کو input کے طور پر قبول کر سکتا ہے۔ یہ visual سوال و جواب کے کاموں کے لیے ڈیزائن کیا گیا ہے، جیسے تصاویر کی وضاحت اور اشیاء کی شناخت۔
• RecurrentGemma: Griffin کے ہائبرڈ فن تعمیر کے ساتھ ایک تجرباتی ورژن، جو مقامی attention اور linear recurrent connections کو یکجا کرتا ہے۔ یہ لمبی sequences کی تیاری کو نمایاں طور پر تیز کرنے کی اجازت دیتا ہے۔
• MedGemma: طبی شعبے کے لیے Gemma 3 کا خصوصی ورژن۔ اس میں طبی تصاویر (ایکس ریز، سیکشنز) اور کلینیکل دستاویزات کے تجزیے کے لیے multimodal (4B) اور متنی (27B) ماڈلز شامل ہیں۔ ماڈلز کھلے طور پر تقسیم کیے جاتے ہیں، لیکن اضافی توثیق کے بغیر براہ راست کلینیکل استعمال کے لیے نہیں ہیں۔
• DolphinGemma: ڈالفنز کی بات چیت کو سمجھنے کے لیے Gemma ٹیکنالوجیز کے استعمال سے متعلق ایک تحقیقی منصوبہ۔ ماڈل کو سالوں کی آڈیو ریکارڈنگز پر تربیت دی گئی ہے اور اسے جانوروں کی زبان میں patterns دریافت کرنے کے لیے استعمال کیا جاتا ہے۔

دستیابی اور استعمال

Gemma ماڈلز Kaggle اور Hugging Face پلیٹ فارمز پر دستیاب ہیں، اور Google Colab اور Vertex AI Model Garden سروسز میں بھی یکجا ہیں۔ inference کو تیز کرنے کے لیے Google نے NVIDIA کے ساتھ مل کر ماڈلز کو TensorRT کے لیے موافق بنایا ہے۔ Gemma کی لائسنس شرائط ماڈلز کے تجارتی استعمال اور ترمیم کی اجازت دیتی ہیں، جو انہیں کچھ دیگر کھلے منصوبوں سے ممتاز کرتی ہے۔ تقسیم کا انتظام Responsible AI License سے ہوتا ہے، جو بعض شعبوں (جیسے ہتھیاروں کی تیاری) میں استعمال پر پابندیاں عائد کرتا ہے اور مشتق مصنوعات سے AI کے محفوظ اور اخلاقی استعمال کے اصولوں پر عمل کرنے کا تقاضا کرتا ہے۔

حفاظت اور ذمہ داری

ماڈلز کی کھلی نوعیت کو مدنظر رکھتے ہوئے ڈویلپرز نے حفاظتی مسائل پر بہت توجہ دی۔

• ڈیٹا فلٹریشن: تربیتی datasets تیار کرتے وقت ذاتی ڈیٹا اور دیگر حساس معلومات کو خودکار طریقے سے فلٹر کیا گیا تاکہ معلومات لیک ہونے کا خطرہ کم ہو۔
• Alignment (ہم آہنگی): ماڈلز کے ہدایاتی ورژنز نے پسندیدہ جواب دہی کے طرز کو پختہ کرنے کے لیے Supervised Fine-Tuning (SFT) اور RLHF (انسانی آراء پر مبنی reinforcement learning) کی تکنیکوں کا استعمال کرتے ہوئے کئی مراحل میں alignment سے گزرے۔
• Red Teaming: جاری کرنے سے پہلے ماڈلز کو نقصاندہ سوالات کے خلاف مزاحمت کے لیے گہرائی سے جانچا گیا۔ ماہرین نے خامیاں دریافت کرنے کے لیے خطرناک یا ناپسندیدہ مواد تیار کرانے کی کوشش کی۔
• Responsible AI Toolkit: ماڈلز کے ساتھ Google نے محفوظ deployment کو آسان بنانے کے لیے ٹولز کا ایک مجموعہ جاری کیا، جس میں ماڈل کی اندرونی حالتوں کے تجزیے کے لیے Gemma Debugger یوٹیلٹی اور ناپسندیدہ مواد کے classifiers شامل ہیں۔
• ShieldGemma: ایک خصوصی filter ماڈل جو Gemma کے multimodal ورژنز میں غیر محفوظ مواد کی تیاری روکنے کے لیے ڈیزائن کیا گیا ہے۔

روابط

• Google AI کی ویب سائٹ پر Gemma کا سرکاری صفحہ
• Hugging Face پر Gemma ماڈلز

کتابیات

• Mesnard, T. et al. (2024). Gemma: Open Models Based on Gemini Research and Technology. arXiv:2403.08295.
• Rivière, M. et al. (2024). Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118.
• Kamath, A. et al. (2025). Gemma 3 Technical Report. arXiv:2503.19786.
• Zhao, H. et al. (2024). CodeGemma: Open Code Models Based on Gemma. arXiv:2406.11409.
• Beyer, L. et al. (2024). PaliGemma: A Versatile 3B VLM for Transfer. arXiv:2407.07726.
• Steiner, A. et al. (2024). PaliGemma 2: A Family of Versatile VLMs for Transfer. arXiv:2412.03555.
• Botev, A. et al. (2024). RecurrentGemma: Moving Past Transformers for Efficient Open Language Models. arXiv:2404.07839.
• Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
• Chinnakonduru, S. S. & Mohapatra, A. (2024). Weighted Grouped Query Attention in Transformers. arXiv:2407.10855.
• Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
• Radhakrishnan, P. et al. (2024). Knowing When to Ask — Bridging Large Language Models and Data. arXiv:2409.13741.