Gemma (Google) (HI)
Gemma — यह Google कंपनी (Google DeepMind विभाग) द्वारा विकसित और जारी किए गए स्वतंत्र रूप से उपलब्ध भाषा मॉडलों का एक परिवार है। Gemma मॉडल उसी शोध एवं तकनीकी आधार पर बने हैं जिस पर प्रमुख Gemini परिवार आधारित है, और इन्हें उनके हल्के, उच्च-प्रदर्शन वाले संस्करणों के रूप में प्रस्तुत किया जाता है[1]। इसका नाम लैटिन शब्द gemma से लिया गया है, जिसका अर्थ है «रत्न»[2]।
Gemma open models (खुले मॉडल) की श्रेणी में आता है: Google मॉडलों के weights प्रकाशित करता है, जिससे शोधकर्ता और डेवलपर उन्हें स्वतंत्र रूप से उपयोग कर सकते हैं, fine-tuning कर सकते हैं और वितरित कर सकते हैं — जिसमें व्यावसायिक परियोजनाएँ भी शामिल हैं — जिम्मेदार उपयोग की शर्तों के पालन के साथ[2]। यह Gemini मॉडलों से एक प्रमुख अंतर है, जिन तक पहुँच केवल क्लाउड API के माध्यम से संभव है। Gemma मॉडल केवल डेटा-सेंटरों में नहीं, बल्कि उपभोक्ता उपकरणों (लैपटॉप, GPU युक्त डेस्कटॉप कंप्यूटर) पर भी स्थानीय रूप से चल सकते हैं[3]।
विकास और रिलीज़
Gemma परिवार में कई पीढ़ियों के मॉडल शामिल हैं, जिनमें से प्रत्येक ने architecture, प्रदर्शन और क्षमताओं में सुधार लाया।
पहली पीढ़ी: Gemma 1
Gemma का पहला संस्करण 21 फरवरी 2024 को जारी किया गया था[4]। इसमें decoder transformer architecture पर आधारित दो text मॉडल शामिल थे:
- Gemma 2B (2 अरब parameters)
- Gemma 7B (7 अरब parameters)
जारी किए जाने के समय Google ने दावा किया कि ये मॉडल प्रमुख benchmark पर उल्लेखनीय रूप से बड़े समकक्षों से बेहतर प्रदर्शन करते हैं[2]। मूल मॉडल मुख्यतः अंग्रेजी भाषा में थे, लेकिन विविध डेटा पर प्रशिक्षित थे, जिसमें वेब-दस्तावेज़, प्रोग्राम कोड और गणितीय समस्याएँ शामिल थीं[1]। दोनों मॉडल दो वेरिएंट में जारी किए गए: मूल (pre-trained) और instruction-fine-tuned (instruction-tuned), जो उपयोगकर्ता के निर्देशों का बेहतर पालन करने के लिए बनाया गया था[2]।
दूसरी पीढ़ी: Gemma 2
Gemma 2 की घोषणा 27 जून 2024 को की गई और इसने महत्वपूर्ण सुधार प्रस्तुत किए[1]।
- मॉडलों के आकार: 9 और 27 अरब parameters वाले मॉडल जारी किए गए। छोटे वेरिएंट को गुणवत्ता बढ़ाने के लिए बड़े मॉडल से knowledge distillation की तकनीक का उपयोग करके प्रशिक्षित किया गया था[5]।
- Context window: इसे बढ़ाकर 80,000 token कर दिया गया (पहले संस्करण में 8192 की तुलना में)[6][7]।
- Architecture में सुधार: grouped-query attention के तंत्र और लंबे context के साथ कुशल कार्य के लिए स्थानीय एवं वैश्विक attention की एक-दूसरे के साथ बारी-बारी आने वाली योजना लागू की गई[1]।
तीसरी पीढ़ी: Gemma 3
Gemma 3 को मार्च 2025 में multimodality और कार्यों के विस्तारित दायरे पर जोर देने के साथ परिवार के विकास में अगले कदम के रूप में प्रस्तुत किया गया[6]।
- Multimodality: मॉडलों को text के साथ-साथ input डेटा के रूप में छवियों और वीडियो का समर्थन प्राप्त हुआ।
- आकार और भाषाएँ: मॉडल श्रृंखला में चार आकार (1B, 4B, 12B, 27B) शामिल हैं और 140 तक भाषाओं का समर्थन करती है[6]।
- Context window: इसे बढ़ाकर 128,000 token कर दिया गया[6]।
Google के अनुसार, Gemma 3 27B ने अपने समय के सर्वश्रेष्ठ खुले मॉडलों के स्तर पर परिणाम दिखाए, रैंकिंग में केवल DeepSeek-R1 जैसे विशेष मॉडलों से पीछे रही[6]।
Architecture और तकनीकी विशेषताएँ
Gemma मॉडल «केवल-decoder» (decoder-only) विन्यास में transformer architecture पर आधारित हैं, जो GPT मॉडलों के समान है[7]। इसका अर्थ है कि मॉडल सभी पिछले token के आधार पर अगले token की भविष्यवाणी करते हुए autoregressive रूप से text उत्पन्न करता है। प्रमुख तकनीकी समाधानों में शामिल हैं:
- Rotational Positional Embeddings (RoPE): पूर्ण स्थितिगत embedding के बजाय RoPE का उपयोग किया जाता है, जो स्थितिगत जानकारी को कुशलतापूर्वक encode करने की अनुमति देता है।
- Multi-query और Grouped-query attention: गति बढ़ाने और छोटे मॉडलों (जैसे Gemma 2B) में मेमोरी बचाने के लिए multi-query attention (सभी attention head के लिए एकल key/value) का उपयोग किया जाता है। Gemma 2 में grouped-query attention का तंत्र लागू किया गया, जहाँ queries को समूहों में विभाजित किया जाता है, जो गति और गुणवत्ता के बीच एक समझौता है[1][7]।
- बारी-बारी आने वाली attention योजना: Gemma 2 में एक ऐसी योजना लागू की गई है जहाँ global self-attention वाली layers सीमित «sliding window» वाली layers के साथ बारी-बारी आती हैं, जो लंबे context को कुशलतापूर्वक संसाधित करने की अनुमति देती है[1]।
मॉडल परिवार और वेरिएंट
सामान्य base मॉडलों के अलावा, Google ने Gemma के कई व्युत्पन्न संस्करण जारी किए हैं जो विशिष्ट कार्यों के लिए अनुकूलित हैं।
- CodeGemma: प्रोग्राम कोड की पीढ़ी और पूर्णता के लिए एक मॉडल, जो C++, C#, Go, Java, JavaScript, Python, Rust और अन्य भाषाओं का समर्थन करता है[1]।
- DataGemma: RAG तकनीकों का उपयोग करके बाहरी डेटा के एकीकरण के लिए fine-tuned मॉडलों का एक परिवार। मॉडल उत्तरों की तथ्यात्मक सटीकता बढ़ाने के लिए databases (जैसे Google Data Commons) पर खोज queries निष्पादित करने में सक्षम है[1]।
- PaliGemma: एक multimodal मॉडल जो input के रूप में छवियाँ और text स्वीकार कर सकता है। यह visual प्रश्न-उत्तर संपर्क के कार्यों के लिए बनाया गया है, जैसे छवि विवरण और वस्तु पहचान[1]।
- RecurrentGemma: Griffin hybrid architecture के साथ एक प्रयोगात्मक वेरिएंट, जो local attention और linear recurrent connections को जोड़ता है। यह लंबे sequence की पीढ़ी को काफी तेज करने की अनुमति देता है[7]।
- MedGemma: चिकित्सा क्षेत्र के लिए Gemma 3 का एक विशेष संस्करण। इसमें चिकित्सा छवियों (एक्स-रे, स्लाइस) और नैदानिक दस्तावेजों के विश्लेषण के लिए multimodal (4B) और text (27B) मॉडल शामिल हैं। मॉडल खुले के रूप में वितरित किए जाते हैं, लेकिन अतिरिक्त validation के बिना सीधे नैदानिक उपयोग के लिए अभिप्रेत नहीं हैं[8]।
- DolphinGemma: डॉल्फिन संचार को समझने के लिए Gemma तकनीकों के अनुप्रयोग पर एक शोध परियोजना। मॉडल को वर्षों की audio रिकॉर्डिंग पर प्रशिक्षित किया गया है और इसका उपयोग पशु भाषा में पैटर्न की पहचान के लिए किया जाता है[9]।
उपलब्धता और उपयोग
Gemma मॉडल Kaggle और Hugging Face प्लेटफॉर्म पर उपलब्ध हैं, साथ ही Google Colab और Vertex AI Model Garden सेवाओं में एकीकृत हैं[2]। inference को तेज करने के लिए Google ने NVIDIA के सहयोग से TensorRT के लिए मॉडलों का अनुकूलन किया। Gemma की लाइसेंस शर्तें मॉडलों के व्यावसायिक उपयोग और संशोधन की अनुमति देती हैं, जो इसे कुछ अन्य खुली परियोजनाओं से अलग करती हैं। वितरण Responsible AI License द्वारा नियंत्रित होता है, जो कुछ क्षेत्रों (जैसे हथियार विकास) में उपयोग पर प्रतिबंध लगाता है और व्युत्पन्न उत्पादों से AI के सुरक्षित और नैतिक अनुप्रयोग के सिद्धांतों का पालन करने की आवश्यकता होती है[3]।
सुरक्षा और जिम्मेदारी
डेवलपर्स ने मॉडलों की खुली प्रकृति को देखते हुए सुरक्षा मुद्दों पर बहुत ध्यान दिया।
- डेटा फ़िल्टरिंग: प्रशिक्षण dataset तैयार करते समय, रिसाव के जोखिम को कम करने के लिए व्यक्तिगत डेटा और अन्य संवेदनशील जानकारी को स्वचालित रूप से फ़िल्टर किया गया[2]।
- Alignment: मॉडलों के instruction संस्करणों ने Supervised Fine-Tuning (SFT) और RLHF (मानव प्रतिक्रिया के आधार पर Reinforcement Learning) तकनीकों का उपयोग करके पसंदीदा उत्तर शैलियों को मजबूत करने के लिए बहु-चरणीय alignment से गुजरे[1]।
- Red Teaming: जारी करने से पहले, मॉडलों को दुर्भावनापूर्ण queries के प्रति प्रतिरोध की गहन जाँच के अधीन किया गया। विशेषज्ञों ने कमजोरियों की पहचान करने के लिए खतरनाक या अवांछनीय सामग्री की पीढ़ी को उकसाने का प्रयास किया[3]।
- Responsible AI Toolkit: मॉडलों के साथ, Google ने सुरक्षित तैनाती को सुविधाजनक बनाने के लिए उपकरणों का एक सेट जारी किया, जिसमें मॉडल की आंतरिक स्थितियों के विश्लेषण के लिए Gemma Debugger उपयोगिता और अवांछनीय सामग्री के classifier शामिल हैं[2]।
- ShieldGemma: एक विशेष filter मॉडल जो Gemma के multimodal संस्करणों में असुरक्षित सामग्री की पीढ़ी को रोकने के लिए बनाया गया है[6]।
संदर्भ
- Google AI साइट पर Gemma का आधिकारिक पृष्ठ
- Hugging Face पर Gemma मॉडल
साहित्य
- Mesnard, T. et al. (2024). Gemma: Open Models Based on Gemini Research and Technology. arXiv:2403.08295.
- Rivière, M. et al. (2024). Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118.
- Kamath, A. et al. (2025). Gemma 3 Technical Report. arXiv:2503.19786.
- Zhao, H. et al. (2024). CodeGemma: Open Code Models Based on Gemma. arXiv:2406.11409.
- Beyer, L. et al. (2024). PaliGemma: A Versatile 3B VLM for Transfer. arXiv:2407.07726.
- Steiner, A. et al. (2024). PaliGemma 2: A Family of Versatile VLMs for Transfer. arXiv:2412.03555.
- Botev, A. et al. (2024). RecurrentGemma: Moving Past Transformers for Efficient Open Language Models. arXiv:2404.07839.
- Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
- Chinnakonduru, S. S. & Mohapatra, A. (2024). Weighted Grouped Query Attention in Transformers. arXiv:2407.10855.
- Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
- Radhakrishnan, P. et al. (2024). Knowing When to Ask — Bridging Large Language Models and Data. arXiv:2409.13741.
टिप्पणियाँ
- ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 «What Is Google Gemma?». IBM. [१]
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 «Gemma: Google introduces new state-of-the-art open models». Google Developers Blog. [२]
- ↑ 3.0 3.1 3.2 «Google's open-source Gemma AI models draw from the research behind Gemini». The Verge. [३]
- ↑ «Google launches two new open LLMs». TechCrunch. [४]
- ↑ «Gemma 2: Improving Open Language Models at a Practical Size». Google.
- ↑ 6.0 6.1 6.2 6.3 6.4 6.5 «Google unveils open source Gemma 3 model with 128k context window». VentureBeat. [५]
- ↑ 7.0 7.1 7.2 7.3 «Gemma explained: An overview of Gemma model family architectures». Google Developers Blog. [६]
- ↑ «Google Releases MedGemma: Open AI Models for Medical Text and Image Analysis». InfoQ. [७]
- ↑ «Google Is Training a New A.I. Model to Decode Dolphin Chatter—and Potentially Talk Back». Smithsonian Magazine. [८]