Gemma (Google) (DE)

From Systems analysis Wiki
Jump to navigation Jump to search

Gemma ist eine Familie frei verfügbarer Sprachmodelle, die von Google (Abteilung Google DeepMind) entwickelt und veröffentlicht wurde. Die Gemma-Modelle basieren auf derselben Forschungs- und Technologiegrundlage wie die Flaggschiff-Familie Gemini und werden als deren leichtgewichtige, hochleistungsfähige Versionen positioniert[1]. Der Name leitet sich vom lateinischen Wort gemma ab, was „Edelstein“ bedeutet[2].

Gemma gehört zur Kategorie der open models (offene Modelle): Google veröffentlicht die Gewichte der Modelle, was es Forschern und Entwicklern ermöglicht, sie frei zu verwenden, weiter zu trainieren und zu verbreiten, auch in kommerziellen Projekten, sofern die Bedingungen für eine verantwortungsvolle Nutzung eingehalten werden[2]. Dies ist ein wesentlicher Unterschied zu den Gemini-Modellen, auf die nur über Cloud-APIs zugegriffen werden kann. Die Gemma-Modelle können lokal auf Endverbraucher-Hardware (Laptops, Desktop-Computer mit GPUs) ausgeführt werden und nicht nur in Rechenzentren[3].

Entwicklung und Veröffentlichungen

Die Gemma-Familie umfasst mehrere Generationen von Modellen, von denen jede Verbesserungen in Architektur, Leistung und Fähigkeiten mit sich brachte.

Erste Generation: Gemma 1

Die erste Version von Gemma wurde am 21. Februar 2024 veröffentlicht[4]. Sie umfasste zwei Textmodelle, die auf einer Decoder-only-Transformer-Architektur basieren:

  • Gemma 2B (2 Milliarden Parameter)
  • Gemma 7B (7 Milliarden Parameter)

Zum Zeitpunkt der Veröffentlichung gab Google an, dass diese Modelle in wichtigen Benchmarks deutlich größere Pendants übertreffen[2]. Die ursprünglichen Modelle waren überwiegend englischsprachig, wurden aber auf vielfältigen Daten trainiert, darunter Webdokumente, Programmcode und mathematische Aufgaben[1]. Beide Modelle wurden in zwei Varianten veröffentlicht: einer vortrainierten Basisversion (pre-trained) und einer instruktions-feinabgestimmten Version (instruction-tuned), um Benutzerbefehlen besser folgen zu können[2].

Zweite Generation: Gemma 2

Gemma 2 wurde am 27. Juni 2024 angekündigt und brachte erhebliche Verbesserungen[1].

  • Modellgrößen: Es wurden Modelle mit 9 und 27 Milliarden Parametern veröffentlicht. Die kleineren Varianten wurden mittels Wissensdestillation aus dem größeren Modell trainiert, um die Qualität zu steigern[5].
  • Kontextfenster: Wurde erheblich auf 80.000 Tokens erweitert (im Vergleich zu 8192 in der ersten Version)[6][7].
  • Architektonische Verbesserungen: Es wurden Mechanismen wie Grouped-Query Attention und ein abwechselndes Schema aus lokaler und globaler Attention eingeführt, um lange Kontexte effizient zu verarbeiten[1].

Dritte Generation: Gemma 3

Gemma 3 wurde im März 2025 als nächster Entwicklungsschritt der Familie vorgestellt, mit einem Fokus auf Multimodalität und einem erweiterten Aufgabenbereich[6].

  • Multimodalität: Die Modelle erhielten neben Text auch Unterstützung für Bilder und Videos als Eingabedaten.
  • Größen und Sprachen: Die Modellreihe umfasst vier Größen (1B, 4B, 12B, 27B) und unterstützt bis zu 140 Sprachen[6].
  • Kontextfenster: Auf 128.000 Tokens erhöht[6].

Laut Google erreichte Gemma 3 27B Ergebnisse auf dem Niveau der besten offenen Modelle seiner Zeit und wurde in den Ranglisten nur von spezialisierten Modellen wie DeepSeek-R1 übertroffen[6].

Architektur und technische Merkmale

Die Gemma-Modelle basieren auf einer Decoder-only-Transformer-Architektur, ähnlich den GPT-Modellen[7]. Das bedeutet, dass das Modell Text autoregressiv generiert, indem es das nächste Token auf der Grundlage aller vorhergehenden vorhersagt. Zu den wichtigsten technischen Lösungen gehören:

  • Rotary Positional Embeddings (RoPE): Anstelle von absoluten Positionseinbettungen werden RoPEs verwendet, was eine effiziente Kodierung von Positionsinformationen ermöglicht.
  • Multi-Query und Grouped-Query Attention: Zur Beschleunigung und Speichereinsparung wird in kleineren Modellen (z. B. Gemma 2B) Multi-Query Attention verwendet (ein einziger Schlüssel/Wert für alle Attention-Köpfe). In Gemma 2 wurde der Mechanismus der Grouped-Query Attention eingeführt, bei dem Anfragen in Gruppen aufgeteilt werden, was einen Kompromiss zwischen Geschwindigkeit und Qualität darstellt[1][7].
  • Abwechselndes Attention-Schema: In Gemma 2 wurde ein Schema implementiert, bei dem sich Schichten mit globaler Self-Attention mit Schichten mit einem begrenzten „gleitenden Fenster“ abwechseln, was eine effiziente Verarbeitung langer Kontexte ermöglicht[1].

Modellfamilie und Varianten

Neben den universellen Basismodellen hat Google mehrere abgeleitete Versionen von Gemma veröffentlicht, die für spezifische Aufgaben optimiert sind.

  • CodeGemma: Ein Modell zur Generierung und Vervollständigung von Programmcode, das C++, C#, Go, Java, JavaScript, Python, Rust und andere Sprachen unterstützt[1].
  • DataGemma: Eine Familie von Modellen, die für die Integration mit externen Daten unter Verwendung von RAG-Techniken feinabgestimmt wurden. Das Modell kann Suchanfragen an Datenbanken (z. B. Google Data Commons) durchführen, um die faktische Genauigkeit der Antworten zu erhöhen[1].
  • PaliGemma: Ein multimodales Modell, das Bilder und Text als Eingabe verarbeiten kann. Es ist für visuelle Frage-Antwort-Aufgaben wie Bildbeschreibung und Objekterkennung konzipiert[1].
  • RecurrentGemma: Eine experimentelle Variante mit einer hybriden Griffin-Architektur, die lokale Attention und lineare rekurrente Verbindungen kombiniert. Dies ermöglicht eine erhebliche Beschleunigung bei der Generierung langer Sequenzen[7].
  • MedGemma: Eine spezialisierte Version von Gemma 3 für den medizinischen Bereich. Sie umfasst multimodale (4B) und textbasierte (27B) Modelle zur Analyse von medizinischen Bildern (Röntgenaufnahmen, Schnittbilder) und klinischen Dokumenten. Die Modelle werden als offene Modelle vertrieben, sind aber ohne zusätzliche Validierung nicht für den direkten klinischen Einsatz vorgesehen[8].
  • DolphinGemma: Ein Forschungsprojekt zur Anwendung von Gemma-Technologien zur Entschlüsselung der Kommunikation von Delfinen. Das Modell wurde auf jahrelangen Audioaufnahmen trainiert und wird verwendet, um Muster in der Tiersprache zu erkennen[9].

Verfügbarkeit und Anwendung

Die Gemma-Modelle sind auf den Plattformen Kaggle und Hugging Face verfügbar und in die Dienste Google Colab und Vertex AI Model Garden integriert[2]. Zur Beschleunigung der Inferenz hat Google in Zusammenarbeit mit NVIDIA die Modelle für TensorRT angepasst. Die Lizenzbedingungen von Gemma erlauben die kommerzielle Nutzung und Modifikation der Modelle, was sie von einigen anderen Open-Source-Projekten unterscheidet. Die Verbreitung wird durch die Responsible AI License geregelt, die die Nutzung in bestimmten Bereichen (z. B. Waffenentwicklung) einschränkt und von abgeleiteten Produkten die Einhaltung der Grundsätze einer sicheren und ethischen KI-Anwendung verlangt[3].

Sicherheit und Verantwortung

Die Entwickler haben angesichts des offenen Charakters der Modelle großen Wert auf Sicherheitsaspekte gelegt.

  • Datenfilterung: Bei der Vorbereitung der Trainingsdatensätze wurden personenbezogene Daten und andere sensible Informationen automatisch gefiltert, um das Risiko von Datenlecks zu verringern[2].
  • Alignment: Die instruktionsbasierten Versionen der Modelle durchliefen ein mehrstufiges Alignment unter Verwendung von Methoden wie Supervised Fine-Tuning (SFT) und RLHF (Reinforcement Learning from Human Feedback), um bevorzugte Antwortstile zu festigen[1].
  • Red Teaming: Vor der Veröffentlichung wurden die Modelle einer intensiven Überprüfung auf ihre Widerstandsfähigkeit gegenüber böswilligen Anfragen unterzogen. Experten versuchten, die Generierung gefährlicher oder unerwünschter Inhalte zu provozieren, um Schwachstellen aufzudecken[3].
  • Responsible AI Toolkit: Zusammen mit den Modellen veröffentlichte Google ein Toolkit, um eine sichere Bereitstellung zu erleichtern. Dazu gehören das Werkzeug Gemma Debugger zur Analyse der internen Zustände des Modells sowie Klassifikatoren für unerwünschte Inhalte[2].
  • ShieldGemma: Ein spezialisiertes Filtermodell, das die Generierung unsicherer Inhalte in den multimodalen Versionen von Gemma verhindern soll[6].

Literatur

  • Mesnard, T. et al. (2024). Gemma: Open Models Based on Gemini Research and Technology. arXiv:2403.08295.
  • Rivière, M. et al. (2024). Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118.
  • Kamath, A. et al. (2025). Gemma 3 Technical Report. arXiv:2503.19786.
  • Zhao, H. et al. (2024). CodeGemma: Open Code Models Based on Gemma. arXiv:2406.11409.
  • Beyer, L. et al. (2024). PaliGemma: A Versatile 3B VLM for Transfer. arXiv:2407.07726.
  • Steiner, A. et al. (2024). PaliGemma 2: A Family of Versatile VLMs for Transfer. arXiv:2412.03555.
  • Botev, A. et al. (2024). RecurrentGemma: Moving Past Transformers for Efficient Open Language Models. arXiv:2404.07839.
  • Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
  • Chinnakonduru, S. S. & Mohapatra, A. (2024). Weighted Grouped Query Attention in Transformers. arXiv:2407.10855.
  • Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
  • Radhakrishnan, P. et al. (2024). Knowing When to Ask — Bridging Large Language Models and Data. arXiv:2409.13741.

Einzelnachweise

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 „What Is Google Gemma?“. IBM. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 „Gemma: Google introduces new state-of-the-art open models“. Google Developers Blog. [2]
  3. ↑ 3.0 3.1 3.2 „Google's open-source Gemma AI models draw from the research behind Gemini“. The Verge. [3]
  4. ↑ „Google launches two new open LLMs“. TechCrunch. [4]
  5. ↑ „Gemma 2: Improving Open Language Models at a Practical Size“. Google.
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 „Google unveils open source Gemma 3 model with 128k context window“. VentureBeat. [5]
  7. ↑ 7.0 7.1 7.2 7.3 „Gemma explained: An overview of Gemma model family architectures“. Google Developers Blog. [6]
  8. ↑ „Google Releases MedGemma: Open AI Models for Medical Text and Image Analysis“. InfoQ. [7]
  9. ↑ „Google Is Training a New A.I. Model to Decode Dolphin Chatter—and Potentially Talk Back“. Smithsonian Magazine. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Gemma_(Google)_(DE)&oldid=2549"