---
title: "Gemma"
source: "https://systems-analysis.info/wiki/Gemma"
wiki: "systems-analysis.info/wiki"
article: "Gemma"
language: "ru"
categories:
  - "Категория:Google"
  - "Категория:Russian"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Семейства LLM"
revision_id: 104
wiki_created_at: 2026-09-06T21:55:05Z
wiki_modified_at: 2026-09-06T21:55:05Z
downloaded_at: 2026-09-07T22:17:32Z
---

# Gemma

**Gemma** — это семейство свободно доступных [языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели"), разработанных и выпущенных компанией Google (подразделение Google DeepMind). Модели Gemma основаны на той же исследовательской и технологической базе, что и флагманское семейство [Gemini](https://systems-analysis.info/wiki/Gemini "Gemini"), и позиционируются как их облегчённые, высокопроизводительные версии<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)</sup>. Название происходит от латинского слова *gemma*, означающего «драгоценный камень»<sup>[\[2\]](https://systems-analysis.info/wiki/Gemma#cite_note-google-blog-intro-2)</sup>.

Gemma относится к категории *open models* (открытые модели): Google публикует веса моделей, что позволяет исследователям и разработчикам свободно их использовать, дообучать и распространять, в том числе в коммерческих проектах, при соблюдении условий ответственного использования<sup>[\[2\]](https://systems-analysis.info/wiki/Gemma#cite_note-google-blog-intro-2)</sup>. Это ключевое отличие от моделей Gemini, доступ к которым возможен только через облачные API. Модели Gemma способны работать локально на потребительском оборудовании (ноутбуках, настольных компьютерах с GPU), а не только в дата-центрах<sup>[\[3\]](https://systems-analysis.info/wiki/Gemma#cite_note-verge-gemma-gemini-3)</sup>.

## Разработка и релизы

Семейство Gemma включает несколько поколений моделей, каждое из которых привносило улучшения в архитектуре, производительности и возможностях.

### Первое поколение: Gemma 1

Первая версия Gemma была выпущена **21 февраля 2024 года**<sup>[\[4\]](https://systems-analysis.info/wiki/Gemma#cite_note-techcrunch-launch-4)</sup>. В её состав вошли две текстовые модели, основанные на архитектуре декодерного трансформера:

- **Gemma 2B** (2 миллиарда параметров)
- **Gemma 7B** (7 миллиардов параметров)

На момент выхода Google заявляла, что эти модели превосходят значительно более крупные аналоги по ключевым бенчмаркам<sup>[\[2\]](https://systems-analysis.info/wiki/Gemma#cite_note-google-blog-intro-2)</sup>. Исходные модели были преимущественно англоязычными, но обучались на разнообразных данных, включая веб-документы, программный код и математические задачи<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)</sup>. Обе модели были выпущены в двух вариантах: базовом (*pre-trained*) и инструкционно-дообученном (*instruction-tuned*) для лучшего следования командам пользователя<sup>[\[2\]](https://systems-analysis.info/wiki/Gemma#cite_note-google-blog-intro-2)</sup>.

### Второе поколение: Gemma 2

Gemma 2 была анонсирована **27 июня 2024 года** и принесла значительные улучшения<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)</sup>.

- **Размеры моделей**: Были выпущены модели на **9 и 27 миллиардов параметров**. Меньшие варианты обучались с применением методики дистилляции знаний из более крупной модели для повышения качества<sup>[\[5\]](https://systems-analysis.info/wiki/Gemma#cite_note-gemma2-report-5)</sup>.
- **[Контекстное окно](https://systems-analysis.info/wiki/%D0%9A%D0%BE%D0%BD%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BD%D0%BE%D0%B5_%D0%BE%D0%BA%D0%BD%D0%BE "Контекстное окно")**: Было значительно расширено до **80 000 [токенов](https://systems-analysis.info/wiki/%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD "Токен")** (по сравнению с 8192 в первой версии)<sup>[\[6\]](https://systems-analysis.info/wiki/Gemma#cite_note-venturebeat-gemma3-6)[\[7\]](https://systems-analysis.info/wiki/Gemma#cite_note-gemma-arch-overview-7)</sup>.
- **Архитектурные улучшения**: Были внедрены механизмы *grouped-query attention* и чередующаяся схема локального и глобального внимания для эффективной работы с длинным контекстом<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)</sup>.

### Третье поколение: Gemma 3

Gemma 3 была представлена в **марте 2025 года** как следующий шаг в развитии семейства с упором на мультимодальность и расширенный охват задач<sup>[\[6\]](https://systems-analysis.info/wiki/Gemma#cite_note-venturebeat-gemma3-6)</sup>.

- **Мультимодальность**: Модели получили поддержку изображений и видео в качестве входных данных наряду с текстом.
- **Размеры и языки**: Модельный ряд охватывает четыре размера (1B, 4B, 12B, 27B) и поддерживает до 140 языков<sup>[\[6\]](https://systems-analysis.info/wiki/Gemma#cite_note-venturebeat-gemma3-6)</sup>.
- **Контекстное окно**: Увеличено до **128 000 токенов**<sup>[\[6\]](https://systems-analysis.info/wiki/Gemma#cite_note-venturebeat-gemma3-6)</sup>.

По данным Google, Gemma 3 27B показала результаты на уровне лучших открытых моделей своего времени, уступив в рейтингах лишь специализированным моделям, таким как DeepSeek-R1<sup>[\[6\]](https://systems-analysis.info/wiki/Gemma#cite_note-venturebeat-gemma3-6)</sup>.

## Архитектура и технические особенности

Модели Gemma основаны на архитектуре трансформера в конфигурации **«только декодер»** (*decoder-only*), аналогичной моделям [GPT](https://systems-analysis.info/wiki/GPT "GPT")<sup>[\[7\]](https://systems-analysis.info/wiki/Gemma#cite_note-gemma-arch-overview-7)</sup>. Это означает, что модель генерирует текст авторегрессионно, предсказывая следующий токен на основе всех предыдущих. Ключевые технические решения включают:

- **Ротационные позиционные эмбеддинги (RoPE)**: Вместо абсолютных позиционных эмбеддингов используются RoPE, что позволяет эффективно кодировать позиционную информацию.
- **Multi-query и Grouped-query attention**: Для ускорения и экономии памяти в меньших моделях (например, Gemma 2B) используется *multi-query attention* (единый ключ/значение для всех голов внимания). В Gemma 2 был внедрен механизм *grouped-query attention*, где запросы разбиваются на группы, что является компромиссом между скоростью и качеством<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)[\[7\]](https://systems-analysis.info/wiki/Gemma#cite_note-gemma-arch-overview-7)</sup>.
- **Чередующаяся схема внимания**: В Gemma 2 реализована схема, где слои с глобальным самовниманием чередуются со слоями с ограниченным «скользящим окном», что позволяет эффективно обрабатывать длинные контексты<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)</sup>.

## Семейство моделей и варианты

Помимо универсальных базовых моделей, Google выпустила несколько производных версий Gemma, оптимизированных под конкретные задачи.

- **CodeGemma**: Модель для генерации и дополнения программного кода, поддерживающая C++, C#, Go, Java, JavaScript, Python, Rust и другие языки<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)</sup>.
- **DataGemma**: Семейство моделей, дообученных для интеграции с внешними данными с использованием техник [RAG](https://systems-analysis.info/wiki/Retrieval%E2%80%91Augmented_Generation_(RAG) "Retrieval‑Augmented Generation (RAG)"). Модель способна выполнять поисковые запросы к базам данных (например, Google Data Commons) для повышения фактической точности ответов<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)</sup>.
- **PaliGemma**: Мультимодальная модель, способная принимать на вход изображения и текст. Она предназначена для задач визуального вопросно-ответного взаимодействия, таких как описание изображений и распознавание объектов<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)</sup>.
- **RecurrentGemma**: Экспериментальный вариант с гибридной архитектурой *Griffin*, сочетающей локальное внимание и линейные рекуррентные связи. Это позволяет значительно ускорить генерацию длинных последовательностей<sup>[\[7\]](https://systems-analysis.info/wiki/Gemma#cite_note-gemma-arch-overview-7)</sup>.
- **MedGemma**: Специализированная версия Gemma 3 для медицинской области. Включает мультимодальные (4B) и текстовые (27B) модели для анализа медицинских изображений (рентгенограмм, срезов) и клинических документов. Модели распространяются как открытые, но не предназначены для прямого клинического использования без дополнительной валидации<sup>[\[8\]](https://systems-analysis.info/wiki/Gemma#cite_note-infoq-medgemma-8)</sup>.
- **DolphinGemma**: Исследовательский проект по применению технологий Gemma для расшифровки коммуникаций дельфинов. Модель обучена на многолетних аудио-записях и используется для выявления паттернов в языке животных<sup>[\[9\]](https://systems-analysis.info/wiki/Gemma#cite_note-smithsonian-dolphin-9)</sup>.

## Доступность и применение

Модели Gemma доступны на платформах **Kaggle** и **Hugging Face**, а также интегрированы в сервисы **Google Colab** и **Vertex AI Model Garden**<sup>[\[2\]](https://systems-analysis.info/wiki/Gemma#cite_note-google-blog-intro-2)</sup>. Для ускорения инференса Google в сотрудничестве с NVIDIA провела адаптацию моделей под TensorRT. Лицензионные условия Gemma допускают **коммерческое использование** и модификацию моделей, что отличает их от некоторых других открытых проектов. Распространение регулируется лицензией **Responsible AI License**, которая накладывает ограничения на использование в определённых областях (например, разработка оружия) и требует от производных продуктов соблюдения принципов безопасного и этичного применения ИИ<sup>[\[3\]](https://systems-analysis.info/wiki/Gemma#cite_note-verge-gemma-gemini-3)</sup>.

## Безопасность и ответственность

Разработчики уделили большое внимание вопросам безопасности, учитывая открытый характер моделей.

- **Фильтрация данных**: При подготовке обучающих датасетов были автоматически отфильтрованы персональные данные и другая чувствительная информация для снижения риска утечек<sup>[\[2\]](https://systems-analysis.info/wiki/Gemma#cite_note-google-blog-intro-2)</sup>.
- **Выравнивание (Alignment)**: Инструкционные версии моделей прошли многоэтапное выравнивание с использованием методик *Supervised [Fine-Tuning](https://systems-analysis.info/wiki/Fine-tuning "Fine-tuning") (SFT)* и [RLHF](https://systems-analysis.info/wiki/RLHF "RLHF") (обучение с подкреплением на основе отзывов человека) для закрепления предпочтительных стилей ответа<sup>[\[1\]](https://systems-analysis.info/wiki/Gemma#cite_note-ibm-what-is-gemma-1)</sup>.
- **Ред-тиминг (Red Teaming)**: Перед выпуском модели были подвергнуты углублённой проверке на устойчивость к злонамеренным запросам. Эксперты пытались спровоцировать генерацию опасного или нежелательного контента для выявления уязвимостей<sup>[\[3\]](https://systems-analysis.info/wiki/Gemma#cite_note-verge-gemma-gemini-3)</sup>.
- **Инструментарий Responsible AI Toolkit**: Вместе с моделями Google выпустила набор инструментов для облегчения безопасного развёртывания, включая утилиту **Gemma Debugger** для анализа внутренних состояний модели и классификаторы нежелательного контента<sup>[\[2\]](https://systems-analysis.info/wiki/Gemma#cite_note-google-blog-intro-2)</sup>.
- **ShieldGemma**: Специализированная модель-фильтр, предназначенная для предотвращения генерации небезопасного контента в мультимодальных версиях Gemma<sup>[\[6\]](https://systems-analysis.info/wiki/Gemma#cite_note-venturebeat-gemma3-6)</sup>.

## См. также

- [Большие языковые модели Google](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_Google "Большие языковые модели Google")
- [GPT](https://systems-analysis.info/wiki/GPT "GPT")
- [BERT](https://systems-analysis.info/wiki/BERT "BERT")
- [PaLM](https://systems-analysis.info/wiki/PaLM "PaLM")
- [T5](https://systems-analysis.info/wiki/T5 "T5")

## Ссылки

- <a href="https://ai.google/gemma/" class="external text" rel="nofollow">Официальная страница Gemma на сайте Google AI</a>
- <a href="https://huggingface.co/collections/google/gemma-65d5ef18339f5c493c7a36f4" class="external text" rel="nofollow">Модели Gemma на Hugging Face</a>

## Литература

- Mesnard, T. et al. (2024). *Gemma: Open Models Based on Gemini Research and Technology*. <a href="https://arxiv.org/abs/2403.08295" class="external text" rel="nofollow">arXiv:2403.08295</a>.
- Rivière, M. et al. (2024). *Gemma 2: Improving Open Language Models at a Practical Size*. <a href="https://arxiv.org/abs/2408.00118" class="external text" rel="nofollow">arXiv:2408.00118</a>.
- Kamath, A. et al. (2025). *Gemma 3 Technical Report*. <a href="https://arxiv.org/abs/2503.19786" class="external text" rel="nofollow">arXiv:2503.19786</a>.
- Zhao, H. et al. (2024). *CodeGemma: Open Code Models Based on Gemma*. <a href="https://arxiv.org/abs/2406.11409" class="external text" rel="nofollow">arXiv:2406.11409</a>.
- Beyer, L. et al. (2024). *PaliGemma: A Versatile 3B VLM for Transfer*. <a href="https://arxiv.org/abs/2407.07726" class="external text" rel="nofollow">arXiv:2407.07726</a>.
- Steiner, A. et al. (2024). *PaliGemma 2: A Family of Versatile VLMs for Transfer*. <a href="https://arxiv.org/abs/2412.03555" class="external text" rel="nofollow">arXiv:2412.03555</a>.
- Botev, A. et al. (2024). *RecurrentGemma: Moving Past Transformers for Efficient Open Language Models*. <a href="https://arxiv.org/abs/2404.07839" class="external text" rel="nofollow">arXiv:2404.07839</a>.
- Ainslie, J. et al. (2023). *GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints*. <a href="https://arxiv.org/abs/2305.13245" class="external text" rel="nofollow">arXiv:2305.13245</a>.
- Chinnakonduru, S. S. & Mohapatra, A. (2024). *Weighted Grouped Query Attention in Transformers*. <a href="https://arxiv.org/abs/2407.10855" class="external text" rel="nofollow">arXiv:2407.10855</a>.
- Su, J. et al. (2021). *RoFormer: Enhanced Transformer with Rotary Position Embedding*. <a href="https://arxiv.org/abs/2104.09864" class="external text" rel="nofollow">arXiv:2104.09864</a>.
- Radhakrishnan, P. et al. (2024). *Knowing When to Ask — Bridging Large Language Models and Data*. <a href="https://arxiv.org/abs/2409.13741" class="external text" rel="nofollow">arXiv:2409.13741</a>.

## Примечания

1.  <span id="cite_note-ibm-what-is-gemma-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/Gemma#cite_ref-ibm-what-is-gemma_1-9)</sup> «What Is Google Gemma?». *IBM*. <a href="https://www.ibm.com/think/topics/google-gemma" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-google-blog-intro-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/Gemma#cite_ref-google-blog-intro_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/Gemma#cite_ref-google-blog-intro_2-1)</sup> <sup>[2,2](https://systems-analysis.info/wiki/Gemma#cite_ref-google-blog-intro_2-2)</sup> <sup>[2,3](https://systems-analysis.info/wiki/Gemma#cite_ref-google-blog-intro_2-3)</sup> <sup>[2,4](https://systems-analysis.info/wiki/Gemma#cite_ref-google-blog-intro_2-4)</sup> <sup>[2,5](https://systems-analysis.info/wiki/Gemma#cite_ref-google-blog-intro_2-5)</sup> <sup>[2,6](https://systems-analysis.info/wiki/Gemma#cite_ref-google-blog-intro_2-6)</sup> «Gemma: Google introduces new state-of-the-art open models». *Google Developers Blog*. <a href="https://blog.google/technology/developers/gemma-open-models/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-verge-gemma-gemini-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/Gemma#cite_ref-verge-gemma-gemini_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/Gemma#cite_ref-verge-gemma-gemini_3-1)</sup> <sup>[3,2](https://systems-analysis.info/wiki/Gemma#cite_ref-verge-gemma-gemini_3-2)</sup> «Google's open-source Gemma AI models draw from the research behind Gemini». *The Verge*. <a href="https://www.theverge.com/2024/2/21/24078610/google-gemma-gemini-small-ai-model-open-source" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-techcrunch-launch-4">[↑](https://systems-analysis.info/wiki/Gemma#cite_ref-techcrunch-launch_4-0) «Google launches two new open LLMs». *TechCrunch*. <a href="https://techcrunch.com/2024/02/21/google-launches-two-new-open-llms/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-gemma2-report-5">[↑](https://systems-analysis.info/wiki/Gemma#cite_ref-gemma2-report_5-0) «Gemma 2: Improving Open Language Models at a Practical Size». *Google*.</span>
6.  <span id="cite_note-venturebeat-gemma3-6">↑ <sup>[6,0](https://systems-analysis.info/wiki/Gemma#cite_ref-venturebeat-gemma3_6-0)</sup> <sup>[6,1](https://systems-analysis.info/wiki/Gemma#cite_ref-venturebeat-gemma3_6-1)</sup> <sup>[6,2](https://systems-analysis.info/wiki/Gemma#cite_ref-venturebeat-gemma3_6-2)</sup> <sup>[6,3](https://systems-analysis.info/wiki/Gemma#cite_ref-venturebeat-gemma3_6-3)</sup> <sup>[6,4](https://systems-analysis.info/wiki/Gemma#cite_ref-venturebeat-gemma3_6-4)</sup> <sup>[6,5](https://systems-analysis.info/wiki/Gemma#cite_ref-venturebeat-gemma3_6-5)</sup> «Google unveils open source Gemma 3 model with 128k context window». *VentureBeat*. <a href="https://venturebeat.com/ai/google-unveils-open-source-gemma-3-model-with-128k-context-window/" class="external autonumber" rel="nofollow">[5]</a></span>
7.  <span id="cite_note-gemma-arch-overview-7">↑ <sup>[7,0](https://systems-analysis.info/wiki/Gemma#cite_ref-gemma-arch-overview_7-0)</sup> <sup>[7,1](https://systems-analysis.info/wiki/Gemma#cite_ref-gemma-arch-overview_7-1)</sup> <sup>[7,2](https://systems-analysis.info/wiki/Gemma#cite_ref-gemma-arch-overview_7-2)</sup> <sup>[7,3](https://systems-analysis.info/wiki/Gemma#cite_ref-gemma-arch-overview_7-3)</sup> «Gemma explained: An overview of Gemma model family architectures». *Google Developers Blog*. <a href="https://developers.googleblog.com/en/gemma-explained-overview-gemma-model-family-architectures/" class="external autonumber" rel="nofollow">[6]</a></span>
8.  <span id="cite_note-infoq-medgemma-8">[↑](https://systems-analysis.info/wiki/Gemma#cite_ref-infoq-medgemma_8-0) «Google Releases MedGemma: Open AI Models for Medical Text and Image Analysis». *InfoQ*. <a href="https://www.infoq.com/news/2025/05/google-medgemma/" class="external autonumber" rel="nofollow">[7]</a></span>
9.  <span id="cite_note-smithsonian-dolphin-9">[↑](https://systems-analysis.info/wiki/Gemma#cite_ref-smithsonian-dolphin_9-0) «Google Is Training a New A.I. Model to Decode Dolphin Chatter—and Potentially Talk Back». *Smithsonian Magazine*. <a href="https://www.smithsonianmag.com/smart-news/google-is-training-a-new-ai-model-to-decode-dolphin-chatter-and-potentially-talk-back-180986434/" class="external autonumber" rel="nofollow">[8]</a></span>