Gemma (Google) (KO)
Gemma — 구글(Google DeepMind 부서)이 개발하고 출시한 자유롭게 이용 가능한 언어 모델 패밀리입니다. Gemma 모델은 플래그십 Gemini 패밀리와 동일한 연구 및 기술 기반 위에 구축되었으며, 그것의 경량화되고 고성능인 버전으로 포지셔닝됩니다[1]. 이름은 라틴어 gemma에서 유래하며, '보석'을 의미합니다[2].
Gemma는 open models(오픈 모델) 범주에 속합니다. Google은 모델의 가중치를 공개하여 연구자와 개발자가 책임있는 사용 조건을 준수하는 한 상업적 프로젝트를 포함하여 자유롭게 사용, 미세 조정 및 배포할 수 있도록 합니다[2]. 이는 클라우드 API를 통해서만 접근할 수 있는 Gemini 모델과의 핵심적인 차이점입니다. Gemma 모델은 데이터 센터뿐만 아니라 소비자용 하드웨어(노트북, GPU가 탑재된 데스크탑 컴퓨터)에서도 로컬로 실행될 수 있습니다[3].
개발 및 릴리스
Gemma 패밀리는 여러 세대의 모델로 구성되며, 각 세대는 아키텍처, 성능 및 기능 면에서 개선 사항을 도입했습니다.
1세대: Gemma 1
Gemma의 첫 번째 버전은 2024년 2월 21일에 출시되었습니다[4]. 디코더 transformer 아키텍처를 기반으로 한 두 가지 텍스트 모델이 포함되었습니다:
- Gemma 2B (매개변수 20억 개)
- Gemma 7B (매개변수 70억 개)
출시 당시 Google은 이 모델들이 핵심 benchmark에서 훨씬 더 큰 유사 모델들을 능가한다고 발표했습니다[2]. 초기 모델은 주로 영어 기반이었지만 웹 문서, 프로그램 코드, 수학 문제 등 다양한 데이터로 훈련되었습니다[1]. 두 모델 모두 기본(pre-trained) 버전과 사용자 명령을 더 잘 따르도록 하는 지시 미세 조정(instruction-tuned) 버전의 두 가지 형태로 출시되었습니다[2].
2세대: Gemma 2
Gemma 2는 2024년 6월 27일에 발표되었으며 상당한 개선 사항을 가져왔습니다[1].
- 모델 크기: 90억 및 270억 매개변수 모델이 출시되었습니다. 더 작은 변형은 품질 향상을 위해 더 큰 모델로부터 지식 증류(knowledge distillation) 기법을 적용하여 훈련되었습니다[5].
- 컨텍스트 윈도우: 80,000 token으로 대폭 확장되었습니다(첫 번째 버전의 8,192 대비)[6][7].
- 아키텍처 개선: grouped-query attention 메커니즘과 긴 컨텍스트를 효율적으로 처리하기 위한 로컬 및 글로벌 attention의 교번 방식이 도입되었습니다[1].
3세대: Gemma 3
Gemma 3는 2025년 3월에 멀티모달리티와 확장된 작업 범위에 중점을 두며 패밀리의 다음 단계로 소개되었습니다[6].
- 멀티모달리티: 모델은 텍스트와 함께 이미지 및 동영상을 입력으로 지원하게 되었습니다.
- 크기 및 언어: 모델 라인업은 네 가지 크기(1B, 4B, 12B, 27B)를 포함하며 최대 140개 언어를 지원합니다[6].
- 컨텍스트 윈도우: 128,000 token으로 확장되었습니다[6].
Google에 따르면 Gemma 3 27B는 당시 최고의 오픈 모델 수준의 결과를 달성했으며, DeepSeek-R1과 같은 특화 모델에만 순위에서 뒤졌습니다[6].
아키텍처 및 기술적 특성
Gemma 모델은 GPT 모델과 유사한 "디코더 전용"(decoder-only) 구성의 transformer 아키텍처를 기반으로 합니다[7]. 이는 모델이 이전의 모든 token을 기반으로 다음 token을 예측하는 자기회귀(autoregressive) 방식으로 텍스트를 생성함을 의미합니다. 주요 기술적 솔루션은 다음과 같습니다:
- 회전 위치 임베딩 (RoPE): 절대 위치 임베딩 대신 RoPE를 사용하여 위치 정보를 효율적으로 인코딩합니다.
- Multi-query 및 Grouped-query attention: 더 작은 모델(예: Gemma 2B)에서 속도 향상과 메모리 절약을 위해 multi-query attention(모든 attention 헤드에 대한 단일 키/값)이 사용됩니다. Gemma 2에서는 쿼리를 그룹으로 나누는 grouped-query attention 메커니즘이 도입되어 속도와 품질 사이의 절충점을 제공합니다[1][7].
- 교번 attention 방식: Gemma 2에서는 글로벌 self-attention 레이어와 제한적인 "슬라이딩 윈도우" 레이어가 교번하는 방식이 구현되어 긴 컨텍스트를 효율적으로 처리할 수 있습니다[1].
모델 패밀리 및 변형
범용 기본 모델 외에도 Google은 특정 작업에 최적화된 여러 Gemma 파생 버전을 출시했습니다.
- CodeGemma: C++, C#, Go, Java, JavaScript, Python, Rust 및 기타 언어를 지원하는 프로그램 코드 생성 및 보완을 위한 모델[1].
- DataGemma: RAG 기법을 사용하여 외부 데이터와의 통합을 위해 미세 조정된 모델 패밀리. 이 모델은 사실적 답변의 정확도를 높이기 위해 데이터베이스(예: Google Data Commons)에 검색 쿼리를 실행할 수 있습니다[1].
- PaliGemma: 이미지와 텍스트를 입력으로 받을 수 있는 멀티모달 모델. 이미지 설명 및 객체 인식과 같은 시각적 질의응답 작업을 위해 설계되었습니다[1].
- RecurrentGemma: 로컬 attention과 선형 순환 연결을 결합한 하이브리드 Griffin 아키텍처를 사용하는 실험적 변형. 이를 통해 긴 시퀀스 생성을 크게 가속화할 수 있습니다[7].
- MedGemma: 의료 분야를 위한 Gemma 3의 특화 버전. 의료 이미지(X선, 단층 촬영) 및 임상 문서 분석을 위한 멀티모달(4B) 및 텍스트(27B) 모델을 포함합니다. 모델은 오픈 모델로 배포되지만 추가 검증 없이 직접적인 임상 사용을 위한 것이 아닙니다[8].
- DolphinGemma: 돌고래의 의사소통을 해독하기 위해 Gemma 기술을 적용하는 연구 프로젝트. 모델은 수년간의 오디오 녹음으로 훈련되었으며 동물 언어의 패턴을 식별하는 데 사용됩니다[9].
이용 가능성 및 적용
Gemma 모델은 Kaggle 및 Hugging Face 플랫폼에서 이용 가능하며, Google Colab 및 Vertex AI Model Garden 서비스에도 통합되어 있습니다[2]. 추론 가속화를 위해 Google은 NVIDIA와 협력하여 TensorRT에 대한 모델 적응을 수행했습니다. Gemma의 라이선스 조건은 모델의 상업적 사용 및 수정을 허용하며, 이는 일부 다른 오픈 프로젝트와 구별됩니다. 배포는 Responsible AI License에 의해 규제되며, 특정 분야(예: 무기 개발)에서의 사용을 제한하고 파생 제품이 안전하고 윤리적인 AI 사용 원칙을 준수하도록 요구합니다[3].
안전성 및 책임
개발자들은 모델의 오픈 특성을 고려하여 안전성 문제에 많은 주의를 기울였습니다.
- 데이터 필터링: 훈련 dataset 준비 시 개인 데이터 및 기타 민감한 정보가 유출 위험을 줄이기 위해 자동으로 필터링되었습니다[2].
- 정렬 (Alignment): 모델의 지시 버전은 선호하는 응답 스타일을 강화하기 위해 Supervised Fine-Tuning (SFT) 및 RLHF(인간 피드백 기반 강화 학습) 기법을 사용한 다단계 정렬 과정을 거쳤습니다[1].
- 레드 팀 (Red Teaming): 출시 전 모델은 악의적인 요청에 대한 내성을 검증하기 위한 심층 테스트를 받았습니다. 전문가들이 취약점 식별을 위해 위험하거나 바람직하지 않은 콘텐츠 생성을 유발하려 시도했습니다[3].
- Responsible AI Toolkit 도구 모음: 모델과 함께 Google은 모델의 내부 상태를 분석하는 Gemma Debugger 유틸리티와 바람직하지 않은 콘텐츠 분류기를 포함한 안전한 배포를 용이하게 하는 도구 모음을 출시했습니다[2].
- ShieldGemma: Gemma의 멀티모달 버전에서 안전하지 않은 콘텐츠 생성을 방지하기 위해 설계된 특화 필터 모델[6].
외부 링크
- Google AI 사이트의 Gemma 공식 페이지
- Hugging Face의 Gemma 모델
참고 문헌
- Mesnard, T. et al. (2024). Gemma: Open Models Based on Gemini Research and Technology. arXiv:2403.08295.
- Rivière, M. et al. (2024). Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118.
- Kamath, A. et al. (2025). Gemma 3 Technical Report. arXiv:2503.19786.
- Zhao, H. et al. (2024). CodeGemma: Open Code Models Based on Gemma. arXiv:2406.11409.
- Beyer, L. et al. (2024). PaliGemma: A Versatile 3B VLM for Transfer. arXiv:2407.07726.
- Steiner, A. et al. (2024). PaliGemma 2: A Family of Versatile VLMs for Transfer. arXiv:2412.03555.
- Botev, A. et al. (2024). RecurrentGemma: Moving Past Transformers for Efficient Open Language Models. arXiv:2404.07839.
- Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
- Chinnakonduru, S. S. & Mohapatra, A. (2024). Weighted Grouped Query Attention in Transformers. arXiv:2407.10855.
- Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
- Radhakrishnan, P. et al. (2024). Knowing When to Ask — Bridging Large Language Models and Data. arXiv:2409.13741.
주석
- ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 «What Is Google Gemma?». IBM. [1]
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 «Gemma: Google introduces new state-of-the-art open models». Google Developers Blog. [2]
- ↑ 3.0 3.1 3.2 «Google's open-source Gemma AI models draw from the research behind Gemini». The Verge. [3]
- ↑ «Google launches two new open LLMs». TechCrunch. [4]
- ↑ «Gemma 2: Improving Open Language Models at a Practical Size». Google.
- ↑ 6.0 6.1 6.2 6.3 6.4 6.5 «Google unveils open source Gemma 3 model with 128k context window». VentureBeat. [5]
- ↑ 7.0 7.1 7.2 7.3 «Gemma explained: An overview of Gemma model family architectures». Google Developers Blog. [6]
- ↑ «Google Releases MedGemma: Open AI Models for Medical Text and Image Analysis». InfoQ. [7]
- ↑ «Google Is Training a New A.I. Model to Decode Dolphin Chatter—and Potentially Talk Back». Smithsonian Magazine. [8]