Gemma (Google) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Gemma — adalah keluarga model bahasa yang tersedia secara bebas, dikembangkan dan dirilis oleh Google (divisi Google DeepMind). Model-model Gemma didasarkan pada fondasi penelitian dan teknologi yang sama dengan keluarga unggulan Gemini, dan diposisikan sebagai versi yang lebih ringan dan berperforma tinggi dari Gemini[1]. Nama ini berasal dari kata Latin gemma, yang berarti "permata"[2].

Gemma termasuk dalam kategori open models (model terbuka): Google mempublikasikan bobot model, yang memungkinkan para peneliti dan pengembang untuk menggunakannya secara bebas, melakukan fine-tuning, dan mendistribusikannya, termasuk dalam proyek komersial, dengan syarat mematuhi ketentuan penggunaan yang bertanggung jawab[2]. Ini adalah perbedaan utama dari model Gemini, yang hanya dapat diakses melalui API cloud. Model Gemma mampu berjalan secara lokal pada perangkat keras konsumen (laptop, komputer desktop dengan GPU), bukan hanya di pusat data[3].

Pengembangan dan Rilis

Keluarga Gemma mencakup beberapa generasi model, yang masing-masing membawa peningkatan dalam arsitektur, performa, dan kemampuan.

Generasi Pertama: Gemma 1

Versi pertama Gemma dirilis pada 21 Februari 2024[4]. Versi ini mencakup dua model teks yang didasarkan pada arsitektur transformer decoder:

  • Gemma 2B (2 miliar parameter)
  • Gemma 7B (7 miliar parameter)

Pada saat peluncuran, Google menyatakan bahwa model-model ini melampaui model-model yang jauh lebih besar pada benchmark utama[2]. Model-model awal ini sebagian besar berbahasa Inggris, tetapi dilatih pada beragam data, termasuk dokumen web, kode program, dan soal matematika[1]. Kedua model dirilis dalam dua varian: basis (pre-trained) dan yang telah di-fine-tuning dengan instruksi (instruction-tuned) untuk mengikuti perintah pengguna dengan lebih baik[2].

Generasi Kedua: Gemma 2

Gemma 2 diumumkan pada 27 Juni 2024 dan membawa peningkatan yang signifikan[1].

  • Ukuran model: Model dengan 9 dan 27 miliar parameter dirilis. Varian yang lebih kecil dilatih menggunakan teknik knowledge distillation dari model yang lebih besar untuk meningkatkan kualitas[5].
  • Jendela konteks: Diperluas secara signifikan hingga 80.000 token (dibandingkan dengan 8192 pada versi pertama)[6][7].
  • Peningkatan arsitektur: Mekanisme grouped-query attention dan skema perhatian lokal-global bergantian diimplementasikan untuk pemrosesan konteks panjang yang efisien[1].

Generasi Ketiga: Gemma 3

Gemma 3 diperkenalkan pada Maret 2025 sebagai langkah berikutnya dalam pengembangan keluarga ini, dengan penekanan pada multimodalitas dan cakupan tugas yang lebih luas[6].

  • Multimodalitas: Model-model mendapatkan dukungan gambar dan video sebagai data masukan bersama teks.
  • Ukuran dan bahasa: Jajaran model mencakup empat ukuran (1B, 4B, 12B, 27B) dan mendukung hingga 140 bahasa[6].
  • Jendela konteks: Ditingkatkan hingga 128.000 token[6].

Menurut Google, Gemma 3 27B menunjukkan hasil setara dengan model terbuka terbaik pada masanya, hanya tertinggal dalam peringkat dari model-model khusus seperti DeepSeek-R1[6].

Arsitektur dan Fitur Teknis

Model-model Gemma didasarkan pada arsitektur transformer dalam konfigurasi "decoder saja" (decoder-only), yang serupa dengan model GPT[7]. Ini berarti model menghasilkan teks secara autoregresif, memprediksi token berikutnya berdasarkan semua token sebelumnya. Keputusan teknis utama mencakup:

  • Rotary Positional Embedding (RoPE): Alih-alih embedding posisional absolut, RoPE digunakan, yang memungkinkan pengkodean informasi posisional secara efisien.
  • Multi-query dan Grouped-query attention: Untuk mempercepat dan menghemat memori pada model yang lebih kecil (misalnya, Gemma 2B), multi-query attention digunakan (kunci/nilai tunggal untuk semua kepala perhatian). Pada Gemma 2, mekanisme grouped-query attention diimplementasikan, di mana query dikelompokkan, yang merupakan kompromi antara kecepatan dan kualitas[1][7].
  • Skema perhatian bergantian: Pada Gemma 2, skema di mana lapisan dengan self-attention global bergantian dengan lapisan dengan "jendela geser" yang terbatas diimplementasikan, yang memungkinkan pemrosesan konteks panjang secara efisien[1].

Keluarga Model dan Variannya

Selain model dasar serbaguna, Google telah merilis beberapa versi turunan Gemma yang dioptimalkan untuk tugas-tugas tertentu.

  • CodeGemma: Model untuk pembuatan dan pelengkapan kode program, mendukung C++, C#, Go, Java, JavaScript, Python, Rust, dan bahasa lainnya[1].
  • DataGemma: Keluarga model yang di-fine-tuning untuk integrasi dengan data eksternal menggunakan teknik RAG. Model ini mampu melakukan kueri ke basis data (misalnya, Google Data Commons) untuk meningkatkan akurasi faktual jawaban[1].
  • PaliGemma: Model multimodal yang mampu menerima gambar dan teks sebagai masukan. Model ini dirancang untuk tugas visual question-answering, seperti deskripsi gambar dan pengenalan objek[1].
  • RecurrentGemma: Varian eksperimental dengan arsitektur hibrida Griffin, yang menggabungkan perhatian lokal dan koneksi rekuren linier. Ini memungkinkan percepatan yang signifikan dalam menghasilkan urutan panjang[7].
  • MedGemma: Versi khusus Gemma 3 untuk bidang medis. Mencakup model multimodal (4B) dan teks (27B) untuk analisis gambar medis (rontgen, irisan) dan dokumen klinis. Model-model ini didistribusikan sebagai model terbuka, tetapi tidak dimaksudkan untuk penggunaan klinis langsung tanpa validasi tambahan[8].
  • DolphinGemma: Proyek penelitian tentang penerapan teknologi Gemma untuk menguraikan komunikasi lumba-lumba. Model ini dilatih pada rekaman audio selama bertahun-tahun dan digunakan untuk mengidentifikasi pola dalam bahasa hewan[9].

Ketersediaan dan Penerapan

Model-model Gemma tersedia di platform Kaggle dan Hugging Face, serta terintegrasi dalam layanan Google Colab dan Vertex AI Model Garden[2]. Untuk mempercepat inferensi, Google bekerja sama dengan NVIDIA untuk mengadaptasi model ke TensorRT. Ketentuan lisensi Gemma memungkinkan penggunaan komersial dan modifikasi model, yang membedakannya dari beberapa proyek terbuka lainnya. Distribusi diatur oleh lisensi Responsible AI License, yang memberlakukan pembatasan penggunaan di bidang-bidang tertentu (misalnya, pengembangan senjata) dan mewajibkan produk-produk turunan untuk mematuhi prinsip-prinsip penerapan AI yang aman dan etis[3].

Keamanan dan Tanggung Jawab

Para pengembang memberikan perhatian besar pada masalah keamanan, mengingat sifat terbuka dari model-model ini.

  • Penyaringan data: Selama persiapan dataset pelatihan, data pribadi dan informasi sensitif lainnya disaring secara otomatis untuk mengurangi risiko kebocoran[2].
  • Alignment (Penyelarasan): Versi instruksi dari model-model telah melalui penyelarasan multi-tahap menggunakan teknik Supervised Fine-Tuning (SFT) dan RLHF (pembelajaran penguatan berdasarkan umpan balik manusia) untuk memantapkan gaya respons yang diinginkan[1].
  • Red Teaming: Sebelum dirilis, model-model menjalani pengujian mendalam terhadap ketahanan dari permintaan berbahaya. Para ahli mencoba memancing model untuk menghasilkan konten berbahaya atau tidak diinginkan guna mengidentifikasi kerentanan[3].
  • Perangkat Responsible AI Toolkit: Bersama dengan model-model, Google merilis seperangkat alat untuk memudahkan penerapan yang aman, termasuk utilitas Gemma Debugger untuk menganalisis kondisi internal model dan pengklasifikasi konten yang tidak diinginkan[2].
  • ShieldGemma: Model filter khusus yang dirancang untuk mencegah pembuatan konten tidak aman dalam versi multimodal Gemma[6].

Tautan

  • Halaman resmi Gemma di situs Google AI
  • Model Gemma di Hugging Face

Daftar Pustaka

  • Mesnard, T. et al. (2024). Gemma: Open Models Based on Gemini Research and Technology. arXiv:2403.08295.
  • Rivière, M. et al. (2024). Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118.
  • Kamath, A. et al. (2025). Gemma 3 Technical Report. arXiv:2503.19786.
  • Zhao, H. et al. (2024). CodeGemma: Open Code Models Based on Gemma. arXiv:2406.11409.
  • Beyer, L. et al. (2024). PaliGemma: A Versatile 3B VLM for Transfer. arXiv:2407.07726.
  • Steiner, A. et al. (2024). PaliGemma 2: A Family of Versatile VLMs for Transfer. arXiv:2412.03555.
  • Botev, A. et al. (2024). RecurrentGemma: Moving Past Transformers for Efficient Open Language Models. arXiv:2404.07839.
  • Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
  • Chinnakonduru, S. S. & Mohapatra, A. (2024). Weighted Grouped Query Attention in Transformers. arXiv:2407.10855.
  • Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
  • Radhakrishnan, P. et al. (2024). Knowing When to Ask — Bridging Large Language Models and Data. arXiv:2409.13741.

Catatan

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 «What Is Google Gemma?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 «Gemma: Google introduces new state-of-the-art open models». Google Developers Blog. [2]
  3. ↑ 3.0 3.1 3.2 «Google's open-source Gemma AI models draw from the research behind Gemini». The Verge. [3]
  4. ↑ «Google launches two new open LLMs». TechCrunch. [4]
  5. ↑ «Gemma 2: Improving Open Language Models at a Practical Size». Google.
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 «Google unveils open source Gemma 3 model with 128k context window». VentureBeat. [5]
  7. ↑ 7.0 7.1 7.2 7.3 «Gemma explained: An overview of Gemma model family architectures». Google Developers Blog. [6]
  8. ↑ «Google Releases MedGemma: Open AI Models for Medical Text and Image Analysis». InfoQ. [7]
  9. ↑ «Google Is Training a New A.I. Model to Decode Dolphin Chatter—and Potentially Talk Back». Smithsonian Magazine. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Gemma_(Google)_(ID)&oldid=2557"