IBM Granite (language model) (ID)

IBM Granite — adalah serangkaian model bahasa besar (LLM) yang dikembangkan oleh IBM untuk digunakan di lingkungan perusahaan. Model Granite merupakan transformer autoregresif dengan arsitektur decoder-only yang mampu menghasilkan teks berdasarkan konteks yang diberikan.

Keluarga model ini diperkenalkan secara resmi pada 7 September 2023 dalam rangka peluncuran platform cloud IBM watsonx.ai. IBM memposisikan Granite sebagai solusi terbuka, berkinerja tinggi, dan andal untuk perusahaan, dengan penekanan pada transparansi data pelatihan, pengendalian risiko, dan lisensi yang mengizinkan penggunaan komersial.

Sejarah Pengembangan

Keluarga model Granite menjadi bagian dari strategi IBM untuk menyediakan model generatif milik sendiri kepada bisnis, berdampingan dengan model dari para mitra.

• September 2023: Pengumuman resmi dan peluncuran model pertama di platform watsonx.ai. Rilis pertama, Granite.13b.instruct dan Granite.13b.chat, memiliki sekitar 13 miliar parameter dan difokuskan pada tugas-tugas pemrosesan bahasa utama.
• Mei 2024: IBM mengumumkan rilis terbuka beberapa model Granite Code (dari 3 hingga 34 miliar parameter) di bawah lisensi Apache 2.0. Bobot model diterbitkan di platform Hugging Face, yang menjadi langkah penting dalam mendukung ekosistem AI terbuka.
• Musim Gugur 2024: IBM merilis pembaruan Granite 3.0, yang mencakup model berukuran lebih kecil (2 dan 8 miliar parameter) dan fitur-fitur baru, menegaskan arah perluasan keluarga model.

Arsitektur dan Pelatihan

Arsitektur

Model IBM Granite dibangun berdasarkan arsitektur decoder transformer (decoder-only), serupa dengan model GPT. Model dasar Granite.13b menggunakan mekanisme multi-query attention dan memiliki jendela konteks hingga 8000 token. Model-model ini dilatih menggunakan self-supervised learning.

Data Pelatihan dan AI Governance

Keunggulan utama Granite adalah penggunaan korpus data yang dikurasi secara mandiri, dipilih sesuai kebutuhan perusahaan. Berbeda dengan banyak LLM yang dilatih pada sampel web yang tidak tersaring, Granite dilatih pada data berkualitas tinggi (enterprise-quality) yang mencakup domain-domain berikut:

• Data akademik dan ilmiah: literatur ilmiah, publikasi teknis.
• Kode program: kumpulan kode dalam berbagai bahasa pemrograman.
• Hukum: keputusan pengadilan, laporan publik.
• Keuangan: laporan keuangan perusahaan.
• Internet: teks umum tidak terstruktur yang telah melalui penyaringan.

IBM menekankan bahwa pengembangannya mengikuti prinsip-prinsip AI Governance (etika dan tata kelola data) yang ketat. Setiap bagian data melewati prosedur verifikasi kesesuaian dengan kebijakan perusahaan. Untuk menghapus konten yang tidak diinginkan, digunakan detektor internal «HAP» (Hate and Profanity) serta daftar blokir otomatis untuk sumber daya web. IBM menerbitkan laporan teknis terperinci yang memuat daftar sumber data, sebuah langkah yang jarang dilakukan oleh perusahaan teknologi besar dan memberikan tingkat transparansi yang tinggi.

Keluarga Model Granite

Keluarga IBM Granite mencakup beberapa kategori model untuk berbagai kebutuhan bisnis:

• Model Bahasa (Granite Language Models): Model dasar dan model yang di-fine-tuning berdasarkan instruksi untuk tugas pemrosesan teks: generasi, peringkasan, klasifikasi, dan lain-lain.
• Model untuk Kode (Granite Code Models): LLM khusus yang dilatih pada 100+ bahasa pemrograman, untuk pelengkapan otomatis, generasi, dan perbaikan kode. Tersedia dalam ukuran dari 3 hingga 34 miliar parameter.
• Model Penglihatan (Granite Vision Models): Neural network untuk analisis gambar dan dokumen, pengenalan teks, dan pemahaman konten.
• Model Ucapan (Granite Speech Models): Model kompak untuk pengenalan dan penerjemahan ucapan.
• Model untuk Deret Waktu (Granite for Time Series): Model khusus untuk prakiraan berbasis deret waktu.
• Model Geospasial (Granite for Geospatial): Dikembangkan bekerja sama dengan NASA untuk analisis citra satelit dan data geospasial lainnya.
• Model Embedding (Granite Embedding Models): Model untuk tugas pencarian semantik dan pembangunan sistem RAG.
• Granite Guardian: Modul khusus untuk keamanan, yang dirancang untuk menyaring permintaan yang tidak diinginkan dan memantau konten.

Kode Terbuka dan Lisensi

IBM memberikan penekanan besar pada keterbukaan keluarga Granite, memposisikannya sebagai alternatif transparan terhadap LLM proprietary yang tertutup. Pada Mei 2024, perusahaan menyerahkan model Granite Code kepada komunitas terbuka di bawah lisensi Apache 2.0, yang memungkinkan penggunaan, modifikasi, dan distribusi secara bebas.

Langkah ini, bersama dengan publikasi informasi terperinci tentang data pelatihan, mendapat penilaian tinggi dari komunitas peneliti. Pada tahun 2024, model ini menempati posisi terdepan dalam Indeks Transparansi Model Fondasi Universitas Stanford.

Penerapan

Model Granite diintegrasikan ke dalam platform cloud IBM watsonx dan digunakan dalam berbagai skenario perusahaan.

• Analitik Olahraga (US Open): Bekerja sama dengan Asosiasi Tenis Amerika Serikat (USTA), IBM menggunakan Granite untuk pembuatan laporan pertandingan otomatis dan komentar audio berdasarkan hasil setiap pertandingan di turnamen US Open. Solusi ini menghasilkan ulasan teks pertandingan yang lengkap dalam hitungan menit setelah pertandingan berakhir.
• Bantuan bagi Programmer: Model Granite Code menjadi dasar dari IBM watsonx Code Assistant — sebuah keluarga alat yang dapat, misalnya, secara otomatis mengonversi kode COBOL yang sudah usang menjadi layanan mikro modern untuk IBM Z.
• Aplikasi AI Industri: Lockheed Martin mengintegrasikan model Granite ke dalam platform AI Factory mereka untuk tugas-tugas keamanan nasional. ESPN menggunakan Granite untuk menghasilkan komentar yang dipersonalisasi dalam fantasy sport.

Daftar Pustaka

• Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
• Awasthy, P. et al. (2025). Granite Embedding Models. arXiv:2502.20204.
• Dao, T. et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
• Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
• Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
• Granite Vision Team (2025). Granite Vision: A Lightweight, Open‑Source Multimodal Model for Enterprise Intelligence. arXiv:2502.09927.
• Mishra, M. et al. (2024). Granite Code Models: A Family of Open Foundation Models for Code Intelligence. arXiv:2405.04324.
• Padhi, I. et al. (2024). Granite Guardian: Risk Detection for Safe and Responsible Use of LLMs. arXiv:2412.07724.
• Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
• Stallone, M. et al. (2024). Scaling Granite Code Models to 128K Context. arXiv:2407.13739.