IBM Granite (language model) (TL)

IBM Granite — ito ay isang serye ng malalaking modelo ng wika (LLM), na binuo ng korporasyon ng IBM para sa paggamit sa kapaligiran ng negosyo. Ang mga modelo ng Granite ay mga autoregressive transformer na may arkitektura ng decoder lamang, na may kakayahang mag-generate ng teksto batay sa ibinigay na konteksto.

Ang pamilya ay opisyal na inihayag noong ika-7 ng Setyembre 2023 bilang bahagi ng paglulunsad ng cloud platform na IBM watsonx.ai. Itinataguyod ng IBM ang Granite bilang bukas, mataas ang pagganap, at mapagkakatiwalaang solusyon para sa mga negosyo, na binibigyang-diin ang transparency ng datos sa pagsasanay, kontrol sa panganib, at pagbibigay ng lisensya na nagpapahintulot ng komersyal na paggamit.

Kasaysayan ng Pagbuo

Ang pamilya ng mga modelo ng Granite ay naging bahagi ng estratehiya ng IBM na magbigay sa negosyo ng sariling mga modelo ng generative AI kasabay ng mga modelo mula sa mga kasosyo.

• Setyembre 2023: Opisyal na anunsyo at paglulunsad ng mga unang modelo sa platform na watsonx.ai. Ang mga unang inilabas, Granite.13b.instruct at Granite.13b.chat, ay may humigit-kumulang 13 bilyong parameter at nakatuon sa mga pangunahing gawain ng pagproseso ng wika.
• Mayo 2024: Inihayag ng IBM ang bukas na paglabas ng ilang mga modelo ng Granite Code (mula 3 hanggang 34 bilyong parameter) sa ilalim ng lisensyang Apache 2.0. Ang mga timbang ng modelo ay nailathala sa platform na Hugging Face, na naging mahalagang hakbang sa pagsuporta sa bukas na ecosystem ng AI.
• Taglagas 2024: Inilabas ng IBM ang update na Granite 3.0, na kinabibilangan ng mga mas maliit na modelo (2 at 8 bilyong parameter) at mga bagong tampok, na nagpapatibay ng landas patungo sa pagpapalawak ng pamilya.

Arkitektura at Pagsasanay

Arkitektura

Ang mga modelo ng IBM Granite ay itinayo sa arkitektura ng decoder ng transformer (decoder-only), katulad ng mga modelo ng GPT. Ang base na modelo ng Granite.13b ay gumagamit ng mekanismo ng multi-query attention at may context window na hanggang 8000 token. Ang mga modelo ay sinasamahan ng self-supervised learning (self-supervised learning).

Datos sa Pagsasanay at AI Governance

Ang pangunahing katangian ng Granite ay ang paggamit ng sariling curated corpus ng datos na pinili para sa pangangailangan ng mga negosyo. Hindi tulad ng maraming LLM na sinasamahan ng hindi na-filter na mga sample mula sa web, ang Granite ay sinanay sa datos na may mataas na kalidad (enterprise-quality), na sumasaklaw sa mga sumusunod na domain:

• Akademiko at siyentipikong datos: siyentipikong literatura, mga teknikal na publikasyon.
• Source code: mga hanay ng code sa maraming wika ng programming.
• Batas: mga desisyon ng hukuman, mga pampublikong ulat.
• Pananalapi: mga ulat sa pananalapi ng mga kumpanya.
• Internet: mga hindi nakaayos na teksto ng pangkalahatang kalikasan na dumaan sa pag-filter.

Binibigyang-diin ng IBM na ang pagbuo ay sumusunod sa mahigpit na mga prinsipyo ng AI Governance (etika at pamamahala ng datos). Ang bawat bahagi ng datos ay dumaan sa pamamaraan ng pagsusuri para sa pagsunod sa mga patakaran ng korporasyon. Para sa pag-alis ng hindi kanais-nais na nilalaman, ginamit ang panloob na detector na «HAP» (Hate and Profanity), pati na rin ang mga awtomatikong block-list ng mga web resource. Naglathala ang IBM ng detalyadong teknikal na ulat na may listahan ng mga pinagkukunan, na isang bihirang hakbang para sa malalaking kumpanya ng teknolohiya at nagbibigay ng mataas na transparency.

Pamilya ng Mga Modelo ng Granite

Sasaklaw ang pamilya ng IBM Granite ng ilang kategorya ng mga modelo para sa iba't ibang gawain sa negosyo:

• Mga Modelo ng Wika (Granite Language Models): Mga base at instruction fine-tuned na modelo para sa mga gawain ng pagproseso ng teksto: paggawa ng teksto, pagbubuod, pag-uuri at iba pa.
• Mga Modelo para sa Code (Granite Code Models): Mga espesyalisadong LLM, sinanay sa 100+ wika ng programming, para sa autocomplete, paggawa at pagwawasto ng code. Available sa laki mula 3 hanggang 34 bilyong parameter.
• Mga Modelo ng Paningin (Granite Vision Models): Mga neural network para sa pagsusuri ng mga larawan at dokumento, pagkilala ng teksto at pag-unawa ng nilalaman.
• Mga Modelo ng Pagsasalita (Granite Speech Models): Mga compact na modelo para sa pagkilala at pagsasalin ng pagsasalita.
• Mga Modelo para sa Time Series (Granite for Time Series): Mga espesyalisadong modelo para sa pagtataya batay sa time series.
• Geospatial na Modelo (Granite for Geospatial): Binuo sa pakikipagtulungan sa NASA para sa pagsusuri ng mga satellite na larawan at iba pang geodata.
• Mga Modelo ng Embedding (Granite Embedding Models): Mga modelo para sa mga gawain ng semantic search at pagbuo ng mga sistema ng RAG.
• Granite Guardian: Isang espesyalisadong module para sa pagtiyak ng kaligtasan, na idinisenyo para sa pag-filter ng mga hindi kanais-nais na kahilingan at pagmamatyag ng nilalaman.

Bukas na Code at Pagbibigay ng Lisensya

Nagbigay-diin ang IBM ng malaking halaga sa pagiging bukas ng pamilya ng Granite, na itinataguyod ito bilang isang transparent na alternatibo sa mga saradong proprietary na LLM. Noong Mayo 2024, ibinigay ng kumpanya sa bukas na komunidad ang mga original na modelo ng Granite Code sa ilalim ng lisensyang Apache 2.0, na nagpapahintulot sa kanilang malaya na gamitin, baguhin at ipamahagi.

Ang hakbang na ito, kasabay ng paglalathala ng detalyadong impormasyon tungkol sa datos sa pagsasanay, ay nagdulot sa IBM ng mataas na pagkilala mula sa komunidad ng pananaliksik. Noong 2024, ang modelo ay nanalo ng nangungunang posisyon sa Stanford Foundation Model Transparency Index ng Stanford University.

Paggamit

Ang mga modelo ng Granite ay isinama sa cloud platform na IBM watsonx at ginagamit sa iba't ibang sitwasyon ng negosyo.

• Pagsusuri ng Palakasan (US Open): Sa pakikipagtulungan sa United States Tennis Association (USTA), ginagamit ng IBM ang Granite para sa awtomatikong paglikha ng mga ulat ng laban at mga audio commentary pagkatapos ng bawat laban sa tournament ng US Open. Ang solusyon ay nagge-generate ng detalyadong tekstwal na pagsusuri ng laban sa loob ng ilang minuto pagkatapos ng pagtatapos nito.
• Tulong sa mga Programmer: Ang mga modelo ng Granite Code ang pundasyon ng IBM watsonx Code Assistant — isang pamilya ng mga kasangkapan na maaaring, halimbawa, awtomatikong gawing modernong microservices ang lumang code na COBOL para sa IBM Z.
• Mga AI Application sa Industriya: Isinama ng Lockheed Martin ang mga modelo ng Granite sa kanyang platform na AI Factory para sa mga gawain ng pambansang seguridad. Gumagamit ang ESPN ng Granite para sa paggawa ng mga personalisadong commentary sa fantasy sports.

Literaturang Pinagkunan

• Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
• Awasthy, P. et al. (2025). Granite Embedding Models. arXiv:2502.20204.
• Dao, T. et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
• Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
• Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
• Granite Vision Team (2025). Granite Vision: A Lightweight, Open‑Source Multimodal Model for Enterprise Intelligence. arXiv:2502.09927.
• Mishra, M. et al. (2024). Granite Code Models: A Family of Open Foundation Models for Code Intelligence. arXiv:2405.04324.
• Padhi, I. et al. (2024). Granite Guardian: Risk Detection for Safe and Responsible Use of LLMs. arXiv:2412.07724.
• Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
• Stallone, M. et al. (2024). Scaling Granite Code Models to 128K Context. arXiv:2407.13739.