IBM Granite (language model) (RO)

IBM Granite — este o serie de modele lingvistice de mari dimensiuni (LLM), dezvoltate de corporația IBM pentru utilizare în mediul enterprise. Modelele Granite reprezintă transformere autoregresive cu arhitectură exclusiv de decodor, capabile să genereze text pe baza unui context dat.

Familia a fost prezentată oficial pe 7 septembrie 2023, în cadrul lansării platformei cloud IBM watsonx.ai. IBM poziționează Granite drept soluții deschise, performante și fiabile pentru întreprinderi, punând accentul pe transparența datelor de antrenament, controlul riscurilor și licențierea care permite utilizarea comercială.

Istoria dezvoltării

Familia de modele Granite a devenit parte a strategiei IBM de a oferi businessului modele generative proprii alături de modele de la parteneri.

• Septembrie 2023: Anunțul oficial și lansarea primelor modele pe platforma watsonx.ai. Primele versiuni, Granite.13b.instruct și Granite.13b.chat, aveau aproximativ 13 miliarde de parametri și erau orientate spre sarcinile cheie de procesare a limbajului.
• Mai 2024: IBM anunță lansarea deschisă a mai multor modele Granite Code (de la 3 până la 34 de miliarde de parametri) sub licența Apache 2.0. Ponderile modelelor au fost publicate pe platforma Hugging Face, reprezentând un pas important în sprijinirea ecosistemului deschis de AI.
• Toamna 2024: IBM lansează actualizarea Granite 3.0, care include modele de dimensiuni mai mici (2 și 8 miliarde de parametri) și noi funcționalități, confirmând direcția de extindere a familiei.

Arhitectură și antrenament

Arhitectura

Modelele IBM Granite sunt construite pe arhitectura decodorului transformer (decoder-only), similar cu modelele GPT. Modelul de bază Granite.13b utilizează mecanismul multi-query attention și dispune de o fereastră de context de până la 8000 de tokeni. Modelele sunt antrenate prin intermediul self-supervised learning.

Datele de antrenament și AI Governance

O caracteristică esențială a Granite este utilizarea unui corpus de date propriu, curatizat în funcție de nevoile întreprinderilor. Spre deosebire de multe LLM-uri antrenate pe eșantioane web nefiltrate, Granite a fost antrenat pe date de calitate ridicată (enterprise-quality), acoperind următoarele domenii:

• Date academice și științifice: literatură științifică, publicații tehnice.
• Cod sursă: volume de cod în numeroase limbaje de programare.
• Drept: hotărâri judecătorești, rapoarte publice.
• Finanțe: rapoarte financiare ale companiilor.
• Internet: texte nestructurate cu caracter general, filtrate în prealabil.

IBM subliniază că dezvoltarea a urmat principii stricte de AI Governance (etică și guvernanță a datelor). Fiecare subset de date a trecut printr-o procedură de verificare a conformității cu politicile corporative. Pentru eliminarea conținutului nedorit a fost utilizat detectorul intern „HAP" (Hate and Profanity), precum și liste automate de blocare a resurselor web. IBM a publicat un raport tehnic detaliat cu lista surselor utilizate, ceea ce reprezintă un pas rar în rândul marilor companii tehnologice și asigură un nivel ridicat de transparență.

Familia de modele Granite

Familia IBM Granite acoperă mai multe categorii de modele pentru diverse sarcini de business:

• Modele lingvistice (Granite Language Models): Modele de bază și modele fine-tuned cu instrucțiuni pentru sarcini de procesare a textului: generare, sumarizare, clasificare și altele.
• Modele pentru cod (Granite Code Models): LLM-uri specializate, antrenate pe peste 100 de limbaje de programare, pentru autocompletare, generare și corectare de cod. Disponibile în dimensiuni de la 3 până la 34 de miliarde de parametri.
• Modele de viziune (Granite Vision Models): Rețele neurale pentru analiza imaginilor și documentelor, recunoașterea textului și înțelegerea conținutului.
• Modele vocale (Granite Speech Models): Modele compacte pentru recunoașterea și traducerea vorbirii.
• Modele pentru serii de timp (Granite for Time Series): Modele specializate pentru prognoze bazate pe serii de timp.
• Modelul geospațial (Granite for Geospatial): Dezvoltat în colaborare cu NASA pentru analiza imaginilor satelitare și a altor geodate.
• Modele de embedding (Granite Embedding Models): Modele pentru sarcini de căutare semantică și construirea sistemelor RAG.
• Granite Guardian: Modul specializat pentru asigurarea securității, destinat filtrării solicitărilor nedorite și monitorizării conținutului.

Cod deschis și licențiere

IBM a pus un accent semnificativ pe deschiderea familiei Granite, pozitionând-o ca o alternativă transparentă față de LLM-urile proprietare închise. În mai 2024, compania a cedat comunității deschise modelele Granite Code sub licența Apache 2.0, permițând utilizarea, modificarea și distribuirea lor liberă.

Acest pas, alături de publicarea informațiilor detaliate privind datele de antrenament, a adus IBM o apreciere ridicată din partea comunității de cercetare. În 2024, modelul a ocupat poziții de frunte în Indexul de transparență al modelelor fundamentale al Universității Stanford.

Aplicații

Modelele Granite sunt integrate în platforma cloud IBM watsonx și sunt utilizate în diverse scenarii enterprise.

• Analitica sportivă (US Open): În colaborare cu Asociația de Tenis a SUA (USTA), IBM utilizează Granite pentru crearea automată a rapoartelor de meci și a comentariilor audio după fiecare meci de la turneul US Open. Soluția generează o prezentare text detaliată a meciului în câteva minute după finalizarea acestuia.
• Asistență pentru programatori: Modelele Granite Code stau la baza IBM watsonx Code Assistant — o familie de instrumente care pot, de exemplu, să transforme automat codul vechi în COBOL în microservicii moderne pentru IBM Z.
• Aplicații AI sectoriale: Lockheed Martin a integrat modelele Granite în platforma sa AI Factory pentru sarcini de securitate națională. ESPN utilizează Granite pentru generarea de comentarii personalizate în fantasy sport.

Bibliografie

• Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
• Awasthy, P. et al. (2025). Granite Embedding Models. arXiv:2502.20204.
• Dao, T. et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
• Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
• Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
• Granite Vision Team (2025). Granite Vision: A Lightweight, Open‑Source Multimodal Model for Enterprise Intelligence. arXiv:2502.09927.
• Mishra, M. et al. (2024). Granite Code Models: A Family of Open Foundation Models for Code Intelligence. arXiv:2405.04324.
• Padhi, I. et al. (2024). Granite Guardian: Risk Detection for Safe and Responsible Use of LLMs. arXiv:2412.07724.
• Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
• Stallone, M. et al. (2024). Scaling Granite Code Models to 128K Context. arXiv:2407.13739.