IBM Granite (language model) (HE)
IBM Granite — זוהי סדרה של מודלים לשוניים גדולים (LLM), שפותחה על ידי תאגיד IBM לשימוש בסביבה ארגונית. מודלי Granite הם transformers אוטורגרסיביים בארכיטקטורת decoder בלבד, המסוגלים לייצר טקסט על בסיס הקשר נתון[1].
המשפחה הוצגה רשמית ב-7 בספטמבר 2023 במסגרת השקת פלטפורמת הענן IBM watsonx.ai[2]. IBM ממצבת את Granite כפתרונות פתוחים, יעילים ואמינים לארגונים, תוך הדגשת שקיפות נתוני האימון, בקרת סיכונים ורישוי המאפשר שימוש מסחרי[3].
היסטוריית הפיתוח
משפחת מודלי Granite הפכה לחלק מאסטרטגיית IBM לספק לעסקים מודלים גנרטיביים קנייניים לצד מודלים של שותפים.
- ספטמבר 2023: הכרזה רשמית והשקת המודלים הראשונים על פלטפורמת watsonx.ai. המהדורות הראשונות, Granite.13b.instruct ו-Granite.13b.chat, הכילו כ-13 מיליארד פרמטרים והיו מכוונות למשימות עיבוד שפה מרכזיות[2].
- מאי 2024: IBM מכריזה על מהדורה פתוחה של מספר מודלי Granite Code (מ-3 עד 34 מיליארד פרמטרים) תחת רישיון Apache 2.0. משקלי המודלים פורסמו על פלטפורמת Hugging Face, מה שהיווה צעד חשוב בתמיכה באקוסיסטם ה-AI הפתוח[4].
- סתיו 2024: IBM משיקה את העדכון Granite 3.0, הכולל מודלים בגודל קטן יותר (2 ו-8 מיליארד פרמטרים) ופונקציות חדשות, ומאשרת את המסלול להרחבת המשפחה[5].
ארכיטקטורה ואימון
ארכיטקטורה
מודלי IBM Granite בנויים על ארכיטקטורת decoder של transformer (decoder-only), בדומה למודלי GPT. המודל הבסיסי Granite.13b משתמש במנגנון multi-query attention ומחלון הקשר של עד 8,000 tokens[6]. המודלים מאומנים באמצעות למידה עצמית (self-supervised learning).
נתוני האימון ו-AI Governance
מאפיין מרכזי של Granite הוא השימוש בקורפוס נתונים מאוצר קנייני, שנבחר לצרכי ארגונים. בשונה מ-LLM רבים המאומנים על מדגמי רשת בלתי מסוננים, Granite אומן על נתונים באיכות גבוהה (enterprise-quality), המכסים את הדומיינים הבאים[6]:
- נתונים אקדמיים ומדעיים: ספרות מדעית, פרסומים טכניים.
- קוד תוכנה: מאגרי קוד במגוון שפות.
- משפטים: פסקי דין, דוחות ציבוריים.
- פיננסים: דוחות כספיים של חברות.
- אינטרנט: טקסטים כלליים לא מובנים שעברו סינון.
IBM מדגישה כי הפיתוח נעשה בהתאם לעקרונות קפדניים של AI Governance (אתיקה וממשל נתונים). כל חלק מהנתונים עבר הליך בדיקה לעמידה בנהלים הארגוניים. להסרת תוכן בלתי רצוי נעשה שימוש במזהה פנימי בשם «HAP» (Hate and Profanity), כמו גם ברשימות חסימה אוטומטיות של משאבי אינטרנט[1]. IBM פרסמה דוח טכני מפורט עם רשימת המקורות, צעד נדיר עבור חברות טכנולוגיה גדולות המבטיח שקיפות גבוהה.
משפחת מודלי Granite
משפחת IBM Granite охватывает מספר קטגוריות של מודלים למשימות עסקיות שונות:
- מודלים לשוניים (Granite Language Models): מודלים בסיסיים ומודלים מכוונים לפי הוראות למשימות עיבוד טקסט: יצירה, סיכום, סיווג ועוד.
- מודלים לקוד (Granite Code Models): LLM מתמחים, מאומנים על 100+ שפות תכנות, להשלמה אוטומטית, יצירה ותיקון קוד. זמינים בגדלים מ-3 עד 34 מיליארד פרמטרים[4].
- מודלי ראייה (Granite Vision Models): רשתות נוירונים לניתוח תמונות ומסמכים, זיהוי טקסט והבנת תוכן.
- מודלים לדיבור (Granite Speech Models): מודלים קומפקטיים לזיהוי ותרגום דיבור.
- מודלים לסדרות זמן (Granite for Time Series): מודלים מתמחים לחיזוי על בסיס סדרות זמן.
- מודל גאו-מרחבי (Granite for Geospatial): פותח בשיתוף עם נאס"א לניתוח תצלומי לוויין ונתוני גאו-מרחב אחרים.
- מודלי embedding (Granite Embedding Models): מודלים למשימות חיפוש סמנטי ובניית מערכות RAG.
- Granite Guardian: מודול מתמחה לאבטחה, המיועד לסינון בקשות בלתי רצויות וניטור תוכן.
קוד פתוח ורישוי
IBM שמה דגש משמעותי על פתיחות משפחת Granite, ומציבה אותה כחלופה שקופה ל-LLM קנייניים סגורים. במאי 2024 העבירה החברה לקהילה הפתוחה את מודלי Granite Code המקוריים תחת רישיון Apache 2.0, המאפשר שימוש חופשי, שינוי והפצה[4].
צעד זה, יחד עם פרסום מידע מפורט על נתוני האימון, הביא ל-IBM הערכה גבוהה מקהילת החוקרים. בשנת 2024 המודל תפס מקומות מובילים במדד השקיפות של מודלים יסודיים של אוניברסיטת סטנפורד[3].
יישומים
מודלי Granite משולבים בפלטפורמת הענן IBM watsonx ומשמשים בתרחישים ארגוניים שונים.
- אנליטיקת ספורט (US Open): בשיתוף עם איגוד הטניס האמריקאי (USTA), IBM משתמשת ב-Granite ליצירה אוטומטית של דוחות משחקים ופרשנות אודיו לאחר כל משחק בטורניר US Open. הפתרון מייצר סקירת טקסט מפורטת של המשחק תוך דקות ספורות מסיומו[7].
- סיוע למתכנתים: מודלי Granite Code עומדים בבסיס IBM watsonx Code Assistant — משפחת כלים שיכולים, למשל, להמיר אוטומטית קוד ישן ב-COBOL למיקרו-שירותים מודרניים עבור IBM Z[4].
- יישומי AI תעשייתיים: Lockheed Martin שילבה מודלי Granite בפלטפורמת ה-AI Factory שלה למשימות ביטחון לאומי. ESPN משתמשת ב-Granite לייצור פרשנויות מותאמות אישית בספורט פנטזיה[3].
ספרות
- Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
- Awasthy, P. et al. (2025). Granite Embedding Models. arXiv:2502.20204.
- Dao, T. et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
- Ding, Y. et al. (2024). LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens. arXiv:2402.13753.
- Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
- Granite Vision Team (2025). Granite Vision: A Lightweight, Open‑Source Multimodal Model for Enterprise Intelligence. arXiv:2502.09927.
- Mishra, M. et al. (2024). Granite Code Models: A Family of Open Foundation Models for Code Intelligence. arXiv:2405.04324.
- Padhi, I. et al. (2024). Granite Guardian: Risk Detection for Safe and Responsible Use of LLMs. arXiv:2412.07724.
- Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of Large Language Models. arXiv:2309.00071.
- Stallone, M. et al. (2024). Scaling Granite Code Models to 128K Context. arXiv:2407.13739.
הערות
- ↑ 1.0 1.1 «Building AI for business: IBM's Granite foundation models». IBM Blog. [1]
- ↑ 2.0 2.1 Lardinois, Frederic (7 сентября 2023). «IBM rolls out new generative AI features and models». TechCrunch. [2]
- ↑ 3.0 3.1 3.2 «Granite». IBM. [3]
- ↑ 4.0 4.1 4.2 4.3 «IBM's Granite code model family is going open source». IBM Research Blog. [4]
- ↑ «Granite 3.3 Language Models - a ibm-granite Collection». Hugging Face. [5]
- ↑ 6.0 6.1 «Granite Foundation Models: Technical Specifications». IBM. [6]
- ↑ «IBM and the USTA Serve Up New and Enhanced Generative AI Features for 2024 US Open Digital Platforms». IBM Newsroom. [7]