PanGu (Huawei) (HE)

From Systems analysis Wiki
Jump to navigation Jump to search

Huawei PanGu (סינ. 盘古) — זוהי משפחה של מודלים בסיסיים (foundation models) ענקיים של בינה מלאכותית, שפותחו על ידי Huawei Cloud. השם «PanGu» מתייחס לפאן-גו, היצור המיתולוגי הקדמוני בתרבות הסינית, שברא את העולם[1]. משפחת PanGu охוachet תחומים שונים, כולל עיבוד שפה טבעית (NLP), ראיית מחשב (CV), ניתוח מולטימודלי, מידול חיזוי וחישוב מדעי.

היסטוריה והתפתחות

PanGu-α (2021)

המודל הראשון במשפחה, PanGu-α (PanGu-Alpha), הוצג באפריל 2021. עם 200 מיליארד פרמטרים, הפך למודל השפה הגדול ביותר לסינית באותה תקופה, עולה בגודלו על GPT-3 (175 מיליארד) של OpenAI[2].

המודל פותח על ידי צוות Huawei Cloud בשיתוף עם המעבדה Noah's Ark ואומן על אשכול של 2048 מעבדים מיוחדים Huawei Ascend 910 תוך שימוש ב-framework בשם MindSpore[3]. קורפוס האימון הסתכם ב-1.1 TB של נתוני טקסט איכותיים בשפה הסינית. PanGu-α הפגינה תוצאות גבוהות על ה-benchmark CLUE (Chinese Language Understanding Evaluation), תוך תפיסת המקום הראשון בדירוג הכללי[1].

PanGu 3.0 (2023): גישה פלטפורמית

ביולי 2023 הציגה Huawei את פלטפורמת PanGu 3.0, המסמנת מעבר ממודל בודד לארכיטקטורה רב-שכבתית «5+N+X», המכוונת ליישום תעשייתי[4].

  • L0 (שכבה בסיסית): חמישה מודלים בסיסיים (NLP, CV, מולטימודלי, חיזויי ומדעי-חישובי).
  • L1 (שכבה ענפית): N מודלים ענפיים, שעברו fine-tuning על בסיס המודלים הבסיסיים עבור תעשיות ספציפיות (ממשל, פיננסים, ייצור ועוד).
  • L2 (שכבת תרחישים): X מודלים למשימות יישום ספציפיות (עוזר וירטואלי, חיזוי מסלול טייפון ועוד).

גישה היררכית זו מאפשרת ללקוחות לבחור בין שימוש בפתרונות מוכנים לבין fine-tuning של מודלים ענפיים על נתוניהם שלהם, מה שמפשט ומוזיל משמעותית את ההתאמה.

PanGu 5.5 (2025): ארכיטקטורת Mixture-of-Experts

ביוני 2025 הכריזה Huawei על עדכון ל-PanGu 5.5, שמטרתו העמקת הפתרון למשימות תעשייתיות. המאפיין המרכזי הוא ארכיטקטורת תערובת מומחים (MoE) עם 256 רשתות-משנה מומחיות, מה שאפשר להגדיל את כמות הפרמטרים הכוללת ל-718 מיליארד[5]. ארכיטקטורת MoE מאפשרת הפעלה דינמית של חלק בלבד מהמודל בעת פתרון משימה ספציפית, וזה, לפי הצהרות Huawei, מבטיח שיפור פי שמונה ביעילות ה-inference בהשוואה לדורות קודמים[6].

פתרונות ארכיטקטוניים וטכניים מרכזיים

מודלי PanGu בנויים על בסיס ארכיטקטורת transformer מסוג GPT, אך עם מספר חידושים לאימון מודלים גדולים במיוחד. לניהול תהליך היצירה הוכנסה שכבת שאילתות מיוחדת (Query Layer), המסייעת לאינדוקציית הפלט הרצוי בשלב הpre-training[3].

אימון ותפעול מודלי PanGu משולבים באופן הדוק עם פלטפורמת החומרה והתוכנה הקניינית של Huawei:

  • מעבדי Ascend 910: מאיצי בינה מלאכותית מיוחדים, המהווים את הבסיס לאשכולות החישוב.
  • Framework MindSpore: פלטפורמת deep learning בקוד פתוח, התומכת ב-טכנולוגיית מקביליות אוטומטית, המשלבת חמישה סוגי מקביליות (נתונים, מודל, pipeline, אופטימייזר ועוד) להפצת חישובים יעילה בין אלפי צמתים[3].

מודלים מתמחים ויישומיהם

PanGu-Weather

אחד המודלים הידועים ביותר במשפחה הוא PanGu-Weather — מודל מטאורולוגי גלובלי מבוסס deep learning. ביולי 2023 פורסם עליו מאמר בכתב העת המדעי היוקרתי Nature[7].

המודל הפגין יכולת לעלות בדיוקו על שיטות חישוב מספריות מסורתיות לחיזוי מזג אוויר של המרכז האירופי לתחזיות מזג אוויר לטווח בינוני (ECMWF) במהירות גבוהה משמעותית. יצירת תחזית גלובלית ל-24 שעות אורכת למודל שניות בודדות במקום מספר שעות של חישובים על-מחשביים, מה שמשמעו האצה של בערך 10,000 פעמים[7]. באוגוסט 2023 שולבו תחזיות PanGu-Weather בשירות ECMWF לשימוש בשירותים מטאורולוגיים מעשיים[8].

יישום תעשייתי

מודלי PanGu יושמו ביותר מ-500 תרחישים ב-30 ענפי המשק. מספר דוגמאות:

  • חקלאות: האקדמיה הסינית למדעי החקלאות (CAAS) פיתחה בסיוע PanGu מודל לסלקציה, שאפשר לפתח זן אורז ניסיוני עם עמידות משופרת לשכיבה[5].
  • תעשיית הנפט והגז: CNPC משתמשת במודל PanGu לזיהוי אוטומטי של פגמים בצנרת ברמת דיוק תת-מילימטרית, תוך שיפור היעילות בכ-40%[9].
  • ממשל ציבורי: בשנז'ן נוצר עוזר חכם «Xiaofu», המספק לאזרחים מידע על שירותי ממשל, בהתבסס על מאגר של יותר מ-200,000 מסמכים מקומיים[4].
  • פרמקולוגיה: המודל PanGu Drug Molecule משמש להאצת תהליך סינון מועמדי תרופות. הוכרז כי בעזרתו התגלתה קבוצה חדשה של אנטיביוטיקה, שהיוותה פריצת דרך ראשונה בתחום זה בתוך 40 שנה[4].

פתיחת קוד המקור

ביוני 2025 הכריזה Huawei על פתיחת קוד המקור (open-source) של חלק ממודלי משפחת PanGu. לרשות הציבור הועמדו[10]:

  • PanGu Dense Model 7B (7 מיליארד פרמטרים).
  • PanGu Pro MoE Model 72B (72 מיליארד פרמטרים).

צעד זה נועד לעודד חדשנות וליצור מערכת אקולוגית פתוחה סביב פלטפורמת החומרה Huawei Ascend, שהוא מענה אסטרטגי לתחרות הגלובלית בתחום הבינה המלאכותית[10].

ספרות

  • Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
  • Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
  • Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
  • Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
  • Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
  • MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
  • Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
  • AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
  • CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
  • MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
  • Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
  • Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.

הערות

  1. ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
  2. ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
  3. ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
  4. ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
  5. ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
  6. ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
  7. ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
  8. ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
  9. ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
  10. ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]
Retrieved from "https://systems-analysis.info/int/index.php?title=PanGu_(Huawei)_(HE)&oldid=5443"