Huawei PanGu (FR)
Huawei PanGu (chinois : 盘古) est une famille de très grands modèles d'intelligence artificielle pré-entraînés (modèles de fondation), développés par Huawei Cloud. Le nom « PanGu » fait référence à Pangu, l'être primordial de la mythologie chinoise qui a créé le monde[1]. La famille PanGu couvre divers domaines, notamment le traitement du langage naturel (NLP), la vision par ordinateur (CV), l'analyse multimodale, la modélisation prédictive et le calcul scientifique.
Histoire et développement
PanGu-α (2021)
Le premier modèle de la famille, PanGu-α (PanGu-Alpha), a été présenté en avril 2021. Avec 200 milliards de paramètres, il est devenu à l'époque le plus grand modèle linguistique pour la langue chinoise, surpassant en taille GPT-3 (175 milliards) d'OpenAI[2].
Le modèle a été développé par l'équipe de Huawei Cloud en collaboration avec le laboratoire Noah's Ark et entraîné sur un cluster de 2048 processeurs spécialisés Huawei Ascend 910 à l'aide du framework MindSpore[3]. Le corpus d'entraînement était constitué de 1,1 To de données textuelles de haute qualité en langue chinoise. PanGu-α a montré d'excellents résultats sur le benchmark CLUE (Chinese Language Understanding Evaluation), se classant premier au classement général[1].
PanGu 3.0 (2023) : Une approche de plateforme
En juillet 2023, Huawei a présenté la plateforme PanGu 3.0, marquant le passage d'un modèle unique à une architecture multi-niveaux « 5+N+X » axée sur les applications industrielles[4].
- L0 (Couche de base): Cinq modèles fondamentaux (NLP, CV, multimodal, prédictif et calcul scientifique).
- L1 (Couche sectorielle): N modèles sectoriels, affinés à partir des modèles de base pour des industries spécifiques (gouvernement, finance, fabrication, etc.).
- L2 (Couche de scénarios): X modèles pour des tâches applicatives spécifiques (assistant virtuel, prévision de la trajectoire des typhons, etc.).
Cette approche hiérarchique permet aux clients soit d'utiliser des solutions prêtes à l'emploi, soit d'affiner les modèles sectoriels sur leurs propres données, ce qui simplifie et réduit considérablement le coût de l'adaptation.
PanGu 5.5 (2025) : Architecture Mixture-of-Experts
En juin 2025, Huawei a annoncé la mise à jour vers PanGu 5.5, visant à résoudre des problèmes industriels complexes. La caractéristique clé est une architecture de mélange d'experts (MoE) avec 256 sous-réseaux experts, ce qui a permis d'augmenter le nombre total de paramètres à 718 milliards[5]. L'architecture MoE permet d'activer dynamiquement seulement une partie du modèle pour une tâche donnée, ce qui, selon Huawei, offre une amélioration de l'efficacité de l'inférence huit fois supérieure à celle des générations précédentes[6].
Architecture et solutions techniques clés
Les modèles PanGu sont construits sur la base d'une architecture Transformer de type GPT, mais avec plusieurs innovations pour l'entraînement de très grands modèles. Pour contrôler le processus de génération, une couche de requête (Query Layer) spéciale a été introduite, qui aide à induire la sortie souhaitée lors de l'étape de pré-entraînement[3].
L'entraînement et l'exploitation des modèles PanGu sont étroitement intégrés à la plateforme matérielle et logicielle propriétaire de Huawei :
- Processeurs Ascend 910: Accélérateurs d'IA spécialisés qui constituent la base des clusters de calcul.
- Framework MindSpore: Une plateforme de deep learning open source qui prend en charge une technologie d'auto-parallélisation, combinant cinq types de parallélisme (données, modèle, pipeline, optimiseur, etc.) pour une distribution efficace des calculs sur des milliers de nœuds[3].
Modèles spécialisés et leurs applications
PanGu-Weather
L'un des modèles les plus connus de la famille est PanGu-Weather, un modèle météorologique mondial basé sur le deep learning. En juillet 2023, un article à son sujet a été publié dans la prestigieuse revue scientifique Nature[7].
Le modèle a démontré sa capacité à surpasser en précision les méthodes numériques traditionnelles de prévision météorologique du Centre européen pour les prévisions météorologiques à moyen terme (ECMWF) tout en étant beaucoup plus rapide. La génération d'une prévision mondiale à 24 heures ne prend au modèle que quelques secondes au lieu de plusieurs heures de calculs sur superordinateur, ce qui représente une accélération d'environ 10 000 fois[7]. En août 2023, les prévisions de PanGu-Weather ont été intégrées au service de l'ECMWF pour être utilisées dans des services météorologiques pratiques[8].
Applications industrielles
Les modèles PanGu sont déployés dans plus de 500 scénarios dans 30 secteurs de l'économie. Quelques exemples :
- Agriculture: L'Académie chinoise des sciences agricoles (CAAS) a utilisé PanGu pour développer un modèle de sélection, ce qui a permis de créer une variété de riz expérimentale avec une résistance améliorée à la verse[5].
- Industrie pétrolière et gazière: CNPC utilise le modèle PanGu pour la détection automatique des défauts de pipelines avec une précision submillimétrique, augmentant l'efficacité d'environ 40 %[9].
- Administration publique: À Shenzhen, un assistant intelligent nommé « Xiaofu » a été créé. Il fournit aux citoyens des informations sur les services publics en se basant sur un corpus de plus de 200 000 documents locaux[4].
- Pharmacologie: Le modèle PanGu Drug Molecule est utilisé pour accélérer le processus de criblage de candidats-médicaments. Il est affirmé qu'il a permis de découvrir une nouvelle classe d'antibiotiques, ce qui constitue la première percée dans ce domaine en 40 ans[4].
Publication en open source
En juin 2025, Huawei a annoncé la publication en open source d'une partie des modèles de la famille PanGu. Les modèles suivants ont été rendus publics[10]:
- PanGu Dense Model 7B (7 milliards de paramètres).
- PanGu Pro MoE Model 72B (72 milliards de paramètres).
Cette démarche vise à stimuler l'innovation et à créer un écosystème ouvert autour de la plateforme matérielle Huawei Ascend, en réponse stratégique à la concurrence mondiale dans le domaine de l'IA[10].
Bibliographie
- Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
- Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
- Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
- Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
- Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
- MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
- Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
- AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
- CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
- MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
- Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.
Références
- ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
- ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
- ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
- ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
- ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
- ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
- ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
- ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
- ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
- ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]