PanGu (Huawei) (NL)
Huawei PanGu (Chinees: 盘古) — is een familie van ultra-grote voorgetrainde modellen voor kunstmatige intelligentie (foundation models), ontwikkeld door Huawei Cloud. De naam «PanGu» verwijst naar Pan Gu, het mythologische oerwezen uit de Chinese cultuur dat de wereld schiep[1]. De PanGu-familie bestrijkt diverse domeinen, waaronder verwerking van natuurlijke taal (NLP), computer vision (CV), multimodale analyse, voorspellend modelleren en wetenschappelijke berekeningen.
Geschiedenis en ontwikkeling
PanGu-α (2021)
Het eerste model van de familie, PanGu-α (PanGu-Alpha), werd in april 2021 geïntroduceerd. Met 200 miljard parameters was het op dat moment het grootste taalmodel voor de Chinese taal, en overtrof het qua omvang GPT-3 (175 miljard) van OpenAI[2].
Het model werd ontwikkeld door het team van Huawei Cloud in samenwerking met het Noah's Ark-laboratorium en getraind op een cluster van 2048 gespecialiseerde processors Huawei Ascend 910 met gebruikmaking van het MindSpore-framework[3]. Het trainingskorpus omvatte 1,1 TB aan hoogwaardige Chineestalige tekstdata. PanGu-α behaalde uitstekende resultaten op de benchmark CLUE (Chinese Language Understanding Evaluation) en bezette de eerste plaats in de algehele ranglijst[1].
PanGu 3.0 (2023): Platformbenadering
In juli 2023 presenteerde Huawei het platform PanGu 3.0, dat de overgang markeert van één enkel model naar een meerlagige architectuur «5+N+X», gericht op industriële toepassingen[4].
- L0 (Basislaag): Vijf fundamentele modellen (NLP, CV, multimodaal, voorspellend en wetenschappelijk-rekenkundig).
- L1 (Sectorlaag): N sectorspecifieke modellen, fine-tuned op basis van de basismodellen voor specifieke industrieën (overheidsbestuur, financiën, productie e.a.).
- L2 (Scenarialaag): X modellen voor specifieke toepassingstaken (virtuele assistent, voorspelling van de koers van een tyfoon e.a.).
Deze hiërarchische aanpak stelt klanten in staat om ofwel kant-en-klare oplossingen te gebruiken, ofwel sectormodellen te fine-tunen op eigen data, wat de aanpassing aanzienlijk vereenvoudigt en goedkoper maakt.
PanGu 5.5 (2025): Mixture-of-Experts-architectuur
In juni 2025 kondigde Huawei een update aan naar PanGu 5.5, gericht op verdiepte aanpak van industriële vraagstukken. Het sleutelkenmerk werd de Mixture-of-Experts (MoE)-architectuur met 256 expertsubnetwerken, waardoor het totale aantal parameters steeg naar 718 miljard[5]. De MoE-architectuur maakt het mogelijk om bij een specifieke taak dynamisch slechts een deel van het model te activeren, wat volgens Huawei zorgt voor een achtmaal hogere inferentie-efficiëntie vergeleken met vorige generaties[6].
Belangrijkste architecturale en technische keuzes
De PanGu-modellen zijn gebouwd op basis van een GPT-achtige transformer-architectuur, maar met een aantal innovaties voor het trainen van ultragrote modellen. Voor het sturen van het generatieproces werd een speciale Query Layer geïntroduceerd, die helpt de gewenste uitvoer te induceren tijdens de fase van voorafgaand trainen[3].
Het trainen en inzetten van PanGu-modellen is nauw geïntegreerd met het eigen hardware- en softwareplatform van Huawei:
- Ascend 910-processors: Gespecialiseerde AI-accelerators die de basis vormen van de rekenklasters.
- MindSpore-framework: Een open-source platform voor deep learning dat auto-parallelle technologie ondersteunt, welke vijf vormen van parallellisme combineert (data, model, pipeline, optimizer e.a.) voor een efficiënte verdeling van berekeningen over duizenden knooppunten[3].
Gespecialiseerde modellen en hun toepassing
PanGu-Weather
Een van de bekendste modellen van de familie is PanGu-Weather — een wereldwijd meteorologisch model gebaseerd op deep learning. In juli 2023 werd een artikel hierover gepubliceerd in het prestigieuze wetenschappelijke tijdschrift Nature[7].
Het model toonde het vermogen om qua nauwkeurigheid traditionele numerieke weersverwachtingsmethoden van het Europees Centrum voor Middellangetijdsweersverwachtingen (ECMWF) te overtreffen, en dat bij aanzienlijk hogere snelheid. Het genereren van een wereldwijde 24-uursverwachting kost het model slechts enkele seconden in plaats van meerdere uren supercomputerberekeningen, wat neerkomt op een versnelling van ongeveer 10.000 keer[7]. In augustus 2023 werden de voorspellingen van PanGu-Weather geïntegreerd in de dienst van het ECMWF voor gebruik in praktische meteorologische dienstverlening[8].
Industriële toepassingen
PanGu-modellen zijn geïmplementeerd in meer dan 500 scenario's in 30 economische sectoren. Enkele voorbeelden:
- Landbouw: De Chinese Academie voor Landbouwwetenschappen (CAAS) heeft met behulp van PanGu een model voor veredeling ontwikkeld, waarmee een experimenteel rijstras met verbeterde legervaste eigenschappen werd gekweekt[5].
- Olie- en gasindustrie: CNPC gebruikt het PanGu-model voor automatische detectie van pijpleidingdefecten met submillimeternauwkeurigheid, waardoor de efficiëntie met ~40% toeneemt[9].
- Overheidsbestuur: In Shenzhen is de intelligente assistent «Xiaofu» ontwikkeld, die burgers informeert over overheidsdiensten op basis van een corpus van meer dan 200.000 lokale documenten[4].
- Farmacologie: Het model PanGu Drug Molecule wordt gebruikt om het screeningproces voor geneesmiddelkandidaten te versnellen. Gemeld wordt dat hiermee een nieuwe klasse antibiotica werd ontdekt, wat de eerste doorbraak op dit gebied in 40 jaar zou zijn[4].
Openstelling van de broncode
In juni 2025 kondigde Huawei de openstelling van de broncode (open-source) van een deel van de PanGu-familiemodellen aan. De volgende modellen werden openbaar beschikbaar gesteld[10]:
- PanGu Dense Model 7B (7 miljard parameters).
- PanGu Pro MoE Model 72B (72 miljard parameters).
Deze stap is gericht op het stimuleren van innovatie en het creëren van een open ecosysteem rondom het hardwareplatform Huawei Ascend, wat een strategisch antwoord is op de wereldwijde concurrentie op het gebied van AI[10].
Literatuur
- Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
- Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
- Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
- Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
- Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
- MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
- Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
- AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
- CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
- MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
- Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.
Noten
- ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
- ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
- ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
- ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
- ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
- ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
- ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
- ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
- ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
- ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]