PanGu (Huawei) (SV)
Huawei PanGu (kinesiska: 盘古) — är en familj av ultra-stora förtränade modeller för artificiell intelligens (foundation models), utvecklade av Huawei Cloud. Namnet «PanGu» syftar på Pan Gu, ett mytologiskt urväsen i kinesisk kultur som skapade världen[1]. PanGu-familjen täcker olika områden, inklusive bearbetning av naturligt språk (NLP), datorseende (CV), multimodal analys, prediktiv modellering och vetenskapliga beräkningar.
Historia och utveckling
PanGu-α (2021)
Den första modellen i familjen, PanGu-α (PanGu-Alpha), presenterades i april 2021. Med 200 miljarder parametrar blev den vid den tidpunkten den största språkmodellen för kinesiska, och överträffade GPT-3 (175 miljarder) från OpenAI i storlek[2].
Modellen utvecklades av Huawei Cloud-teamet i samarbete med laboratoriet Noah's Ark och tränades på ett kluster med 2048 specialiserade processorer Huawei Ascend 910 med hjälp av ramverket MindSpore[3]. Träningskåren bestod av 1,1 TB högkvalitativa textdata på kinesiska. PanGu-α visade höga resultat på benchmark CLUE (Chinese Language Understanding Evaluation) och tog förstaplats i den samlade rankningen[1].
PanGu 3.0 (2023): Plattformsmetoden
I juli 2023 presenterade Huawei plattformen PanGu 3.0, som markerade övergången från en enda modell till en flernivåarkitektur «5+N+X», inriktad på industriell tillämpning[4].
- L0 (Grundläggande lager): Fem fundamentala modeller (NLP, CV, multimodal, prediktiv och vetenskaplig-beräknande).
- L1 (Branschlager): N branschmodeller, finjusterade utifrån grundmodellerna för specifika industrier (offentlig förvaltning, finans, tillverkning m.fl.).
- L2 (Scenariolager): X modeller för specifika tillämpningsuppgifter (virtuell assistent, prognos för tyfoners bana m.fl.).
Detta hierarkiska tillvägagångssätt gör det möjligt för kunder att antingen använda färdiga lösningar eller finjustera branschmodeller på egna data, vilket avsevärt förenklar och billiggör anpassningen.
PanGu 5.5 (2025): Mixture-of-Experts-arkitektur
I juni 2025 tillkännagav Huawei en uppdatering till PanGu 5.5, inriktad på fördjupad lösning av industriella uppgifter. En nyckelegenskap var arkitekturen Mixture of Experts (MoE) med 256 expertnätverk, vilket gjorde det möjligt att öka det sammanlagda antalet parametrar till 718 miljarder[5]. MoE-arkitekturen möjliggör dynamisk aktivering av endast en del av modellen vid lösning av en specifik uppgift, vilket enligt Huawei ger en åttafaldig förbättring av inferenseffektiviteten jämfört med tidigare generationer[6].
Centrala arkitektoniska och tekniska lösningar
PanGu-modellerna är byggda på en transformerarkitektur av GPT-typ, men med ett antal innovationer för träning av mycket stora modeller. För att styra genereringsprocessen introducerades ett speciellt frågelager (Query Layer), som hjälper till att inducera önskad utdata under förträningsfasen[3].
Träning och drift av PanGu-modellerna är nära integrerade med Huaweis egna hårdvaru- och mjukvaruplattform:
- Ascend 910-processorer: Specialiserade AI-acceleratorer som utgör grunden för beräkningskluster.
- Ramverket MindSpore: En plattform för djupinlärning med öppen källkod, som stöder auto-parallell-teknologi, vilken kombinerar fem typer av parallellism (data, modell, pipeline, optimerare m.fl.) för effektiv fördelning av beräkningar mellan tusentals noder[3].
Specialiserade modeller och deras tillämpning
PanGu-Weather
En av de mest kända modellerna i familjen är PanGu-Weather — en global meteorologisk modell baserad på djupinlärning. I juli 2023 publicerades en artikel om den i den ansedda vetenskapliga tidskriften Nature[7].
Modellen visade förmågan att överträffa traditionella numeriska väderprognosmetoder från Europeiska centret för medelfristiga väderprognoser (ECMWF) i noggrannhet, med avsevärt högre hastighet. Generering av en global 24-timmarsprognos tar modellen bara några sekunder istället för flera timmars superdatorberäkningar, vilket innebär en accelerering på ungefär 10 000 gånger[7]. I augusti 2023 integrerades PanGu-Weathers prognoser i ECMWF:s tjänst för användning i praktiska meteorologiska tjänster[8].
Industriell tillämpning
PanGu-modeller har implementerats i mer än 500 scenarier inom 30 ekonomiska sektorer. Några exempel:
- Jordbruk: Kinesiska akademin för jordbruksvetenskap (CAAS) utvecklade med hjälp av PanGu en modell för växtförädling, vilket möjliggjorde framtagning av en experimentell rissort med förbättrat liggningsmotstånd[5].
- Olje- och gasindustrin: CNPC använder PanGu-modellen för automatisk identifiering av rörledningsdefekter med submillimeternoggrannhet, vilket ökar effektiviteten med ~40%[9].
- Offentlig förvaltning: I Shenzhen har en intelligent assistent «Xiaofu» skapats, som ger medborgare information om offentliga tjänster baserat på ett korpus med mer än 200 000 lokala dokument[4].
- Farmakologi: Modellen PanGu Drug Molecule används för att påskynda processen för screening av läkemedelskandidater. Det har uppgivits att en ny klass antibiotika upptäcktes med dess hjälp, vilket var det första genombrottet inom detta område på 40 år[4].
Öppen källkod
I juni 2025 tillkännagav Huawei att en del av PanGu-familjens modeller öppnas upp som open-source. Följande gjordes tillgängliga[10]:
- PanGu Dense Model 7B (7 miljarder parametrar).
- PanGu Pro MoE Model 72B (72 miljarder parametrar).
Detta steg syftar till att stimulera innovation och skapa ett öppet ekosystem kring hårdvaruplattformen Huawei Ascend, vilket utgör ett strategiskt svar på den globala konkurrensen inom AI[10].
Litteratur
- Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
- Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
- Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
- Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
- Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
- MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
- Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
- AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
- CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
- MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
- Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.
Noter
- ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
- ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
- ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
- ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
- ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
- ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
- ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
- ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
- ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
- ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]