PanGu (Huawei) (CS)
Huawei PanGu (čín. 盘古) — je rodina ultra-velkých předtrénovaných modelů umělé inteligence (foundation models), vyvinutých společností Huawei Cloud. Název „PanGu" odkazuje na Pchu-kua, mytologickou prvobytnou bytost v čínské kultuře, která stvořila svět[1]. Rodina PanGu pokrývá různé oblasti, včetně zpracování přirozeného jazyka (NLP), počítačového vidění (CV), multimodální analýzy, prediktivního modelování a vědeckých výpočtů.
Historie a vývoj
PanGu-α (2021)
První model rodiny, PanGu-α (PanGu-Alpha), byl představen v dubnu 2021. S 200 miliardami parametrů se stal v té době největším jazykovým modelem pro čínský jazyk, čímž překonal co do velikosti GPT-3 (175 mld.) od OpenAI[2].
Model byl vyvinut týmem Huawei Cloud ve spolupráci s laboratoří Noah's Ark a natrénován na clusteru z 2048 specializovaných procesorů Huawei Ascend 910 s využitím frameworku MindSpore[3]. Trénovací korpus tvořil 1,1 TB vysoce kvalitních textových dat v čínském jazyce. PanGu-α dosáhla vysokých výsledků na benchmarku CLUE (Chinese Language Understanding Evaluation) a obsadila první místo v celkovém hodnocení[1].
PanGu 3.0 (2023): Platformní přístup
V červenci 2023 představil Huawei platformu PanGu 3.0, jež označuje přechod od jednotného modelu k víceúrovňové architektuře „5+N+X", orientované na průmyslové využití[4].
- L0 (Základní vrstva): Pět základních modelů (NLP, CV, multimodální, prediktivní a vědecko-výpočetní).
- L1 (Odvětvová vrstva): N odvětvových modelů dotrénovaných na základě základních modelů pro konkrétní průmyslová odvětví (veřejná správa, finance, výroba a další).
- L2 (Scénářová vrstva): X modelů pro konkrétní aplikační úlohy (virtuální asistent, předpověď trajektorie tajfunu a další).
Takový hierarchický přístup umožňuje zákazníkům buď využívat hotová řešení, nebo dotrénovat odvětvové modely na vlastních datech, což výrazně zjednodušuje a zlevňuje adaptaci.
PanGu 5.5 (2025): Architektura Mixture-of-Experts
V červnu 2025 společnost Huawei oznámila aktualizaci na PanGu 5.5, zaměřenou na prohloubené řešení průmyslových úloh. Klíčovou vlastností se stala architektura směsi expertů (MoE) s 256 expertnícmi podsítěmi, což umožnilo zvýšit celkový objem parametrů na 718 miliard[5]. Architektura MoE umožňuje dynamicky aktivovat pouze část modelu při řešení konkrétní úlohy, což podle prohlášení Huawei zajišťuje osminásobné zvýšení efektivity inference ve srovnání s předchozími generacemi[6].
Klíčová architektonická a technická řešení
Modely PanGu jsou postaveny na bázi transformerové architektury typu GPT, avšak s řadou inovací pro trénování ultra-velkých modelů. Pro řízení procesu generování byla zavedena speciální vrstva dotazů (Query Layer), která pomáhá indukovat požadovaný výstup ve fázi předtrénování[3].
Trénování a provoz modelů PanGu jsou úzce integrovány s vlastní hardwarovou a softwarovou platformou Huawei:
- Procesory Ascend 910: Specializované AI akcelerátory tvořící základ výpočetních clusterů.
- Framework MindSpore: Platforma pro hluboké učení s otevřeným zdrojovým kódem, podporující auto-paralelní technologii, která kombinuje pět druhů paralelismu (dat, modelu, pipeline, optimalizátoru a dalších) pro efektivní distribuci výpočtů mezi tisíce uzlů[3].
Specializované modely a jejich využití
PanGu-Weather
Jedním z nejznámějších modelů rodiny se stal PanGu-Weather — globální meteorologický model na bázi hlubokého učení. V červenci 2023 byl článek o něm publikován v prestižním vědeckém časopisu Nature[7].
Model prokázal schopnost překonávat přesností tradiční numerické metody předpovědi počasí od Evropského centra pro střednědobé předpovědi počasí (ECMWF) při výrazně vyšší rychlosti. Generování globální předpovědi na 24 hodin trvá modelu pouhé sekundy namísto několika hodin superpočítačových výpočtů, což představuje zrychlení přibližně 10 000krát[7]. V srpnu 2023 byly předpovědi PanGu-Weather integrovány do služby ECMWF pro využití v praktických meteorologických službách[8].
Průmyslové využití
Modely PanGu jsou nasazeny ve více než 500 scénářích ve 30 odvětvích hospodářství. Některé příklady:
- Zemědělství: Čínská akademie zemědělských věd (CAAS) s pomocí PanGu vyvinula model pro šlechtění, což umožnilo vypěstovat experimentální odrůdu rýže se zlepšenou odolností proti poléhání[5].
- Ropný a plynárenský průmysl: CNPC využívá model PanGu pro automatické odhalování defektů potrubí s submilimetrovou přesností, čímž zvyšuje efektivitu o ~40 %[9].
- Veřejná správa: V Šen-čenu byl vytvořen inteligentní asistent „Xiaofu", který poskytuje občanům informace o státních službách na základě korpusu více než 200 000 místních dokumentů[4].
- Farmakologie: Model PanGu Drug Molecule je využíván k urychlení procesu screeningu kandidátních léčiv. Je deklarováno, že s jeho pomocí byla objevena nová třída antibiotik, což představuje první průlom v této oblasti za 40 let[4].
Otevření zdrojového kódu
V červnu 2025 společnost Huawei oznámila otevření zdrojového kódu (open-source) části modelů rodiny PanGu. Do veřejného přístupu byly uvolněny[10]:
- PanGu Dense Model 7B (7 mld. parametrů).
- PanGu Pro MoE Model 72B (72 mld. parametrů).
Tento krok je zaměřen na stimulaci inovací a vytvoření otevřeného ekosystému kolem hardwarové platformy Huawei Ascend, což představuje strategickou odpověď na globální konkurenci v oblasti umělé inteligence[10].
Literatura
- Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
- Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
- Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
- Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
- Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
- MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
- Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
- AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
- CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
- MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
- Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.
Poznámky
- ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
- ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
- ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
- ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
- ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
- ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
- ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
- ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
- ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
- ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]