PanGu (Huawei) (PL)
Huawei PanGu (chiń. 盘古) — to rodzina ultra-dużych wstępnie wytrenowanych modeli sztucznej inteligencji (foundation models), opracowanych przez Huawei Cloud. Nazwa „PanGu" nawiązuje do Pan Gu, mitologicznej praistoty w chińskiej kulturze, która stworzyła świat[1]. Rodzina PanGu obejmuje różne dziedziny, w tym przetwarzanie języka naturalnego (NLP), widzenie komputerowe (CV), analizę multimodalną, modelowanie predykcyjne oraz obliczenia naukowe.
Historia i rozwój
PanGu-α (2021)
Pierwszy model rodziny, PanGu-α (PanGu-Alpha), został zaprezentowany w kwietniu 2021 roku. Z 200 miliardami parametrów stał się wówczas największym modelem językowym dla języka chińskiego, przewyższając pod względem rozmiaru GPT-3 (175 mld) firmy OpenAI[2].
Model został opracowany przez zespół Huawei Cloud we współpracy z laboratorium Noah's Ark i wytrenowany na klastrze złożonym z 2048 specjalizowanych procesorów Huawei Ascend 910 z wykorzystaniem frameworku MindSpore[3]. Korpus treningowy wyniósł 1,1 TB wysokiej jakości danych tekstowych w języku chińskim. PanGu-α osiągnął wysokie wyniki na benchmarku CLUE (Chinese Language Understanding Evaluation), zajmując pierwsze miejsce w klasyfikacji ogólnej[1].
PanGu 3.0 (2023): Podejście platformowe
W lipcu 2023 roku Huawei zaprezentowała platformę PanGu 3.0, oznaczającą przejście od pojedynczego modelu do wielopoziomowej architektury „5+N+X", ukierunkowanej na zastosowania przemysłowe[4].
- L0 (Warstwa bazowa): Pięć fundamentalnych modeli (NLP, CV, multimodalny, predykcyjny i naukowo-obliczeniowy).
- L1 (Warstwa branżowa): N modeli branżowych, poddanych fine-tuning na podstawie modeli bazowych dla konkretnych sektorów (administracja publiczna, finanse, produkcja i in.).
- L2 (Warstwa scenariuszowa): X modeli przeznaczonych do konkretnych zadań aplikacyjnych (wirtualny asystent, prognozowanie trajektorii tajfunu i in.).
Takie hierarchiczne podejście pozwala klientom zarówno korzystać z gotowych rozwiązań, jak i przeprowadzać fine-tuning modeli branżowych na własnych danych, co znacznie upraszcza i obniża koszty adaptacji.
PanGu 5.5 (2025): Architektura Mixture-of-Experts
W czerwcu 2025 roku Huawei ogłosiła aktualizację do PanGu 5.5, ukierunkowaną na pogłębione rozwiązywanie zadań przemysłowych. Kluczową cechą stała się architektura mieszaniny ekspertów (MoE) z 256 eksperckimi podsieciami, co pozwoliło zwiększyć łączną liczbę parametrów do 718 miliardów[5]. Architektura MoE umożliwia dynamiczną aktywację jedynie części modelu podczas rozwiązywania konkretnego zadania, co — według zapewnień Huawei — zapewnia ośmiokrotne zwiększenie efektywności inferencji w porównaniu z poprzednimi generacjami[6].
Kluczowe rozwiązania architektoniczne i techniczne
Modele PanGu zbudowane są na bazie architektury transformerowej typu GPT, lecz z szeregiem innowacji na potrzeby trenowania bardzo dużych modeli. W celu sterowania procesem generacji wprowadzono specjalną warstwę zapytań (Query Layer), która pomaga indukować pożądane wyjście na etapie wstępnego trenowania[3].
Trenowanie i eksploatacja modeli PanGu są ściśle zintegrowane z własną platformą sprzętową i programową Huawei:
- Procesory Ascend 910: Specjalizowane akceleratory AI stanowiące podstawę klastrów obliczeniowych.
- Framework MindSpore: Platforma do głębokiego uczenia z otwartym kodem źródłowym, wspierająca technologię auto-równoległości, która łączy pięć rodzajów równoległości (danych, modelu, potoku, optymalizatora i in.) w celu efektywnego rozdziału obliczeń pomiędzy tysiącami węzłów[3].
Wyspecjalizowane modele i ich zastosowania
PanGu-Weather
Jednym z najbardziej znanych modeli rodziny stał się PanGu-Weather — globalny meteorologiczny model oparty na głębokim uczeniu. W lipcu 2023 roku artykuł na jego temat został opublikowany w prestiżowym czasopiśmie naukowym Nature[7].
Model wykazał zdolność do przewyższania pod względem dokładności tradycyjnych numerycznych metod prognozowania pogody stosowanych przez Europejskie Centrum Prognoz Średnioterminowych (ECMWF) przy znacznie większej szybkości działania. Generacja globalnej prognozy na 24 godziny zajmuje modelowi zaledwie kilka sekund zamiast kilku godzin obliczeń superkomputerowych, co oznacza przyspieszenie wynoszące około 10 000 razy[7]. W sierpniu 2023 roku prognozy PanGu-Weather zostały zintegrowane z serwisem ECMWF do wykorzystania w praktycznych usługach meteorologicznych[8].
Zastosowania przemysłowe
Modele PanGu zostały wdrożone w ponad 500 scenariuszach w 30 sektorach gospodarki. Wybrane przykłady:
- Rolnictwo: Chińska Akademia Nauk Rolniczych (CAAS) przy pomocy PanGu opracowała model do hodowli selekcyjnej, co pozwoliło wyhodować eksperymentalną odmianę ryżu o ulepszonej odporności na wyleganie[5].
- Przemysł naftowo-gazowy: CNPC wykorzystuje model PanGu do automatycznego wykrywania defektów rurociągów z dokładnością submilimetrową, zwiększając efektywność o ~40%[9].
- Administracja publiczna: W Shenzhen powstał inteligentny asystent „Xiaofu", który dostarcza obywatelom informacji o usługach publicznych, opierając się na korpusie ponad 200 000 lokalnych dokumentów[4].
- Farmakologia: Model PanGu Drug Molecule jest wykorzystywany do przyspieszenia procesu screeningu kandydatów na leki. Ogłoszono, że przy jego pomocy odkryto nową klasę antybiotyków, co stanowi pierwszy przełom w tej dziedzinie od 40 lat[4].
Otwarcie kodu źródłowego
W czerwcu 2025 roku Huawei ogłosiła otwarcie kodu źródłowego (open-source) części modeli rodziny PanGu. W publicznym dostępie udostępniono[10]:
- PanGu Dense Model 7B (7 mld parametrów).
- PanGu Pro MoE Model 72B (72 mld parametrów).
Ten krok ma na celu stymulowanie innowacji i budowanie otwartego ekosystemu wokół platformy sprzętowej Huawei Ascend, co stanowi strategiczną odpowiedź na globalną konkurencję w dziedzinie AI[10].
Literatura
- Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
- Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
- Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
- Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
- Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
- MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
- Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
- AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
- CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
- MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
- Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.
Przypisy
- ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
- ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
- ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
- ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
- ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
- ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
- ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
- ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
- ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
- ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]