PanGu (Huawei) (RO)

From Systems analysis Wiki
Jump to navigation Jump to search

Huawei PanGu (chin. 盘古) — este o familie de modele de inteligență artificială pre-antrenate de dimensiuni ultra-mari (foundation models), dezvoltate de Huawei Cloud. Numele „PanGu" face trimitere la Pan-Gu, ființa mitologică primordială din cultura chineză, care a creat lumea[1]. Familia PanGu acoperă diverse domenii, inclusiv procesarea limbajului natural (NLP), viziunea computerizată (CV), analiza multimodală, modelarea predictivă și calculul științific.

Istoric și dezvoltare

PanGu-α (2021)

Primul model al familiei, PanGu-α (PanGu-Alpha), a fost prezentat în aprilie 2021. Cu 200 de miliarde de parametri, a devenit la acel moment cel mai mare model lingvistic pentru limba chineză, depășind ca dimensiune GPT-3 (175 mld.) de la OpenAI[2].

Modelul a fost dezvoltat de echipa Huawei Cloud în colaborare cu laboratorul Noah's Ark și antrenat pe un cluster de 2048 de procesoare specializate Huawei Ascend 910, utilizând framework-ul MindSpore[3]. Corpusul de antrenament a constat din 1,1 TB de date textuale de înaltă calitate în limba chineză. PanGu-α a demonstrat rezultate înalte pe benchmark-ul CLUE (Chinese Language Understanding Evaluation), ocupând primul loc în clasamentul general[1].

PanGu 3.0 (2023): Abordarea de tip platformă

În iulie 2023, Huawei a prezentat platforma PanGu 3.0, marcând tranziția de la un model unic la o arhitectură pe mai multe niveluri „5+N+X", orientată spre aplicații industriale[4].

  • L0 (Stratul de bază): Cinci modele fundamentale (NLP, CV, multimodal, predictiv și de calcul științific).
  • L1 (Stratul sectorial): N modele sectoriale, fine-tuned pe baza celor fundamentale pentru industrii specifice (administrație publică, finanțe, producție etc.).
  • L2 (Stratul scenaristic): X modele pentru sarcini aplicative specifice (asistent virtual, prognoza traiectoriei taifunului etc.).

Această abordare ierarhică le permite clienților fie să utilizeze soluții gata pregătite, fie să aplice fine-tuning modelelor sectoriale pe propriile date, ceea ce simplifică și reduce semnificativ costurile de adaptare.

PanGu 5.5 (2025): Arhitectura Mixture-of-Experts

În iunie 2025, Huawei a anunțat actualizarea la PanGu 5.5, orientată spre soluționarea aprofundată a sarcinilor industriale. Caracteristica principală a devenit arhitectura Mixture-of-Experts (MoE) cu 256 de subrețele expert, ceea ce a permis creșterea volumului total al parametrilor la 718 miliarde[5]. Arhitectura MoE permite activarea dinamică a doar unei părți din model la rezolvarea unei sarcini concrete, ceea ce, conform declarațiilor Huawei, asigură o creștere de opt ori a eficienței inferenței față de generațiile anterioare[6].

Soluții arhitecturale și tehnice cheie

Modelele PanGu sunt construite pe baza arhitecturii transformer de tip GPT, însă cu o serie de inovații pentru antrenarea modelelor de dimensiuni extrem de mari. Pentru gestionarea procesului de generare a fost introdus un strat de interogări (Query Layer) special, care ajută la inducerea ieșirii dorite în etapa de pre-antrenare[3].

Antrenarea și exploatarea modelelor PanGu sunt strâns integrate cu platforma hardware și software proprie a Huawei:

  • Procesoarele Ascend 910: Acceleratoare IA specializate, care formează baza clusterelor de calcul.
  • Framework-ul MindSpore: Platformă de deep learning cu cod sursă deschis, care suportă tehnologia de paralelism automat, ce combină cinci tipuri de paralelism (date, model, pipeline, optimizator ș.a.) pentru distribuirea eficientă a calculelor între mii de noduri[3].

Modele specializate și aplicațiile lor

PanGu-Weather

Unul dintre cele mai cunoscute modele ale familiei este PanGu-Weather — un model meteorologic global bazat pe deep learning. În iulie 2023, un articol despre acesta a fost publicat în prestigioasa revistă științifică Nature[7].

Modelul a demonstrat capacitatea de a depăși ca precizie metodele numerice tradiționale de prognoză meteorologică ale Centrului European pentru Prognoze Meteorologice pe Termen Mediu (ECMWF), la o viteză semnificativ mai mare. Generarea unei prognoze globale pe 24 de ore durează pentru model doar câteva secunde, față de câteva ore de calcule pe supercalculator, ceea ce înseamnă o accelerare de aproximativ 10 000 de ori[7]. În august 2023, prognozele PanGu-Weather au fost integrate în serviciul ECMWF pentru utilizare în servicii meteorologice practice[8].

Aplicații industriale

Modelele PanGu au fost implementate în peste 500 de scenarii din 30 de ramuri economice. Câteva exemple:

  • Agricultură: Academia Chineză de Științe Agrare (CAAS) a dezvoltat cu ajutorul PanGu un model pentru ameliorare, ceea ce a permis obținerea unui soi experimental de orez cu rezistență îmbunătățită la cădere[5].
  • Industria petrolieră și gazeieră: CNPC utilizează modelul PanGu pentru detectarea automată a defectelor conductelor cu precizie sub-milimetrică, crescând eficiența cu ~40%[9].
  • Administrație publică: În Shenzhen a fost creat asistentul inteligent „Xiaofu", care oferă cetățenilor informații despre serviciile guvernamentale, bazându-se pe un corpus de peste 200 000 de documente locale[4].
  • Farmacologie: Modelul PanGu Drug Molecule este utilizat pentru accelerarea procesului de screening al candidaților la medicamente. Se afirmă că prin intermediul său a fost descoperită o nouă clasă de antibiotice, constituind prima descoperire majoră în acest domeniu din ultimii 40 de ani[4].

Deschiderea codului sursă

În iunie 2025, Huawei a anunțat deschiderea codului sursă (open-source) pentru o parte din modelele familiei PanGu. Au fost puse la dispoziție public[10]:

  • PanGu Dense Model 7B (7 miliarde de parametri).
  • PanGu Pro MoE Model 72B (72 de miliarde de parametri).

Acest pas este orientat spre stimularea inovației și crearea unui ecosistem deschis în jurul platformei hardware Huawei Ascend, reprezentând un răspuns strategic la competiția globală în domeniul IA[10].

Bibliografie

  • Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
  • Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
  • Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
  • Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
  • Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
  • MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
  • Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
  • AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
  • CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
  • MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
  • Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
  • Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.

Note

  1. ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
  2. ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
  3. ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
  4. ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
  5. ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
  6. ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
  7. ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
  8. ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
  9. ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
  10. ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]
Retrieved from "https://systems-analysis.info/int/index.php?title=PanGu_(Huawei)_(RO)&oldid=5451"