PanGu (Huawei) (TL)

Huawei PanGu (Tsino: 盘古) — isang pamilya ng ultra-malaking pre-trained na mga modelo ng artipisyal na katalinuhan (foundation models), na binuo ng kumpanyang Huawei Cloud. Ang pangalang «PanGu» ay tumutukoy kay Pan-gu, ang mitolohikal na unang nilalang sa kulturang Tsino, na lumikha ng mundo. Sinasaklaw ng pamilyang PanGu ang iba't ibang larangan, kabilang ang natural language processing (NLP), computer vision (CV), multimodal na pagsusuri, predictive modeling, at siyentipikong pagkompyut.

Kasaysayan at Pag-unlad

PanGu-α (2021)

Ang unang modelo ng pamilya, PanGu-α (PanGu-Alpha), ay ipinakita noong Abril 2021. Sa 200 bilyong parameter, naging pinakamalaking language model para sa wikang Tsino noon, na nalampasan ang sukat ng GPT-3 (175 bilyon) mula sa OpenAI.

Ang modelo ay binuo ng koponan ng Huawei Cloud sa pakikipagtulungan ng laboratoryo ng Noah's Ark at sinanay sa kumpol ng 2048 na espesyal na processor na Huawei Ascend 910 gamit ang framework na MindSpore. Ang corpus ng pagsasanay ay binubuo ng 1.1 TB na mataas na kalidad na data ng teksto sa wikang Tsino. Nagpakita ang PanGu-α ng mataas na resulta sa benchmark na CLUE (Chinese Language Understanding Evaluation), at nakuha ang unang lugar sa pangkalahatang ranggo.

PanGu 3.0 (2023): Plataporma na Diskarte

Noong Hulyo 2023, ipinakita ng Huawei ang plataporma ng PanGu 3.0, na nagmamarka ng paglipat mula sa isang modelo patungo sa multi-layer na arkitektura ng «5+N+X», na nakatuon sa pang-industriyang paggamit.

• L0 (Pangunahing Layer): Limang pundamental na modelo (NLP, CV, multimodal, predictive, at siyentipiko-nagkokompyut).
• L1 (Pangsektor na Layer): N na sektoral na modelo, na na-fine-tune batay sa mga pangunahing modelo para sa mga tiyak na industriya (pamamahala ng pamahalaan, pananalapi, pagmamanupaktura, at iba pa).
• L2 (Sitwasyonal na Layer): X na modelo para sa mga tiyak na praktikal na gawain (virtual assistant, pagtataya ng landas ng bagyo, at iba pa).

Ang ganitong hierarchical na diskarte ay nagpapahintulot sa mga kliyente na gamitin ang mga handa nang solusyon o mag-fine-tune ng mga sektoral na modelo gamit ang sarili nilang datos, na lubos na nagpapasimple at nagpapababa ng gastos ng adaptasyon.

PanGu 5.5 (2025): Arkitektura ng Mixture-of-Experts

Noong Hunyo 2025, inanunsyo ng Huawei ang pag-update sa PanGu 5.5, na naglalayong lutasin nang mas malalim ang mga industriyal na gawain. Ang pangunahing katangian ay naging arkitektura ng mixture of experts (MoE) na may 256 na expert subnetwork, na nagpahintulot sa pagtaas ng kabuuang bilang ng mga parameter hanggang 718 bilyon. Pinapahintulutan ng arkitektura ng MoE na dinamikong i-activate lamang ang bahagi ng modelo kapag nilulutas ang isang tiyak na gawain, na, ayon sa mga pahayag ng Huawei, ay nagbibigay ng walong beses na pagtaas ng kahusayan ng inference kumpara sa mga nakaraang henerasyon.

Mga Pangunahing Arkitektural at Teknikal na Solusyon

Ang mga modelo ng PanGu ay itinayo batay sa transformer na arkitektura ng uri ng GPT, ngunit may ilang inobasyon para sa pagsasanay ng napakalaking mga modelo. Para sa pamamahala ng proseso ng pagbuo, isang espesyal na query layer ang ipinakilala, na tumutulong na ma-induce ang nais na output sa yugto ng pre-training.

Ang pagsasanay at pagpapatakbo ng mga modelo ng PanGu ay malapit na isinama sa sariling hardware at software na plataporma ng Huawei:

• Mga Processor na Ascend 910: Mga espesyal na AI accelerator na bumubuo ng pundasyon ng mga kumpol ng pagkompyut.
• Framework na MindSpore: Open-source na plataporma para sa deep learning na sumusuporta sa auto-parallel na teknolohiya, na pinagsasama ang limang uri ng parallelism (ng datos, modelo, pipeline, optimizer, at iba pa) para sa epektibong pamamahagi ng pagkompyut sa pagitan ng libu-libong node.

Mga Espesyalisadong Modelo at ang Kanilang Paggamit

PanGu-Weather

Isa sa pinaka-kilalang modelo ng pamilya ay naging PanGu-Weather — isang pandaigdigang modelo ng meteorolohiya batay sa deep learning. Noong Hulyo 2023, ang artikulo tungkol dito ay nailathala sa prestihiyosong siyentipikong journal na Nature.

Ipinakita ng modelo ang kakayahang lampasan sa katumpakan ang mga tradisyonal na numerical na paraan ng pagtataya ng panahon mula sa European Centre for Medium-Range Weather Forecasts (ECMWF) sa mas mataas na bilis. Ang pagbuo ng pandaigdigang pagtataya para sa 24 na oras ay tumatagal ng modelo ng ilang segundo sa halip na ilang oras ng supercomputer na mga kalkulasyon, na nangangahulugang pagbilis ng humigit-kumulang 10,000 beses. Noong Agosto 2023, ang mga pagtataya ng PanGu-Weather ay isinama sa serbisyo ng ECMWF para gamitin sa mga praktikal na serbisyo ng meteorolohiya.

Pang-industriyang Paggamit

Ang mga modelo ng PanGu ay ipinatupad sa mahigit 500 sitwasyon sa 30 sektor ng ekonomiya. Ilang halimbawa:

• Agrikultura: Ang Chinese Academy of Agricultural Sciences (CAAS) gamit ang PanGu ay bumuo ng modelo para sa pagpapalahi, na nagpahintulot sa paglikha ng eksperimental na uri ng bigas na may pinahusay na tibay laban sa paghihilig.
• Industriya ng Langis at Gas: Gumagamit ang CNPC ng modelo ng PanGu para sa awtomatikong pagtuklas ng mga depekto ng pipeline na may sub-milimetro na katumpakan, na nagpapataas ng kahusayan ng ~40%.
• Pamamahala ng Pamahalaan: Sa Shenzhen, isang matalinong assistant na «Xiaofu» ang nilikha, na nagbibigay sa mga mamamayan ng impormasyon tungkol sa mga serbisyo ng pamahalaan, batay sa corpus ng mahigit 200,000 lokal na dokumento.
• Parmakolohiya: Ang modelo na PanGu Drug Molecule ay ginagamit para mapabilis ang proseso ng pag-screen ng mga kandidatong gamot. Inihayag na sa tulong nito ay natuklasan ang isang bagong klase ng mga antibiotiko, na naging unang breakthrough sa larangang ito sa loob ng 40 taon.

Pagbubukas ng Source Code

Noong Hunyo 2025, inanunsyo ng Huawei ang pagbubukas ng source code (open-source) ng bahagi ng mga modelo ng pamilyang PanGu. Ang mga sumusunod ay inilabas sa bukas na access:

• PanGu Dense Model 7B (7 bilyong parameter).
• PanGu Pro MoE Model 72B (72 bilyong parameter).

Ang hakbang na ito ay naglalayong pasiglahin ang mga inobasyon at lumikha ng bukas na ekosistema sa paligid ng hardware na plataporma ng Huawei Ascend, na siyang estratehikong tugon sa pandaigdigang kompetisyon sa larangan ng AI.

Talasanggunian

• Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
• Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
• Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
• Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
• Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
• MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
• Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
• AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
• CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
• MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
• Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
• Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.