PanGu (Huawei) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Huawei PanGu (Tionghoa: 盘古) — adalah keluarga model kecerdasan buatan pra-latih berskala ultra-besar (foundation models) yang dikembangkan oleh Huawei Cloud. Nama «PanGu» merujuk pada Pan Gu, makhluk primordial mitologis dalam kebudayaan Tiongkok yang menciptakan dunia[1]. Keluarga PanGu mencakup berbagai bidang, termasuk pemrosesan bahasa alami (NLP), computer vision (CV), analisis multimodal, pemodelan prediktif, dan komputasi ilmiah.

Sejarah dan Perkembangan

PanGu-α (2021)

Model pertama dalam keluarga ini, PanGu-α (PanGu-Alpha), diperkenalkan pada April 2021. Dengan 200 miliar parameter, model ini menjadi model bahasa terbesar untuk bahasa Mandarin pada saat itu, melampaui GPT-3 (175 miliar) dari OpenAI dalam hal ukuran[2].

Model ini dikembangkan oleh tim Huawei Cloud bekerja sama dengan laboratorium Noah's Ark dan dilatih pada kluster yang terdiri dari 2048 prosesor khusus Huawei Ascend 910 menggunakan framework MindSpore[3]. Korpus pelatihan terdiri dari 1,1 TB data teks berkualitas tinggi dalam bahasa Mandarin. PanGu-α menunjukkan hasil yang tinggi pada benchmark CLUE (Chinese Language Understanding Evaluation), meraih peringkat pertama dalam peringkat umum[1].

PanGu 3.0 (2023): Pendekatan Platform

Pada Juli 2023, Huawei memperkenalkan platform PanGu 3.0, yang menandai peralihan dari model tunggal ke arsitektur berlapis «5+N+X» yang berorientasi pada penerapan industri[4].

  • L0 (Lapisan Dasar): Lima model fundamental (NLP, CV, multimodal, prediktif, dan komputasi ilmiah).
  • L1 (Lapisan Industri): N model industri yang di-fine-tune berdasarkan model dasar untuk industri tertentu (pemerintahan, keuangan, manufaktur, dan lain-lain).
  • L2 (Lapisan Skenario): X model untuk tugas aplikasi tertentu (asisten virtual, prediksi lintasan topan, dan lain-lain).

Pendekatan hierarkis ini memungkinkan pelanggan untuk menggunakan solusi siap pakai atau melakukan fine-tune model industri pada data mereka sendiri, yang secara signifikan menyederhanakan dan mengurangi biaya adaptasi.

PanGu 5.5 (2025): Arsitektur Mixture-of-Experts

Pada Juni 2025, Huawei mengumumkan pembaruan ke PanGu 5.5, yang ditujukan untuk penyelesaian tugas-tugas industri secara lebih mendalam. Fitur utamanya adalah arsitektur campuran para ahli (MoE) dengan 256 sub-jaringan ahli, yang memungkinkan peningkatan total volume parameter hingga 718 miliar[5]. Arsitektur MoE memungkinkan pengaktifan secara dinamis hanya sebagian model saat menyelesaikan tugas tertentu, yang menurut pernyataan Huawei memberikan peningkatan efisiensi inferensi delapan kali lipat dibandingkan generasi sebelumnya[6].

Solusi Arsitektur dan Teknis Utama

Model PanGu dibangun di atas arsitektur transformer bertipe GPT, namun dengan sejumlah inovasi untuk pelatihan model berukuran sangat besar. Untuk mengelola proses generasi, diperkenalkan lapisan kueri (Query Layer) khusus yang membantu menginduksi keluaran yang diinginkan pada tahap pra-pelatihan[3].

Pelatihan dan pengoperasian model PanGu terintegrasi erat dengan platform perangkat keras dan perangkat lunak milik Huawei:

  • Prosesor Ascend 910: Akselerator AI khusus yang menjadi tulang punggung kluster komputasi.
  • Framework MindSpore: Platform deep learning sumber terbuka yang mendukung teknologi auto-paralel, yang mengombinasikan lima jenis paralelisme (data, model, pipeline, optimizer, dan lain-lain) untuk distribusi komputasi yang efisien di antara ribuan node[3].

Model Khusus dan Penerapannya

PanGu-Weather

Salah satu model paling terkenal dalam keluarga ini adalah PanGu-Weather — model meteorologi global berbasis deep learning. Pada Juli 2023, artikel tentang model ini diterbitkan di jurnal ilmiah bergengsi Nature[7].

Model ini menunjukkan kemampuan untuk melampaui keakuratan metode numerik prediksi cuaca tradisional dari Pusat Prakiraan Cuaca Jangka Menengah Eropa (ECMWF) dengan kecepatan yang jauh lebih tinggi. Pembuatan prakiraan global selama 24 jam hanya membutuhkan waktu beberapa detik bagi model ini, alih-alih beberapa jam komputasi superkomputer, yang berarti percepatan sekitar 10.000 kali[7]. Pada Agustus 2023, prakiraan PanGu-Weather diintegrasikan ke dalam layanan ECMWF untuk digunakan dalam layanan meteorologi praktis[8].

Penerapan Industri

Model PanGu telah diterapkan dalam lebih dari 500 skenario di 30 sektor ekonomi. Beberapa contohnya:

  • Pertanian: Akademi Ilmu Pertanian Tiongkok (CAAS) menggunakan PanGu untuk mengembangkan model pemuliaan tanaman, yang memungkinkan pengembangan varietas padi eksperimental dengan ketahanan rebah yang lebih baik[5].
  • Industri minyak dan gas: CNPC menggunakan model PanGu untuk deteksi otomatis cacat pipa dengan presisi sub-milimeter, meningkatkan efisiensi sekitar 40%[9].
  • Pemerintahan: Di Shenzhen, telah dibuat asisten cerdas «Xiaofu» yang memberikan informasi layanan publik kepada warga berdasarkan korpus lebih dari 200.000 dokumen lokal[4].
  • Farmakologi: Model PanGu Drug Molecule digunakan untuk mempercepat proses skrining kandidat obat. Dinyatakan bahwa dengan bantuan model ini, kelas antibiotik baru telah ditemukan, yang menjadi terobosan pertama di bidang ini dalam 40 tahun[4].

Pembukaan Kode Sumber

Pada Juni 2025, Huawei mengumumkan pembukaan kode sumber (open-source) dari sebagian model dalam keluarga PanGu. Model-model berikut tersedia untuk umum[10]:

  • PanGu Dense Model 7B (7 miliar parameter).
  • PanGu Pro MoE Model 72B (72 miliar parameter).

Langkah ini bertujuan untuk mendorong inovasi dan menciptakan ekosistem terbuka di sekitar platform perangkat keras Huawei Ascend, yang merupakan respons strategis terhadap persaingan global di bidang AI[10].

Daftar Pustaka

  • Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
  • Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
  • Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
  • Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
  • Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
  • MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
  • Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
  • AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
  • CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
  • MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
  • Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
  • Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.

Catatan

  1. ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
  2. ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
  3. ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
  4. ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
  5. ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
  6. ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
  7. ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
  8. ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
  9. ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
  10. ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]
Retrieved from "https://systems-analysis.info/int/index.php?title=PanGu_(Huawei)_(ID)&oldid=5446"