PanGu (Huawei) (VI)
Huawei PanGu (tiếng Trung: 盘古) — là một họ các mô hình AI nền tảng (foundation models) được tiền huấn luyện quy mô cực lớn, do Huawei Cloud phát triển. Tên gọi «PanGu» được lấy từ Bàn Cổ — nhân vật thần thoại trong văn hóa Trung Hoa, người được cho là đã tạo ra thế giới[1]. Họ mô hình PanGu bao gồm nhiều lĩnh vực khác nhau, trong đó có xử lý ngôn ngữ tự nhiên (NLP), thị giác máy tính (CV), phân tích đa phương thức, mô hình dự báo và tính toán khoa học.
Lịch sử và quá trình phát triển
PanGu-α (2021)
Mô hình đầu tiên trong họ, PanGu-α (PanGu-Alpha), được giới thiệu vào tháng 4 năm 2021. Với 200 tỷ tham số, tại thời điểm đó đây là mô hình ngôn ngữ lớn nhất dành cho tiếng Trung, vượt qua GPT-3 (175 tỷ tham số) của OpenAI về quy mô[2].
Mô hình được phát triển bởi nhóm Huawei Cloud phối hợp với phòng thí nghiệm Noah's Ark và được huấn luyện trên cụm máy tính gồm 2048 bộ xử lý chuyên dụng Huawei Ascend 910 sử dụng framework MindSpore[3]. Kho dữ liệu huấn luyện gồm 1,1 TB dữ liệu văn bản tiếng Trung chất lượng cao. PanGu-α đã đạt kết quả xuất sắc trên benchmark CLUE (Chinese Language Understanding Evaluation), đứng đầu bảng xếp hạng tổng hợp[1].
PanGu 3.0 (2023): Phương pháp tiếp cận nền tảng
Vào tháng 7 năm 2023, Huawei giới thiệu nền tảng PanGu 3.0, đánh dấu sự chuyển đổi từ một mô hình đơn nhất sang kiến trúc đa tầng «5+N+X» hướng tới ứng dụng công nghiệp[4].
- L0 (Tầng nền tảng): Năm mô hình nền tảng (NLP, CV, đa phương thức, dự báo và tính toán khoa học).
- L1 (Tầng ngành): N mô hình theo ngành, được fine-tuning từ các mô hình nền tảng cho các lĩnh vực cụ thể (quản lý nhà nước, tài chính, sản xuất công nghiệp, v.v.).
- L2 (Tầng tình huống): X mô hình cho các bài toán ứng dụng cụ thể (trợ lý ảo, dự báo quỹ đạo bão, v.v.).
Cách tiếp cận phân cấp này cho phép khách hàng hoặc sử dụng các giải pháp có sẵn, hoặc fine-tuning các mô hình ngành trên dữ liệu của riêng mình, giúp đơn giản hóa đáng kể và giảm chi phí thích ứng.
PanGu 5.5 (2025): Kiến trúc Mixture-of-Experts
Vào tháng 6 năm 2025, Huawei công bố bản cập nhật lên PanGu 5.5, hướng tới việc giải quyết sâu hơn các bài toán công nghiệp. Điểm nổi bật chính là kiến trúc hỗn hợp chuyên gia (MoE) với 256 mạng con chuyên gia, cho phép tăng tổng số tham số lên tới 718 tỷ[5]. Kiến trúc MoE cho phép kích hoạt động chỉ một phần mô hình khi xử lý một bài toán cụ thể, theo công bố của Huawei giúp cải thiện hiệu quả suy luận (inference) lên gấp tám lần so với các thế hệ trước[6].
Các giải pháp kiến trúc và kỹ thuật chính
Các mô hình PanGu được xây dựng trên nền kiến trúc transformer kiểu GPT, nhưng có một số cải tiến dành cho việc huấn luyện các mô hình cực lớn. Để điều khiển quá trình sinh văn bản, một lớp truy vấn (Query Layer) đặc biệt đã được đưa vào nhằm hướng dẫn đầu ra mong muốn trong giai đoạn tiền huấn luyện[3].
Việc huấn luyện và vận hành các mô hình PanGu được tích hợp chặt chẽ với nền tảng phần cứng và phần mềm độc quyền của Huawei:
- Bộ xử lý Ascend 910: Các bộ tăng tốc AI chuyên dụng tạo thành nền tảng của các cụm tính toán.
- Framework MindSpore: Nền tảng học sâu mã nguồn mở hỗ trợ công nghệ song song tự động, kết hợp năm loại song song hóa (theo dữ liệu, theo mô hình, theo pipeline, theo bộ tối ưu hóa và các loại khác) để phân phối tính toán hiệu quả giữa hàng nghìn nút[3].
Các mô hình chuyên biệt và ứng dụng của chúng
PanGu-Weather
Một trong những mô hình nổi tiếng nhất trong họ là PanGu-Weather — mô hình khí tượng toàn cầu dựa trên học sâu. Vào tháng 7 năm 2023, bài báo về mô hình này được công bố trên tạp chí khoa học uy tín Nature[7].
Mô hình đã chứng minh khả năng vượt qua về độ chính xác các phương pháp số trị dự báo thời tiết truyền thống của Trung tâm Dự báo Thời tiết Trung hạn Châu Âu (ECMWF) với tốc độ nhanh hơn đáng kể. Việc tạo ra dự báo toàn cầu trong 24 giờ chỉ mất vài giây thay vì nhiều giờ tính toán siêu máy tính, tương đương tốc độ nhanh hơn khoảng 10.000 lần[7]. Vào tháng 8 năm 2023, các dự báo của PanGu-Weather đã được tích hợp vào dịch vụ của ECMWF để sử dụng trong các dịch vụ khí tượng thực tế[8].
Ứng dụng công nghiệp
Các mô hình PanGu đã được triển khai trong hơn 500 tình huống thuộc 30 ngành kinh tế. Một số ví dụ:
- Nông nghiệp: Viện Hàn lâm Khoa học Nông nghiệp Trung Quốc (CAAS) đã sử dụng PanGu để phát triển mô hình chọn giống, cho phép tạo ra giống lúa thí nghiệm có khả năng chống đổ ngã được cải thiện[5].
- Công nghiệp dầu khí: CNPC sử dụng mô hình PanGu để tự động phát hiện các khuyết tật đường ống với độ chính xác dưới milimet, nâng cao hiệu quả khoảng 40%[9].
- Quản lý nhà nước: Tại Thâm Quyến, trợ lý thông minh «Xiaofu» đã được tạo ra để cung cấp cho người dân thông tin về các dịch vụ công, dựa trên kho dữ liệu gồm hơn 200.000 tài liệu địa phương[4].
- Dược học: Mô hình PanGu Drug Molecule được sử dụng để đẩy nhanh quá trình sàng lọc các ứng viên thuốc. Theo công bố, mô hình này đã giúp phát hiện một lớp kháng sinh mới, đây là bước đột phá đầu tiên trong lĩnh vực này sau 40 năm[4].
Mã nguồn mở
Vào tháng 6 năm 2025, Huawei thông báo mở mã nguồn (open-source) một phần các mô hình trong họ PanGu. Các mô hình được công bố công khai bao gồm[10]:
- PanGu Dense Model 7B (7 tỷ tham số).
- PanGu Pro MoE Model 72B (72 tỷ tham số).
Bước đi này nhằm thúc đẩy đổi mới và xây dựng hệ sinh thái mở xung quanh nền tảng phần cứng Huawei Ascend, là câu trả lời chiến lược trước sự cạnh tranh toàn cầu trong lĩnh vực AI[10].
Tài liệu tham khảo
- Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
- Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
- Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
- Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
- Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
- MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
- Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
- AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
- CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
- MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
- Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.
Chú thích
- ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
- ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
- ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
- ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
- ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
- ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
- ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
- ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
- ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
- ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]