PanGu (Huawei) (TH)
Huawei PanGu (จีน: 盘古) — คือกลุ่มโมเดล AI ขนาดใหญ่มากที่ผ่านการพรีเทรนมาแล้ว (foundation models) พัฒนาโดย Huawei Cloud ชื่อ «PanGu» อ้างอิงถึงพันกู เทพปกรณัมผู้สร้างโลกในวัฒนธรรมจีน[1] กลุ่มโมเดล PanGu ครอบคลุมหลายสาขา ได้แก่ การประมวลผลภาษาธรรมชาติ (NLP), คอมพิวเตอร์วิทัศน์ (CV), การวิเคราะห์แบบมัลติโมดัล, การสร้างแบบจำลองเชิงพยากรณ์ และการคำนวณทางวิทยาศาสตร์
ประวัติและพัฒนาการ
PanGu-α (2021)
โมเดลแรกของกลุ่ม PanGu-α (PanGu-Alpha) ได้รับการเปิดตัวในเดือนเมษายน ค.ศ. 2021 ด้วยพารามิเตอร์ 200,000 ล้าน ตัว จึงกลายเป็นโมเดลภาษาสำหรับภาษาจีนที่ใหญ่ที่สุดในขณะนั้น ใหญ่กว่า GPT-3 (175 พันล้าน) ของ OpenAI[2]
โมเดลนี้พัฒนาโดยทีม Huawei Cloud ร่วมกับห้องปฏิบัติการ Noah's Ark และฝึกบนคลัสเตอร์ที่ประกอบด้วยโปรเซสเซอร์เฉพาะทาง Huawei Ascend 910 จำนวน 2048 ตัว โดยใช้ framework MindSpore[3] คลังข้อมูลสำหรับฝึกมีขนาด 1.1 เทราไบต์ของข้อมูลข้อความภาษาจีนคุณภาพสูง PanGu-α แสดงผลลัพธ์ที่ดีเยี่ยมบน benchmark CLUE (Chinese Language Understanding Evaluation) โดยได้อันดับหนึ่งในการจัดอันดับรวม[1]
PanGu 3.0 (2023): แนวทางเชิงแพลตฟอร์ม
ในเดือนกรกฎาคม ค.ศ. 2023 Huawei ได้เปิดตัวแพลตฟอร์ม PanGu 3.0 ซึ่งเป็นสัญลักษณ์ของการเปลี่ยนผ่านจากโมเดลเดียวไปสู่สถาปัตยกรรมหลายชั้น «5+N+X» ที่มุ่งเน้นการใช้งานในอุตสาหกรรม[4]
- L0 (ชั้นพื้นฐาน): โมเดลพื้นฐานห้าประเภท (NLP, CV, มัลติโมดัล, เชิงพยากรณ์ และการคำนวณทางวิทยาศาสตร์)
- L1 (ชั้นรายอุตสาหกรรม): โมเดลอุตสาหกรรม N ตัว ที่ผ่านการ fine-tuning จากโมเดลพื้นฐานสำหรับอุตสาหกรรมเฉพาะ (การบริหารภาครัฐ, การเงิน, การผลิต ฯลฯ)
- L2 (ชั้นเฉพาะสถานการณ์): โมเดล X ตัวสำหรับงานประยุกต์เฉพาะเจาะจง (ผู้ช่วยเสมือน, การพยากรณ์เส้นทางพายุไต้ฝุ่น ฯลฯ)
แนวทางเชิงลำดับชั้นนี้ช่วยให้ลูกค้าสามารถเลือกใช้โซลูชันสำเร็จรูป หรือ fine-tune โมเดลรายอุตสาหกรรมด้วยข้อมูลของตนเอง ซึ่งช่วยลดความซับซ้อนและต้นทุนในการปรับแต่งได้อย่างมีนัยสำคัญ
PanGu 5.5 (2025): สถาปัตยกรรม Mixture-of-Experts
ในเดือนมิถุนายน ค.ศ. 2025 Huawei ประกาศการอัปเดตสู่ PanGu 5.5 โดยมุ่งเน้นการแก้ปัญหาเชิงอุตสาหกรรมในเชิงลึก คุณสมบัติหลักคือสถาปัตยกรรม Mixture-of-Experts (MoE) ที่มีเครือข่ายผู้เชี่ยวชาญ 256 หน่วย ทำให้จำนวนพารามิเตอร์รวมเพิ่มขึ้นถึง 718,000 ล้าน ตัว[5] สถาปัตยกรรม MoE ช่วยให้สามารถเปิดใช้งานเฉพาะส่วนของโมเดลแบบไดนามิกตามงานที่กำหนด ซึ่ง Huawei ระบุว่าช่วยเพิ่มประสิทธิภาพการ inference ได้ถึง แปดเท่า เมื่อเทียบกับรุ่นก่อนหน้า[6]
การออกแบบสถาปัตยกรรมและเทคนิคหลัก
โมเดล PanGu สร้างบนสถาปัตยกรรม transformer แบบ GPT แต่มีนวัตกรรมหลายประการสำหรับการฝึกโมเดลขนาดใหญ่มาก เพื่อควบคุมกระบวนการสร้างข้อความ ได้มีการนำ ชั้นคิวรี (Query Layer) พิเศษมาใช้ ซึ่งช่วยกระตุ้นให้เกิดผลลัพธ์ที่ต้องการในขั้นตอนพรีเทรน[3]
การฝึกและการใช้งานโมเดล PanGu ผสานรวมอย่างใกล้ชิดกับแพลตฟอร์มฮาร์ดแวร์และซอฟต์แวร์เฉพาะของ Huawei:
- โปรเซสเซอร์ Ascend 910: ตัวเร่งประมวลผล AI เฉพาะทางที่เป็นหัวใจหลักของคลัสเตอร์คำนวณ
- Framework MindSpore: แพลตฟอร์ม deep learning แบบโอเพนซอร์ส ที่รองรับ เทคโนโลยีพาราเลลิซึมอัตโนมัติ ซึ่งรวมพาราเลลิซึม 5 ประเภท (ข้อมูล, โมเดล, ไปป์ไลน์, ออปติไมเซอร์ และอื่นๆ) เพื่อการกระจายการคำนวณอย่างมีประสิทธิภาพบนโหนดนับพันโหนด[3]
โมเดลเฉพาะทางและการประยุกต์ใช้
PanGu-Weather
หนึ่งในโมเดลที่มีชื่อเสียงที่สุดในกลุ่มคือ PanGu-Weather — โมเดลอุตุนิยมวิทยาระดับโลกที่ใช้ deep learning ในเดือนกรกฎาคม ค.ศ. 2023 บทความเกี่ยวกับโมเดลนี้ได้รับการตีพิมพ์ในวารสารวิทยาศาสตร์ชั้นนำ Nature[7]
โมเดลนี้แสดงให้เห็นว่าสามารถมีความแม่นยำเหนือกว่าวิธีการทำนายสภาพอากาศแบบตัวเลขดั้งเดิมของ ศูนย์พยากรณ์อากาศระยะกลางแห่งยุโรป (ECMWF) ด้วยความเร็วที่สูงกว่าอย่างมีนัยสำคัญ การสร้างการพยากรณ์ระดับโลก 24 ชั่วโมงใช้เวลาเพียง ไม่กี่วินาที แทนที่จะเป็นหลายชั่วโมงของการคำนวณด้วยซูเปอร์คอมพิวเตอร์ ซึ่งหมายถึงการเร่งความเร็วประมาณ 10,000 เท่า[7] ในเดือนสิงหาคม ค.ศ. 2023 การพยากรณ์ของ PanGu-Weather ได้ถูกนำไปรวมในบริการ ECMWF เพื่อใช้ในบริการอุตุนิยมวิทยาจริง[8]
การประยุกต์ใช้ในภาคอุตสาหกรรม
โมเดล PanGu ถูกนำไปใช้ในมากกว่า 500 สถานการณ์ใน 30 อุตสาหกรรมทางเศรษฐกิจ ตัวอย่างบางส่วน:
- การเกษตร: สถาบันวิทยาศาสตร์การเกษตรแห่งประเทศจีน (CAAS) ใช้ PanGu พัฒนาโมเดลสำหรับการปรับปรุงพันธุ์ ซึ่งนำไปสู่การพัฒนาพันธุ์ข้าวทดลองที่มีความต้านทานต่อการล้มที่ดีขึ้น[5]
- อุตสาหกรรมน้ำมันและก๊าซ: CNPC ใช้โมเดล PanGu สำหรับการตรวจจับข้อบกพร่องในท่อส่งน้ำมันโดยอัตโนมัติด้วยความแม่นยำระดับซับมิลลิเมตร เพิ่มประสิทธิภาพขึ้นประมาณ 40%[9]
- การบริหารภาครัฐ: เมืองเซินเจิ้นได้สร้างผู้ช่วยอัจฉริยะ «Xiaofu» ที่ให้ข้อมูลเกี่ยวกับบริการภาครัฐแก่ประชาชน โดยอิงจากคลังเอกสารท้องถิ่นกว่า 200,000 รายการ[4]
- เภสัชวิทยา: โมเดล PanGu Drug Molecule ถูกใช้เพื่อเร่งกระบวนการคัดกรองตัวยาที่มีศักยภาพ มีรายงานว่าด้วยความช่วยเหลือของโมเดลนี้ได้ค้นพบกลุ่มยาปฏิชีวนะชนิดใหม่ ซึ่งถือเป็นความก้าวหน้าครั้งแรกในด้านนี้ในรอบ 40 ปี[4]
การเปิดซอร์สโค้ด
ในเดือนมิถุนายน ค.ศ. 2025 Huawei ประกาศการเปิดซอร์สโค้ด (open-source) ของโมเดลบางส่วนในกลุ่ม PanGu โดยโมเดลที่เปิดให้สาธารณชนเข้าถึงได้[10]:
- PanGu Dense Model 7B (พารามิเตอร์ 7,000 ล้านตัว)
- PanGu Pro MoE Model 72B (พารามิเตอร์ 72,000 ล้านตัว)
ก้าวนี้มุ่งกระตุ้นนวัตกรรมและสร้างระบบนิเวศแบบเปิดรอบๆ แพลตฟอร์มฮาร์ดแวร์ Huawei Ascend ซึ่งเป็นการตอบสนองเชิงกลยุทธ์ต่อการแข่งขันระดับโลกด้าน AI[10]
เอกสารอ้างอิง
- Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
- Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
- Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
- Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
- Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
- MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
- Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
- AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
- CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
- MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
- Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
- Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.
หมายเหตุ
- ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
- ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
- ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
- ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
- ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
- ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
- ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
- ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
- ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
- ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]