PanGu (Huawei) (FA)

From Systems analysis Wiki
Jump to navigation Jump to search

Huawei PanGu (چینی: 盘古) — خانواده‌ای از مدل‌های هوش مصنوعی پیش‌آموزش‌دیده فوق‌العاده بزرگ (foundation models) است که توسط Huawei Cloud توسعه یافته‌اند. نام «PanGu» اشاره دارد به پان‌گو، موجود اسطوره‌ای نخستین در فرهنگ چینی که جهان را آفرید[1]. خانواده PanGu حوزه‌های گوناگونی را در بر می‌گیرد، از جمله پردازش زبان طبیعی (NLP)، بینایی ماشین (CV)، تحلیل چندوجهی، مدل‌سازی پیش‌بینانه و محاسبات علمی.

تاریخچه و توسعه

PanGu-α (2021)

نخستین مدل این خانواده، PanGu-α (PanGu-Alpha)، در آوریل ۲۰۲۱ معرفی شد. با ۲۰۰ میلیارد پارامتر، در آن زمان بزرگ‌ترین مدل زبانی برای زبان چینی به شمار می‌رفت و از نظر حجم از GPT-3 (۱۷۵ میلیارد) ساخت OpenAI پیشی گرفت[2].

این مدل توسط تیم Huawei Cloud در همکاری با آزمایشگاه Noah's Ark توسعه یافت و بر روی خوشه‌ای متشکل از ۲۰۴۸ پردازنده تخصصی Huawei Ascend 910 با استفاده از چارچوب MindSpore آموزش دید[3]. پیکره آموزشی شامل ۱٫۱ ترابایت داده متنی باکیفیت به زبان چینی بود. PanGu-α نتایج برجسته‌ای در benchmark CLUE (Chinese Language Understanding Evaluation) به دست آورد و رتبه اول را در رده‌بندی کلی کسب کرد[1].

PanGu 3.0 (2023): رویکرد پلتفرمی

در ژوئیه ۲۰۲۳، Huawei پلتفرم PanGu 3.0 را معرفی کرد که نشان‌دهنده گذار از یک مدل واحد به معماری چندلایه «5+N+X» با محوریت کاربردهای صنعتی بود[4].

  • L0 (لایه پایه): پنج مدل بنیادی (NLP، CV، چندوجهی، پیش‌بینانه و محاسبات علمی).
  • L1 (لایه صنعتی): N مدل صنعتی که بر پایه مدل‌های بنیادی و برای صنایع خاص fine-tuning شده‌اند (حکمرانی، مالی، تولید و غیره).
  • L2 (لایه کاربردی): X مدل برای وظایف کاربردی مشخص (دستیار مجازی، پیش‌بینی مسیر طوفان و غیره).

این رویکرد سلسله‌مراتبی به مشتریان امکان می‌دهد یا از راه‌حل‌های آماده استفاده کنند یا مدل‌های صنعتی را بر روی داده‌های خود fine-tuning نمایند، که این امر انطباق را به میزان قابل توجهی ساده‌تر و مقرون‌به‌صرفه‌تر می‌کند.

PanGu 5.5 (2025): معماری Mixture-of-Experts

در ژوئن ۲۰۲۵، Huawei به‌روزرسانی تا PanGu 5.5 را با هدف حل عمیق‌تر مسائل صنعتی اعلام کرد. ویژگی کلیدی آن معماری ترکیب متخصصان (MoE) با ۲۵۶ زیرشبکه تخصصی بود که حجم کل پارامترها را به ۷۱۸ میلیارد رساند[5]. معماری MoE امکان فعال‌سازی پویای تنها بخشی از مدل هنگام حل وظیفه‌ای مشخص را فراهم می‌کند که به گفته Huawei، بهبود هشت برابری در بهره‌وری inference نسبت به نسل‌های پیشین را به همراه دارد[6].

راهکارهای معماری و فنی کلیدی

مدل‌های PanGu بر پایه معماری transformer از نوع GPT ساخته شده‌اند، اما با نوآوری‌هایی برای آموزش مدل‌های فوق‌العاده بزرگ. برای مدیریت فرآیند تولید، یک لایه پرس‌وجو (Query Layer) ویژه معرفی شد که به القای خروجی مطلوب در مرحله پیش‌آموزش کمک می‌کند[3].

آموزش و بهره‌برداری از مدل‌های PanGu به شکل تنگاتنگی با پلتفرم سخت‌افزاری و نرم‌افزاری اختصاصی Huawei یکپارچه شده است:

  • پردازنده‌های Ascend 910: شتاب‌دهنده‌های هوش مصنوعی تخصصی که اساس خوشه‌های محاسباتی را تشکیل می‌دهند.
  • چارچوب MindSpore: پلتفرم یادگیری عمیق با کد منبع باز که از فناوری موازی‌سازی خودکار پشتیبانی می‌کند و پنج نوع موازی‌سازی (داده، مدل، خط لوله، بهینه‌ساز و غیره) را ترکیب می‌کند تا محاسبات را به شکل کارآمد میان هزاران گره توزیع نماید[3].

مدل‌های تخصصی و کاربردهای آن‌ها

PanGu-Weather

یکی از شناخته‌شده‌ترین مدل‌های این خانواده PanGu-Weather است — یک مدل هواشناسی جهانی مبتنی بر یادگیری عمیق. در ژوئیه ۲۰۲۳، مقاله‌ای درباره آن در مجله علمی معتبر Nature منتشر شد[7].

این مدل توانایی فراتر رفتن از دقت روش‌های عددی سنتی پیش‌بینی آب‌وهوا از مرکز اروپایی پیش‌بینی میان‌مدت آب‌وهوا (ECMWF) را با سرعتی به مراتب بیشتر نشان داد. تولید یک پیش‌بینی جهانی ۲۴ ساعته تنها چند ثانیه زمان می‌برد، در حالی که محاسبات ابررایانه‌ای ساعت‌ها طول می‌کشد، که این به معنای تسریع حدود ۱۰٬۰۰۰ برابری است[7]. در اوت ۲۰۲۳، پیش‌بینی‌های PanGu-Weather در سرویس ECMWF برای استفاده در خدمات هواشناسی عملی یکپارچه شدند[8].

کاربردهای صنعتی

مدل‌های PanGu در بیش از ۵۰۰ سناریو در ۳۰ بخش اقتصادی پیاده‌سازی شده‌اند. برخی نمونه‌ها:

  • کشاورزی: آکادمی علوم کشاورزی چین (CAAS) با کمک PanGu مدلی برای اصلاح نژاد توسعه داد که امکان پرورش یک رقم آزمایشی برنج با مقاومت بهبودیافته در برابر ورس را فراهم کرد[5].
  • صنعت نفت و گاز: CNPC از مدل PanGu برای شناسایی خودکار نقص‌های خط لوله با دقت زیر میلی‌متر استفاده می‌کند و بهره‌وری را حدود ۴۰٪ افزایش می‌دهد[9].
  • حکمرانی: در شنژن، دستیار هوشمند «Xiaofu» ایجاد شده که اطلاعات خدمات دولتی را بر اساس پیکره‌ای از بیش از ۲۰۰٬۰۰۰ سند محلی در اختیار شهروندان قرار می‌دهد[4].
  • داروسازی: مدل PanGu Drug Molecule برای تسریع فرآیند غربالگری کاندیداهای دارویی به کار می‌رود. ادعا شده که با کمک آن یک کلاس جدید از آنتی‌بیوتیک‌ها کشف شده که اولین پیشرفت در این زمینه در ۴۰ سال گذشته به شمار می‌رود[4].

انتشار کد منبع

در ژوئن ۲۰۲۵، Huawei اعلام کرد که کد منبع (open-source) بخشی از مدل‌های خانواده PanGu را منتشر می‌کند. در دسترس عموم قرار گرفت[10]:

  • PanGu Dense Model 7B (۷ میلیارد پارامتر).
  • PanGu Pro MoE Model 72B (۷۲ میلیارد پارامتر).

این گام با هدف تحریک نوآوری و ایجاد یک اکوسیستم باز پیرامون پلتفرم سخت‌افزاری Huawei Ascend برداشته شده و پاسخی راهبردی به رقابت جهانی در حوزه هوش مصنوعی است[10].

منابع

  • Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
  • Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
  • Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
  • Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
  • Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
  • MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
  • Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
  • AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
  • CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
  • MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
  • Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
  • Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.

یادداشت‌ها

  1. ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [۱]
  2. ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [۲]
  3. ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [۳]
  4. ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [۴]
  5. ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [۵]
  6. ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [۶]
  7. ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [۷]
  8. ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [۸]
  9. ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
  10. ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [۹]
Retrieved from "https://systems-analysis.info/int/index.php?title=PanGu_(Huawei)_(FA)&oldid=5442"