PanGu (Huawei) (BG)

From Systems analysis Wiki
Jump to navigation Jump to search

Huawei PanGu (кит. 盘古) — това е семейство от свръхголеми предварително обучени модели на изкуствен интелект (foundation models), разработени от Huawei Cloud. Името „PanGu" препраща към Пан-гу, митологичното първосъщество в китайската култура, което е сътворило света[1]. Семейството PanGu обхваща различни области, включително обработка на естествен език (NLP), компютърно зрение (CV), мултимодален анализ, прогностично моделиране и научни изчисления.

История и развитие

PanGu-α (2021)

Първият модел от семейството, PanGu-α (PanGu-Alpha), беше представен през април 2021 г. С 200 милиарда параметъра той стана по онова време най-големият езиков модел за китайски език, надминавайки по размер GPT-3 (175 млрд.) от OpenAI[2].

Моделът е разработен от екипа на Huawei Cloud в сътрудничество с лабораторията Noah's Ark и е обучен върху клъстер от 2048 специализирани процесора Huawei Ascend 910 с използване на framework-а MindSpore[3]. Обучителният корпус е съставен от 1,1 ТБ висококачествени текстови данни на китайски език. PanGu-α демонстрира високи резултати на benchmark-а CLUE (Chinese Language Understanding Evaluation), заемайки първо място в общото класиране[1].

PanGu 3.0 (2023): Платформен подход

През юли 2023 г. Huawei представи платформата PanGu 3.0, която бележи прехода от единен модел към многонивова архитектура „5+N+X", ориентирана към промишлено приложение[4].

  • L0 (Основен слой): Пет фундаментални модела (NLP, CV, мултимодален, прогностичен и научно-изчислителен).
  • L1 (Отраслов слой): N отраслови модела, дообучени на базата на основните за конкретни индустрии (държавно управление, финанси, производство и др.).
  • L2 (Сценарен слой): X модела за конкретни приложни задачи (виртуален асистент, прогноза за траекторията на тайфун и др.).

Такъв йерархичен подход позволява на клиентите или да използват готови решения, или да дообучават отраслови модели върху собствени данни, което значително улеснява и поевтинява адаптацията.

PanGu 5.5 (2025): Архитектура Mixture-of-Experts

През юни 2025 г. Huawei обяви актуализация до PanGu 5.5, насочена към задълбочено решаване на индустриални задачи. Ключова особеност стана архитектурата смес от експерти (MoE) с 256 експертни подмрежи, което позволи увеличаване на съвкупния обем от параметри до 718 милиарда[5]. Архитектурата MoE позволява динамично активиране само на част от модела при решаване на конкретна задача, което според Huawei осигурява осемкратно повишаване на ефективността на инференса в сравнение с предишните поколения[6].

Ключови архитектурни и технически решения

Моделите PanGu са изградени на базата на трансформерна архитектура от тип GPT, но с редица иновации за обучение на свръхголеми модели. За управление на процеса на генериране беше въведен специален слой на заявките (Query Layer), който помага за индуциране на желания изход на етапа на предварително обучение[3].

Обучението и експлоатацията на моделите PanGu са тясно интегрирани с собствената хардуерна и софтуерна платформа на Huawei:

  • Процесори Ascend 910: Специализирани ИИ-ускорители, съставляващи основата на изчислителните клъстери.
  • Framework MindSpore: Платформа за дълбоко обучение с отворен изходен код, поддържаща авто-паралелна технология, която комбинира пет вида паралелизъм (на данните, на модела, на конвейера, на оптимизатора и др.) за ефективно разпределение на изчисленията между хиляди възли[3].

Специализирани модели и тяхното приложение

PanGu-Weather

Един от най-известните модели в семейството е PanGu-Weather — глобален метеорологичен модел на базата на дълбоко обучение. През юли 2023 г. статия за него беше публикувана в престижното научно списание Nature[7].

Моделът демонстрира способност да надминава по точност традиционните числени методи за прогноза на времето от Европейския център за средносрочни прогнози (ECMWF) при значително по-голяма скорост. Генерирането на глобална прогноза за 24 часа отнема на модела броени секунди вместо няколко часа суперкомпютърни изчисления, което означава ускоряване приблизително с 10 000 пъти[7]. През август 2023 г. прогнозите на PanGu-Weather бяха интегрирани в услугата на ECMWF за използване в практически метеорологични услуги[8].

Промишлено приложение

Моделите PanGu са внедрени в повече от 500 сценария в 30 отрасъла на икономиката. Някои примери:

  • Селско стопанство: Китайската академия на аграрните науки (CAAS) с помощта на PanGu разработи модел за селекция, което позволи да се създаде експериментален сорт ориз с подобрена устойчивост на полягане[5].
  • Нефтогазова промишленост: CNPC използва модела PanGu за автоматично откриване на дефекти в тръбопроводи с субмилиметрова точност, повишавайки ефективността с ~40%[9].
  • Държавно управление: В Шенжен е създаден интелигентен асистент „Xiaofu", който предоставя на гражданите информация за държавни услуги, основавайки се на корпус от над 200 000 местни документа[4].
  • Фармакология: Моделът PanGu Drug Molecule се използва за ускоряване на процеса на скрининг на лекарствени кандидати. Заявено е, че с негова помощ е открит нов клас антибиотици, което представлява първи пробив в тази област от 40 години[4].

Отваряне на изходния код

През юни 2025 г. Huawei обяви отварянето на изходния код (open-source) на част от моделите на семейството PanGu. В свободен достъп бяха публикувани[10]:

  • PanGu Dense Model 7B (7 млрд. параметъра).
  • PanGu Pro MoE Model 72B (72 млрд. параметъра).

Тази стъпка е насочена към стимулиране на иновациите и изграждане на отворена екосистема около хардуерната платформа Huawei Ascend, което представлява стратегически отговор на глобалната конкуренция в областта на ИИ[10].

Литература

  • Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
  • Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
  • Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
  • Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
  • Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
  • MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
  • Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
  • AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
  • CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
  • MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
  • Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
  • Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.

Бележки

  1. ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
  2. ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
  3. ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
  4. ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
  5. ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
  6. ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
  7. ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
  8. ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
  9. ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
  10. ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]
Retrieved from "https://systems-analysis.info/int/index.php?title=PanGu_(Huawei)_(BG)&oldid=5438"