PanGu (Huawei) (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

Huawei PanGu (중국어: 盘古) — Huawei Cloud가 개발한 초대형 사전 학습 인공지능 모델(foundation models) 패밀리입니다. 'PanGu'라는 이름은 중국 신화에서 세상을 창조한 태초의 존재인 반고(盤古)에서 유래했습니다[1]. PanGu 패밀리는 자연어 처리(NLP), 컴퓨터 비전(CV), 멀티모달 분석, 예측 모델링, 과학 계산 등 다양한 분야를 아우릅니다.

역사 및 발전

PanGu-α (2021)

패밀리의 첫 번째 모델인 PanGu-α (PanGu-Alpha)는 2021년 4월에 공개되었습니다. 2,000억 개의 파라미터를 갖춘 이 모델은 당시 OpenAI의 GPT-3(1,750억 개)를 능가하는 규모의 중국어 최대 언어 모델이었습니다[2].

이 모델은 Huawei Cloud 팀이 Noah's Ark 연구소와 협력하여 개발했으며, MindSpore 프레임워크를 활용해 2,048개의 전용 프로세서 Huawei Ascend 910 클러스터에서 학습되었습니다[3]. 학습 코퍼스는 고품질 중국어 텍스트 데이터 1.1TB로 구성되었습니다. PanGu-α는 CLUE (Chinese Language Understanding Evaluation) 벤치마크에서 종합 순위 1위를 기록했습니다[1].

PanGu 3.0 (2023): 플랫폼 접근 방식

2023년 7월, Huawei는 단일 모델에서 산업 응용을 지향하는 다층 「5+N+X」 아키텍처로의 전환을 알리는 PanGu 3.0 플랫폼을 공개했습니다[4].

  • L0 (기반 레이어): 다섯 가지 기초 모델(NLP, CV, 멀티모달, 예측, 과학 계산).
  • L1 (산업 레이어): 특정 산업(공공 행정, 금융, 제조업 등)에 맞게 기초 모델을 기반으로 fine-tuning된 N개의 산업별 모델.
  • L2 (시나리오 레이어): 구체적인 응용 과제(가상 어시스턴트, 태풍 경로 예측 등)를 위한 X개의 모델.

이러한 계층적 접근 방식은 고객이 완성된 솔루션을 그대로 활용하거나 자체 데이터를 기반으로 산업별 모델을 fine-tuning할 수 있게 해주며, 적응 과정을 크게 단순화하고 비용을 절감합니다.

PanGu 5.5 (2025): Mixture-of-Experts 아키텍처

2025년 6월, Huawei는 산업 과제의 심층적 해결을 목표로 하는 PanGu 5.5 업데이트를 발표했습니다. 핵심 특징은 256개의 전문가 서브네트워크를 갖춘 혼합 전문가(MoE) 아키텍처로, 총 파라미터 수가 7,180억 개까지 증가했습니다[5]. MoE 아키텍처는 특정 과제를 처리할 때 모델의 일부만을 동적으로 활성화할 수 있으며, Huawei에 따르면 이전 세대 대비 추론(inference) 효율이 8배 향상되었다고 합니다[6].

주요 아키텍처 및 기술적 특징

PanGu 모델들은 GPT 유형의 트랜스포머 아키텍처를 기반으로 하되, 초대형 모델 학습을 위한 다양한 혁신을 도입했습니다. 생성 과정을 제어하기 위해 특별한 쿼리 레이어(Query Layer)가 도입되었으며, 이는 사전 학습 단계에서 원하는 출력을 유도하는 데 도움을 줍니다[3].

PanGu 모델의 학습 및 운영은 Huawei 자체 하드웨어 및 소프트웨어 플랫폼과 긴밀하게 통합되어 있습니다:

  • Ascend 910 프로세서: 컴퓨팅 클러스터의 핵심을 이루는 전용 AI 가속기.
  • MindSpore 프레임워크: 오픈 소스 딥러닝 플랫폼으로, 데이터, 모델, 파이프라인, 옵티마이저 병렬 처리 등 다섯 가지 병렬 처리 방식을 조합하는 자동 병렬 기술을 지원하여 수천 개의 노드에 걸쳐 효율적인 분산 컴퓨팅을 가능하게 합니다[3].

특화 모델 및 응용 사례

PanGu-Weather

PanGu 패밀리에서 가장 잘 알려진 모델 중 하나는 딥러닝 기반 글로벌 기상 모델인 PanGu-Weather입니다. 2023년 7월, 이 모델에 관한 논문이 권위 있는 과학 저널 Nature에 게재되었습니다[7].

이 모델은 유럽중기기상예보센터(ECMWF)의 전통적인 수치 기상 예보 방법보다 훨씬 빠른 속도로 더 높은 정확도를 달성하는 능력을 입증했습니다. 모델이 24시간 글로벌 예보를 생성하는 데 수 시간의 슈퍼컴퓨터 계산 대신 단 몇 초밖에 걸리지 않으며, 이는 약 10,000배의 속도 향상을 의미합니다[7]. 2023년 8월, PanGu-Weather 예보는 실제 기상 서비스에 활용하기 위해 ECMWF 서비스에 통합되었습니다[8].

산업 응용 사례

PanGu 모델은 30개 경제 분야의 500개 이상의 시나리오에 도입되었습니다. 몇 가지 사례를 소개합니다:

  • 농업: 중국농업과학원(CAAS)은 PanGu를 활용하여 육종 모델을 개발했으며, 이를 통해 도복(쓰러짐) 저항성이 향상된 실험용 쌀 품종을 개발했습니다[5].
  • 석유·가스 산업: CNPC는 PanGu 모델을 활용해 서브밀리미터 정확도로 파이프라인 결함을 자동 탐지하여 효율을 약 40% 향상시키고 있습니다[9].
  • 공공 행정: 선전(深圳)에서는 20만 개 이상의 지역 문서를 기반으로 시민에게 공공 서비스 정보를 제공하는 지능형 어시스턴트 「Xiaofu」가 구축되었습니다[4].
  • 약학: PanGu Drug Molecule 모델은 신약 후보 물질의 스크리닝 과정을 가속화하는 데 사용됩니다. 이 모델을 통해 40년 만의 첫 돌파구로 평가받는 새로운 항생제 계열이 발견되었다고 알려졌습니다[4].

오픈 소스 공개

2025년 6월, Huawei는 PanGu 패밀리 일부 모델의 소스 코드(open-source)를 공개한다고 발표했습니다. 공개된 모델은 다음과 같습니다[10]:

  • PanGu Dense Model 7B (파라미터 70억 개).
  • PanGu Pro MoE Model 72B (파라미터 720억 개).

이 조치는 혁신을 촉진하고 Huawei Ascend 하드웨어 플랫폼을 중심으로 한 개방형 생태계를 구축하기 위한 것으로, 글로벌 AI 경쟁에 대한 전략적 대응으로 평가됩니다[10].

참고 문헌

  • Zeng, W.; et al. (2021). PanGu‑α: Large‑Scale Autoregressive Pretrained Chinese Language Models. PDF.
  • Huawei (2021). HDC.Cloud 2021: Huawei Releases Six Ground‑breaking Products to Supercharge the Cloud and Intelligent Transformation of Business. Online news.
  • Huawei Cloud (2023). Reshaping Industries with AI: Huawei Cloud Launches PanGu Models 3.0 and Ascend AI Cloud Services. Online news.
  • Bi, K.; et al. (2023). Accurate Medium‑Range Global Weather Forecasting with 3D Neural Networks. Nature, 620, 560–566. DOI:10.1038/s41586‑023‑06185‑3.
  • Technology Magazine (2025). What Huawei PanGu 5.5 Models Mean for Industrial AI. Online article.
  • MindSpore Team (2021). MindSpore: An All‑Scenario Deep Learning Computing Framework (White Paper v1.1). PDF.
  • Zhang, S.; et al. (2024). Ascend 910 NPU SoC Architecture for Large‑Scale AI Training. arXiv:2407.11888. Online preprint.
  • AIbase News (2025). Huawei Open Sources Dense PanGu 7B and Mixture‑of‑Experts PanGuPro 72B. Online news.
  • CNPC & Huawei Cloud (2024). Kunlun: Large‑Scale AI Model for Oil and Gas Pipeline Defect Detection. Online case study.
  • MindSpore Docs (2024). Automatic Parallel — Five‑Mode Hybrid Strategy in MindSpore. Online documentation.
  • Press, O.; et al. (2021). Train Short, Test Long: Attention with Linear Biases Enables Input‑Length Extrapolation. arXiv:2108.12409.
  • Law, M. (2025). How Huawei PanGu 5.5 AI Models Transform Industry Operations. AI Magazine. Online article.

각주

  1. ↑ 1.0 1.1 «HDC.Cloud 2021: Huawei Releases Six Groundbreaking Products to Supercharge the Cloud and Intelligent Transformation of Business». Huawei. [1]
  2. ↑ Wodecki, Ben (27 Apr 2021). «Huawei has created the world's largest Chinese language model». AI Business. [2]
  3. ↑ 3.0 3.1 3.2 Zeng, Wei, et al. (Apr 2021). «PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models». Technical Report. [3]
  4. ↑ 4.0 4.1 4.2 «Reshaping Industries with AI: Huawei Cloud Launches Pangu Models 3.0 and Ascend AI Cloud Services». HUAWEI CLOUD. 7 Jul 2023. [4]
  5. ↑ 5.0 5.1 Law, Marcus (23 Jun 2025). «What Huawei Pangu 5.5 Models Mean for Industrial AI». Technology Magazine. [5]
  6. ↑ «How Huawei Pangu 5.5 AI Models Transform Industry Operations». AI Magazine. [6]
  7. ↑ 7.0 7.1 «Prestigious science journal Nature publishes paper about Pangu Weather AI Model authored by HUAWEI CLOUD researchers». Huawei News. 6 Jul 2023. [7]
  8. ↑ Bi, Kaifeng, et al. (2023). «Accurate medium-range global weather forecasting with 3D neural networks». Nature. [8]
  9. ↑ «CNPC and Huawei Cloud Jointly Launch the "Kunlun" Model for the Oil and Gas Industry».
  10. ↑ 10.0 10.1 «Huawei Open Sources Dense Pangu 7B and Mixture of Experts Model with 72B Parameters». Albase News. 30 Jun 2025. [9]
Retrieved from "https://systems-analysis.info/int/index.php?title=PanGu_(Huawei)_(KO)&oldid=5448"