PaLM (Pathways Language Model) (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

PaLM (Pathways Language Model) — Google이 개발한 대형 언어 모델(LLM) 패밀리입니다. 2022년 4월에 공개된 첫 번째 버전은 5,400억 개의 파라미터를 보유하여 당시 세계 최대 규모의 언어 모델 중 하나였으며, 대규모 스케일링의 결과로 획기적인 능력을 선보였습니다[1].

PaLM의 핵심 기술 기반은 Pathways로, Google이 개발한 새로운 머신러닝 시스템 아키텍처이며 수천 개의 가속기 칩에 분산 연산을 효율적으로 조율할 수 있습니다[2]. PaLM은 이 시스템의 첫 번째 대규모 시연으로, 방대한 규모에서 전례 없는 학습 효율을 보여주었습니다.

Pathways 시스템: 스케일링의 기반

2021년 Google이 발표한 Pathways 개념은 다양한 도메인에 걸쳐 지식을 효율적으로 일반화하고 수천 가지 작업을 동시에 수행할 수 있는 단일 신경망을 구축하는 것을 목표로 했습니다. PaLM은 이 시스템의 첫 번째 대규모 적용 사례로, 두 개의 클라우드 클러스터(TPU v4 Pods)로 구성된 6,144개의 전용 TPU v4 프로세서에 걸쳐 학습이 병렬화되었습니다[1].

당시 기준으로 단일 모델 학습에 사용된 가장 큰 TPU 구성이었습니다. 이 시스템은 하드웨어 성능 활용 효율에서 기록적인 수치(57.8% FLOPs)를 달성하여, 이전 프로젝트를 규모 면에서 크게 능가하고 5,000억 개가 넘는 파라미터를 보유한 모델을 성공적으로 학습할 수 있었습니다[3].

아키텍처 및 학습 데이터

모델 아키텍처

PaLM은 GPT 시리즈 모델과 유사한 'decoder-only' 아키텍처를 가진 밀집(비희소) 언어 모델입니다. 이 아키텍처는 다음 token 예측 작업에 최적화되어 있으며 텍스트 생성에 적합합니다. 표준 transformer 아키텍처와 달리 PaLM은 효율성 향상을 위한 몇 가지 핵심 수정 사항을 적용했습니다[1]:

  • 병렬 레이어: attention 메커니즘과 완전 연결 레이어를 병렬로 계산하여 학습 속도를 약 15% 향상시켰습니다.
  • SwiGLU 활성화 함수: 표준 ReLU 대신 SwiGLU 활성화 함수를 사용하여 모델 품질을 크게 개선했습니다.

학습 데이터

PaLM은 7,800억 token 규모의 고품질 코퍼스로 학습되었습니다. 데이터셋은 다국어로 구성되었으며 다음을 포함합니다[1]:

  • 고품질 웹 문서 및 도서.
  • 위키백과 문서.
  • 소셜 네트워크 대화문(코퍼스의 50%).
  • GitHub 소스 코드(코퍼스의 5%).

데이터의 약 78%는 영어였으며, 나머지 22%는 다국어 데이터였습니다. 토크나이제이션에는 특별한 '무손실' 방식이 사용되어 모든 공백을 보존하고(코드에 중요), 인식되지 않는 유니코드 문자를 바이트 단위로 분해했습니다.

능력 및 성과

창발적 능력과 few-shot 학습

PaLM은 모델 규모, 데이터 양, 연산 능력의 증가가 창발적(예상치 못하게 나타나는) 능력으로 이어질 수 있음을 입증했습니다. 많은 작업에서 모델 성능이 최대 규모에 도달했을 때만 급격하고 비선형적으로 향상되어, 이전에 관찰되지 않은 새로운 능력의 출현을 시사했습니다[3].

모델은 few-shot 학습 방식(fine-tuning 없이 prompt에 몇 가지 예시만 제공)으로 평가되었으며, 29개의 주요 NLP benchmark 중 28개에서 GPT-3 및 LaMDA와 같은 이전 대형 모델을 능가했습니다. 복합적인 과제 모음인 BIG-bench에서 PaLM은 인간 평가자의 평균 수준을 초과한 최초의 모델이 되었습니다[1].

Chain-of-Thought 추론

PaLM의 가장 주목할 만한 성과 중 하나는 'chain-of-thought prompting' 기법을 사용한 다단계 논리적 추론 능력입니다[1]. 이 방법은 문제 풀이 과정을 단계별로 설명한 예시를 모델에 제공하는 것입니다. 이러한 예시로 학습된 PaLM은 다음과 같은 새로운 복잡한 문제를 해결하기 위해 자체적인 '사고의 연쇄'를 생성할 수 있었습니다:

  • 수학 문제: GSM8K 테스트(초등학교 수준의 문제)에서 PaLM은 58%의 문제를 해결하여 fine-tuning된 모델이 달성한 이전 state-of-the-art 결과를 능가했습니다.
  • 상식 추론 문제: 모델은 처음 접하는 농담의 의미를 해석하는 등 비자명한 문제에 대한 상세한 설명을 생성할 수 있었습니다.

이 능력 덕분에 모델의 '사고' 과정이 더욱 투명해지고 인간의 추론 방식에 가까워졌습니다.

코드 생성 및 다국어 능력

소스 코드가 학습 데이터의 5%에 불과했음에도 불구하고, PaLM은 코드 생성 및 변환 작업에서 OpenAI의 특화 모델인 Codex와 비슷한 수준을 보여주었습니다. 또한 모델은 번역을 포함한 다국어 작업에서도 강력한 능력을 입증했습니다[3].

진화 및 후속 모델: PaLM 패밀리

PaLM은 Google이 개발한 모델 패밀리 전체의 기반이 되었습니다.

PaLM 2

2023년 5월에 공개된 PaLM 2는 더욱 효율적이고 다국어 지원이 강화된 후속 모델입니다. 파라미터 수를 늘리는 것보다 학습 데이터의 품질과 아키텍처 효율성에 초점을 맞추었습니다. PaLM 2는 100개 이상의 언어로 된 텍스트로 학습되었으며, 논리, 프로그래밍, 번역 능력이 향상되었습니다[4]. 모델은 작은 것부터 큰 순서로 네 가지 크기로 제공됩니다: Gecko, Otter, Bison, Unicorn. 가장 작은 버전(Gecko)은 오프라인 모드에서 모바일 기기에서도 실행할 수 있을 만큼 가볍습니다.

특화 버전

PaLM 및 PaLM 2를 기반으로 특정 도메인을 위한 버전이 개발되었습니다:

  • Med-PaLM 2: 의료 분야 특화 모델. 미국 의사 면허 시험(USMLE) 문제에서 전문가 수준에 도달한 최초의 AI 시스템이 되었습니다[4].
  • Sec-PaLM 2: 취약점 탐지 및 악성 코드 분석에 특화된 사이버 보안 지향 모델[5].

PaLM-E: 멀티모달 버전

PaLM-E (Pathways Language Model Embodied)는 PaLM 언어 모델과 Vision Transformer(ViT)의 시각 데이터를 결합한 멀티모달 모델입니다. 이를 통해 모델은 텍스트와 이미지 모두를 처리하여 로봇 제어 등 물리적 세계와 관련된 작업을 수행할 수 있습니다[6].

윤리적 측면 및 한계

PaLM의 개발자들은 대형 언어 모델 개발에 대한 책임감 있는 접근의 필요성을 강조합니다. 공식 논문에서는 생성된 텍스트의 편향성과 독성 가능성에 대한 분석이 수행되었습니다. 투명성 확보를 위해 Google은 PaLM의 모델 카드(Model Card)와 데이터 명세서(Datasheet)를 공개하여 dataset 특성, 테스트 결과 및 확인된 한계를 문서화했습니다[1]. 이러한 조치는 책임감 있는 AI의 현대적 관행에 부합하며, 편향성 및 유해 콘텐츠 생성과 관련된 위험을 줄이기 위한 것입니다.

외부 링크

  • PaLM에 관한 Google 공식 블로그
  • 개발자를 위한 PaLM API

참고 문헌

  • Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. arXiv:2204.02311.
  • Anil, R. et al. (2023). PaLM 2 Technical Report. arXiv:2305.10403.
  • Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
  • Singhal, K. et al. (2022). Large Language Models Encode Clinical Knowledge. arXiv:2212.13138.
  • Singhal, K. et al. (2023). Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
  • Barham, P. et al. (2022). Pathways: Asynchronous Distributed Dataflow for ML. arXiv:2203.12533.
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
  • Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
  • Schaeffer, R. et al. (2023). Are Emergent Abilities of Large Language Models a Mirage?. arXiv:2304.15004.
  • Lu, S. et al. (2023). Are Emergent Abilities in Large Language Models just In-Context Learning?. arXiv:2309.01809.
  • Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
  • Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
  • Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
  • Diao, S. et al. (2023). Active Prompting with Chain-of-Thought for Large Language Models. arXiv:2302.12246.

각주

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; et al. «PaLM: Scaling Language Modeling with Pathways». arXiv. [1]
  2. ↑ «Introducing Pathways: A next-generation AI architecture». Google AI Blog. [2]
  3. ↑ 3.0 3.1 3.2 «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance». Google Research Blog. [3]
  4. ↑ 4.0 4.1 «Google AI: What to know about the PaLM 2 large language model». Google AI Blog. [4]
  5. ↑ «New AI capabilities that can help address your security challenges». Google Cloud Blog. [5]
  6. ↑ «PaLM-E: An embodied multimodal language model». Google Research Blog. [6]
Retrieved from "https://systems-analysis.info/int/index.php?title=PaLM_(Pathways_Language_Model)_(KO)&oldid=5375"