---
title: "PaLM (Pathways Language Model) (KO)"
source: "https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)"
wiki: "systems-analysis.info/int"
article: "PaLM_(Pathways_Language_Model)_(KO)"
language: "ko"
categories:
- "Category:Google"
- "Category:Korean"
- "Category:Large language models"
- "Category:LLM families"
- "Category:Machine learning"
revision_id: 5375
wiki_created_at: 2026-09-06T23:48:24Z
wiki_modified_at: 2026-09-06T23:48:24Z
downloaded_at: 2026-09-07T23:08:07Z
---
# PaLM (Pathways Language Model) (KO)
**PaLM** (**P**athways **L**anguage **M**odel) — Google이 개발한 대형 언어 모델(LLM) 패밀리입니다. 2022년 4월에 공개된 첫 번째 버전은 **5,400억 개의 파라미터**를 보유하여 당시 세계 최대 규모의 언어 모델 중 하나였으며, 대규모 스케일링의 결과로 획기적인 능력을 선보였습니다[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-chowdhery2022-1).
PaLM의 핵심 기술 기반은 **Pathways**로, Google이 개발한 새로운 머신러닝 시스템 아키텍처이며 수천 개의 가속기 칩에 분산 연산을 효율적으로 조율할 수 있습니다[\[2\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-google-blog-pathways-intro-2). PaLM은 이 시스템의 첫 번째 대규모 시연으로, 방대한 규모에서 전례 없는 학습 효율을 보여주었습니다.
## Pathways 시스템: 스케일링의 기반
2021년 Google이 발표한 **Pathways** 개념은 다양한 도메인에 걸쳐 지식을 효율적으로 일반화하고 수천 가지 작업을 동시에 수행할 수 있는 단일 신경망을 구축하는 것을 목표로 했습니다. PaLM은 이 시스템의 첫 번째 대규모 적용 사례로, 두 개의 클라우드 클러스터(TPU v4 Pods)로 구성된 **6,144**개의 전용 **TPU v4** 프로세서에 걸쳐 학습이 병렬화되었습니다[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-chowdhery2022-1).
당시 기준으로 단일 모델 학습에 사용된 가장 큰 TPU 구성이었습니다. 이 시스템은 하드웨어 성능 활용 효율에서 기록적인 수치(**57.8% FLOPs**)를 달성하여, 이전 프로젝트를 규모 면에서 크게 능가하고 5,000억 개가 넘는 파라미터를 보유한 모델을 성공적으로 학습할 수 있었습니다[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-google-blog-palm-scaling-3).
## 아키텍처 및 학습 데이터
### 모델 아키텍처
PaLM은 GPT 시리즈 모델과 유사한 '**decoder-only'** 아키텍처를 가진 밀집(비희소) 언어 모델입니다. 이 아키텍처는 다음 token 예측 작업에 최적화되어 있으며 텍스트 생성에 적합합니다. 표준 transformer 아키텍처와 달리 PaLM은 효율성 향상을 위한 몇 가지 핵심 수정 사항을 적용했습니다[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-chowdhery2022-1):
- **병렬 레이어**: attention 메커니즘과 완전 연결 레이어를 병렬로 계산하여 학습 속도를 약 15% 향상시켰습니다.
- **SwiGLU 활성화 함수**: 표준 ReLU 대신 SwiGLU 활성화 함수를 사용하여 모델 품질을 크게 개선했습니다.
### 학습 데이터
PaLM은 **7,800억 token** 규모의 고품질 코퍼스로 학습되었습니다. 데이터셋은 다국어로 구성되었으며 다음을 포함합니다[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-chowdhery2022-1):
- 고품질 웹 문서 및 도서.
- 위키백과 문서.
- 소셜 네트워크 대화문(코퍼스의 50%).
- GitHub 소스 코드(코퍼스의 5%).
데이터의 약 78%는 영어였으며, 나머지 22%는 다국어 데이터였습니다. 토크나이제이션에는 특별한 '무손실' 방식이 사용되어 모든 공백을 보존하고(코드에 중요), 인식되지 않는 유니코드 문자를 바이트 단위로 분해했습니다.
## 능력 및 성과
### 창발적 능력과 few-shot 학습
PaLM은 모델 규모, 데이터 양, 연산 능력의 증가가 **창발적**(예상치 못하게 나타나는) 능력으로 이어질 수 있음을 입증했습니다. 많은 작업에서 모델 성능이 최대 규모에 도달했을 때만 급격하고 비선형적으로 향상되어, 이전에 관찰되지 않은 새로운 능력의 출현을 시사했습니다[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-google-blog-palm-scaling-3).
모델은 **few-shot 학습** 방식(fine-tuning 없이 prompt에 몇 가지 예시만 제공)으로 평가되었으며, 29개의 주요 NLP benchmark 중 28개에서 GPT-3 및 LaMDA와 같은 이전 대형 모델을 능가했습니다. 복합적인 과제 모음인 **BIG-bench**에서 PaLM은 인간 평가자의 평균 수준을 초과한 최초의 모델이 되었습니다[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-chowdhery2022-1).
### Chain-of-Thought 추론
PaLM의 가장 주목할 만한 성과 중 하나는 '**chain-of-thought prompting'** 기법을 사용한 다단계 논리적 추론 능력입니다[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-chowdhery2022-1). 이 방법은 문제 풀이 과정을 단계별로 설명한 예시를 모델에 제공하는 것입니다. 이러한 예시로 학습된 PaLM은 다음과 같은 새로운 복잡한 문제를 해결하기 위해 자체적인 '사고의 연쇄'를 생성할 수 있었습니다:
- **수학 문제**: **GSM8K** 테스트(초등학교 수준의 문제)에서 PaLM은 58%의 문제를 해결하여 fine-tuning된 모델이 달성한 이전 state-of-the-art 결과를 능가했습니다.
- **상식 추론 문제**: 모델은 처음 접하는 농담의 의미를 해석하는 등 비자명한 문제에 대한 상세한 설명을 생성할 수 있었습니다.
이 능력 덕분에 모델의 '사고' 과정이 더욱 투명해지고 인간의 추론 방식에 가까워졌습니다.
### 코드 생성 및 다국어 능력
소스 코드가 학습 데이터의 5%에 불과했음에도 불구하고, PaLM은 코드 생성 및 변환 작업에서 OpenAI의 특화 모델인 Codex와 비슷한 수준을 보여주었습니다. 또한 모델은 번역을 포함한 다국어 작업에서도 강력한 능력을 입증했습니다[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-google-blog-palm-scaling-3).
## 진화 및 후속 모델: PaLM 패밀리
PaLM은 Google이 개발한 모델 패밀리 전체의 기반이 되었습니다.
### PaLM 2
2023년 5월에 공개된 **PaLM 2**는 더욱 효율적이고 다국어 지원이 강화된 후속 모델입니다. 파라미터 수를 늘리는 것보다 학습 데이터의 품질과 아키텍처 효율성에 초점을 맞추었습니다. PaLM 2는 **100개 이상의 언어**로 된 텍스트로 학습되었으며, 논리, 프로그래밍, 번역 능력이 향상되었습니다[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-google-blog-palm2-4). 모델은 작은 것부터 큰 순서로 네 가지 크기로 제공됩니다: **Gecko**, **Otter**, **Bison**, **Unicorn**. 가장 작은 버전(Gecko)은 오프라인 모드에서 모바일 기기에서도 실행할 수 있을 만큼 가볍습니다.
### 특화 버전
PaLM 및 PaLM 2를 기반으로 특정 도메인을 위한 버전이 개발되었습니다:
- **Med-PaLM 2**: 의료 분야 특화 모델. 미국 의사 면허 시험(USMLE) 문제에서 전문가 수준에 도달한 최초의 AI 시스템이 되었습니다[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-google-blog-palm2-4).
- **Sec-PaLM 2**: 취약점 탐지 및 악성 코드 분석에 특화된 사이버 보안 지향 모델[\[5\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-google-cloud-sec-ai-5).
### PaLM-E: 멀티모달 버전
**PaLM-E** (Pathways Language Model Embodied)는 PaLM 언어 모델과 Vision Transformer(ViT)의 시각 데이터를 결합한 멀티모달 모델입니다. 이를 통해 모델은 텍스트와 이미지 모두를 처리하여 로봇 제어 등 물리적 세계와 관련된 작업을 수행할 수 있습니다[\[6\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-palm-e-blog-6).
## 윤리적 측면 및 한계
PaLM의 개발자들은 대형 언어 모델 개발에 대한 책임감 있는 접근의 필요성을 강조합니다. 공식 논문에서는 생성된 텍스트의 **편향성과 독성** 가능성에 대한 분석이 수행되었습니다. 투명성 확보를 위해 Google은 PaLM의 **모델 카드(Model Card)**와 **데이터 명세서(Datasheet)**를 공개하여 dataset 특성, 테스트 결과 및 확인된 한계를 문서화했습니다[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_note-chowdhery2022-1). 이러한 조치는 책임감 있는 AI의 현대적 관행에 부합하며, 편향성 및 유해 콘텐츠 생성과 관련된 위험을 줄이기 위한 것입니다.
## 외부 링크
- PaLM에 관한 Google 공식 블로그
- 개발자를 위한 PaLM API
## 참고 문헌
- Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. arXiv:2204.02311.
- Anil, R. et al. (2023). *PaLM 2 Technical Report*. arXiv:2305.10403.
- Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378.
- Singhal, K. et al. (2022). *Large Language Models Encode Clinical Knowledge*. arXiv:2212.13138.
- Singhal, K. et al. (2023). *Towards Expert-Level Medical Question Answering with Large Language Models*. arXiv:2305.09617.
- Barham, P. et al. (2022). *Pathways: Asynchronous Distributed Dataflow for ML*. arXiv:2203.12533.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903.
- Zhang, Z. et al. (2022). *Automatic Chain of Thought Prompting in Large Language Models*. arXiv:2210.03493.
- Wei, J. et al. (2022). *Emergent Abilities of Large Language Models*. arXiv:2206.07682.
- Schaeffer, R. et al. (2023). *Are Emergent Abilities of Large Language Models a Mirage?*. arXiv:2304.15004.
- Lu, S. et al. (2023). *Are Emergent Abilities in Large Language Models just In-Context Learning?*. arXiv:2309.01809.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Rae, J. W. et al. (2021). *Scaling Language Models: Methods, Analysis & Insights from Training Gopher*. arXiv:2112.11446.
- Diao, S. et al. (2023). *Active Prompting with Chain-of-Thought for Large Language Models*. arXiv:2302.12246.
## 각주
1. ↑ [1.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-chowdhery2022_1-0) [1.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-chowdhery2022_1-1) [1.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-chowdhery2022_1-2) [1.3](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-chowdhery2022_1-3) [1.4](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-chowdhery2022_1-4) [1.5](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-chowdhery2022_1-5) [1.6](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-chowdhery2022_1-6) Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; et al. «PaLM: Scaling Language Modeling with Pathways». *arXiv*. [1]
2. [↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-google-blog-pathways-intro_2-0) «Introducing Pathways: A next-generation AI architecture». *Google AI Blog*. [2]
3. ↑ [3.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-google-blog-palm-scaling_3-0) [3.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-google-blog-palm-scaling_3-1) [3.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-google-blog-palm-scaling_3-2) «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance». *Google Research Blog*. [3]
4. ↑ [4.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-google-blog-palm2_4-0) [4.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-google-blog-palm2_4-1) «Google AI: What to know about the PaLM 2 large language model». *Google AI Blog*. [4]
5. [↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-google-cloud-sec-ai_5-0) «New AI capabilities that can help address your security challenges». *Google Cloud Blog*. [5]
6. [↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(KO)#cite_ref-palm-e-blog_6-0) «PaLM-E: An embodied multimodal language model». *Google Research Blog*. [6]