--- title: "Google's large language models — Google의 대형 언어 모델" source: "https://systems-analysis.info/int/Google's_large_language_models_%E2%80%94_Google%EC%9D%98_%EB%8C%80%ED%98%95_%EC%96%B8%EC%96%B4_%EB%AA%A8%EB%8D%B8" wiki: "systems-analysis.info/int" article: "Google's_large_language_models_—_Google의_대형_언어_모델" language: "ko" categories: - "Category:Google" - "Category:Korean" - "Category:Large language models" - "Category:LLM families" - "Category:Machine learning" revision_id: 2695 wiki_created_at: 2026-09-06T23:09:38Z wiki_modified_at: 2026-09-06T23:09:38Z downloaded_at: 2026-09-07T22:52:48Z --- # Google's large language models — Google의 대형 언어 모델 **Google의 대형 언어 모델(LLM)**은 Google AI(구 Google Brain)와 DeepMind를 포함한 Google의 다양한 부서에서 개발된 대형 언어 모델(LLM) 시리즈입니다. 딥러닝과 Transformer 아키텍처 분야의 선구자 중 하나인 Google은 현대 LLM 발전에 근본적인 기여를 했습니다. 이 모델들의 개발 역사는 특수화된 언어 이해 시스템에서부터 Google의 많은 제품의 기반이 되고 AI 산업 전체의 발전 방향을 결정하는 대규모 멀티모달 및 에이전트 시스템에 이르는 여정을 반영합니다. ## Google 모델의 역사와 발전 ### 초기 성과와 신경망 번역 (2011–2016) Google에서 LLM 개발의 토대는 심층 신경망 응용에 전념한 **Google Brain** 프로젝트(2011)를 통해 마련되었습니다. 초기 돌파구 중 하나는 Tomáš Mikolov가 개발한 **Word2Vec** 알고리즘(2013)이었습니다. 이 알고리즘은 단어를 의미론적 맥락을 반영하는 벡터(embedding) 형태로 표현할 수 있게 해 주었으며, 이는 신경망에서의 언어 이해를 위한 기본적인 방법이 되었습니다. 다음 단계는 **seq2seq** (2014)와 같은 시퀀스 모델로의 전환이었으며, 이는 **Google Neural Machine Translation (GNMT)** (2016)의 기반이 되었습니다. Google 번역기를 LSTM 기반의 신경망 아키텍처로 전환함으로써 기계 번역의 품질이 크게 향상되었습니다. 동시에 2014년 Google에 인수된 자회사 DeepMind는 **AlphaGo** 시스템이 세계 바둑 챔피언을 꺾음으로써 딥러닝의 강력함을 증명하며 AI의 잠재력에 대한 믿음을 강화했습니다. ### Transformer 혁명과 BERT의 탄생 (2017–2018) 2017년 Google Brain의 연구자들은 「Attention Is All You Need」 논문을 통해 **Transformer** 아키텍처를 발표했습니다. **자기 주의(self-attention)** 메커니즘을 기반으로 하는 이 아키텍처는 시퀀스를 순차적이 아닌 병렬로 처리할 수 있게 하여 NLP 분야에 혁명을 일으켰으며 현대 모든 LLM의 기반이 되었습니다. 이 성공을 바탕으로 Google은 2018년 **BERT** (Bidirectional Encoder Representations from Transformers) 모델을 발표했습니다. BERT는 단어의 맥락을 좌우 양방향에서 동시에 고려하는 최초의 깊은 **양방향** 모델이었습니다. 이를 통해 다양한 언어 이해 과제(GLUE, SQuAD)에서 기록적인 성과를 달성하고 새로운 산업 표준을 세웠습니다. BERT는 두 가지 버전(1억 1천만 파라미터의 BASE와 3억 4천만 파라미터의 LARGE)으로 공개 코드 및 가중치와 함께 출시되어 대중적으로 확산되었습니다. 2019년부터 BERT는 Google 검색에서 쿼리를 더 잘 이해하기 위해 활용되기 시작했습니다. ### 규모 확대와 대화형 모델의 시대 (2019–2022) BERT 이후 Google은 규모와 아키텍처에 대한 실험을 계속했습니다: - **T5 (Text-to-Text Transfer Transformer, 2019)**: 모든 NLP 과제를 '텍스트-투-텍스트' 변환으로 처리하는 통합 모델. 거대한 C4 (Colossal Clean Crawled Corpus) 코퍼스로 학습되었으며, T5 역시 여러 크기(최대 110억 파라미터)로 공개 출시되었습니다. - **Meena (2020)**: 26억 파라미터를 가진 Google 최초의 특화 대화형 모델로, 개방형 대화에서 높은 품질을 보였습니다. - **LaMDA (Language Model for Dialogue Applications, 2021)**: 방대한 대화 코퍼스(1조 5,600억 단어)로 학습된 대화형 모델 패밀리(최대 1,370억 파라미터). LaMDA는 보다 자연스럽고 의미 있는 대화 생성을 목표로 했으며, Google 엔지니어가 모델의 '지각 능력'을 주장한 사건으로 일반 대중에게 알려졌습니다. - **Gopher와 Chinchilla (DeepMind, 2021–2022)**: 동시에 DeepMind는 스케일링 법칙을 연구했습니다. **Gopher** 모델(2,800억 파라미터)은 규모가 품질에 어떤 영향을 미치는지 보여주었습니다. 그리고 **Chinchilla** 모델(700억)은 최적의 성능을 위해 파라미터 수를 최대화하는 것보다 모델 크기와 학습 데이터 양 사이의 균형이 더 중요하다는 것을 증명했습니다. 이 결론은 'Chinchilla 법칙'으로 알려지게 되었으며 업계 전반의 LLM 학습 전략에 영향을 미쳤습니다. ### 초대형 및 멀티모달 모델의 시대 (2022–현재) - **PaLM (Pathways Language Model, 2022)**: 발표 당시 Google 최대의 밀집(dense) 모델로 **5,400억 파라미터**를 보유하며, 새로운 분산 인프라인 Pathways에서 학습되었습니다. PaLM은 특히 **Chain-of-Thought (CoT) prompting** 기법을 활용한 논리적 추론에서 획기적인 능력을 보여주었습니다. 이를 기반으로 의료 분야를 위한 **Med-PaLM** 등 특화 버전이 개발되었습니다. 2023년에는 개선된 버전인 **PaLM 2** (~3,400억 파라미터)가 출시되어 업데이트된 챗봇 Bard의 기반이 되었습니다. - **Gemini (2023–현재)**: Google DeepMind의 통합 팀이 만든 차세대 모델. Gemini는 처음부터 텍스트, 코드, 이미지, 오디오, 동영상을 처리할 수 있는 **네이티브 멀티모달** 시스템으로 설계되었습니다. 여러 버전으로 출시되었습니다: - **Gemini Ultra**: 복잡한 작업을 위한 가장 강력한 모델. - **Gemini Pro**: 다양한 작업을 위한 범용 모델. - **Gemini Nano**: 모바일 기기에서 동작하는 경량 모델. 2024–2025년에는 **Gemini 1.5** (최대 100만 토큰의 컨텍스트 창)와 에이전트 기능을 탑재한 **Gemini 2.0**으로 패밀리가 확장되었습니다. ## 아키텍처와 기술적 특성 ### 기반: 인코더, 디코더, 하이브리드 Google은 과제에 따라 Transformer 아키텍처의 다양한 변형을 사용합니다: - **인코더(Encoder-only)**: **BERT** 유형의 모델. 텍스트 전체를 처리하여 풍부한 맥락 표현을 생성합니다. 텍스트 분석 및 이해 과제(분류, 개체 추출)에 이상적이지만 생성에는 적합하지 않습니다. - **디코더(Decoder-only)**: **LaMDA** 및 **PaLM** 유형의 모델(GPT와 유사). 자기회귀 방식으로, 즉 토큰 단위로 텍스트를 예측합니다. 텍스트 완성, 대화, 질의응답에 적합한 자연스러운 생성 모델입니다. - **인코더-디코더(Encoder-Decoder)**: **T5** 및 **GNMT** 유형의 모델. 두 부분을 모두 갖추고 있어, 인코더가 입력 시퀀스를 처리하고 디코더가 출력을 생성합니다. 번역이나 요약과 같은 변환 과제를 위한 범용 아키텍처입니다. ### 규모: 파라미터, 데이터, 인프라 LLM 분야에서 Google의 성공은 주로 세 가지 요인에 기인합니다: 1. **모델 규모:** 수백만(BERT)에서 수천억(PaLM, Gemini)에 이르기까지 파라미터 수를 체계적으로 증가시켜 왔습니다. 2. **데이터 규모:** 세계 최대의 데이터 코퍼스 중 하나(Google 웹 인덱스, YouTube, Google Books)에 대한 접근을 통해 수조 개의 토큰으로 모델을 학습할 수 있습니다. 3. **인프라:** 자체 개발 전용 칩인 **Tensor Processing Unit (TPU)**와 분산 시스템 **Pathways**를 활용하여 초대형 모델을 효율적이고 안정적으로 학습합니다. ### 멀티모달리티와 에이전트 기능 Google의 최신 모델, 특히 **Gemini**는 깊은 멀티모달리티와 에이전트 기능을 향해 나아가고 있습니다. - **네이티브 멀티모달리티**는 단순히 별도의 모듈을 연결하는 것이 아니라 하나의 모델이 처음부터 다양한 유형의 데이터(텍스트, 이미지, 오디오)를 이해하고 결합하도록 학습된 것을 의미합니다. - **에이전트 기능(Agentic AI)**은 모델이 단순히 요청에 응답하는 것을 넘어 목표를 달성하기 위한 일련의 행동을 자율적으로 계획하고 실행하는 능력(예: 검색이나 계산기와 같은 외부 도구 호출)을 의미합니다. ## 주요 모델 요약 비교표 | 모델 | 출시 연도 | 파라미터 (추정) | 아키텍처 | 주요 특징 | |----------------|-----------|---------------------|---------------------|--------------------------------------------------------------------------------| | **BERT** | 2018 | 1억 1천만–3억 4천만 | 인코더 | 양방향 문맥 이해, NLP 과제에서 SOTA 달성. | | **T5** | 2019 | 6천만–110억 | 인코더-디코더 | 모든 과제에 대한 통합 '텍스트-투-텍스트' 방식. | | **LaMDA** | 2021 | 1,370억 | 디코더 | 개방적이고 의미 있는 대화에 특화. | | **PaLM** | 2022 | 5,400억 | 디코더 | 논리적 추론의 획기적 발전 (Chain-of-Thought), 대규모 학습. | | **Chinchilla** | 2022 | 700억 | 디코더 | '컴퓨트 최적(compute-optimal)' 모델로, 데이터와 파라미터 균형의 중요성을 입증. | | **Gemini 1.0** | 2023 | 최대 ~1조 (Ultra) | 멀티모달 (MoE 추정) | 네이티브 멀티모달리티, 다수 benchmark에서 SOTA (MMLU). | | **Gemini 1.5** | 2024 | 미공개 | 멀티모달 (MoE) | 최대 100~200만 토큰의 컨텍스트 창, 높은 효율성. | | **Gemini 2.0** | 2024 | 미공개 | 멀티모달 + Tools | 내장 에이전트 기능, 이미지/오디오 생성. | Google 주요 언어 모델 비교 ## 제품 및 생태계 적용 Google은 LLM을 전체 제품 라인에 적극적으로 통합하고 있습니다: - **Google 검색**: BERT, MUM, Gemini가 복잡한 쿼리를 더 잘 이해하고 **AI Overviews** (구 SGE) 형식으로 직접 답변을 제공하는 데 활용됩니다. - **Google 어시스턴트와 Bard (현재 Gemini)**: 단순한 음성 명령에서 LaMDA, PaLM 2, Gemini 기반의 본격적인 대화형 어시스턴트로의 전환. - **Google Workspace**: **Duet AI** (현재 Gemini for Workspace) 기능이 Gmail에서 이메일 작성, Docs에서 텍스트 생성, Slides에서 프레젠테이션 제작을 지원합니다. - **Android**: Gemini Nano는 Pixel 등 기기에서 AI 기능을 로컬로 실행하여 개인 정보 보호와 속도를 향상시킵니다. - **Google Cloud AI**: **Vertex AI** 플랫폼은 기업들이 자체 애플리케이션 개발을 위해 API를 통해 PaLM 및 Gemini 모델에 접근할 수 있도록 합니다. ## 경쟁 환경에서의 역할 Google은 'AI 경쟁'의 핵심 주체 중 하나로, 주요 경쟁자는 OpenAI(Microsoft 지원)와 Meta입니다. - **OpenAI와의 경쟁:** Google이 Transformer를 포함한 많은 기반 기술의 선구자였음에도 불구하고, 2022년 말 ChatGPT의 출시는 Google이 자사 제품(예: Bard)의 시장 출시를 가속화하게 만들었습니다. 경쟁은 모델 품질(Gemini Ultra vs. GPT-4), 컨텍스트 창 크기, API 사용 편의성 분야에서 전개됩니다. - **Meta와의 대비:** Meta는 **오픈 소스** 전략(LLaMA 모델)을 선택하여 Google과 OpenAI의 폐쇄형 모델에 대한 강력한 대안을 만들었습니다. 이에 대응하여 Google도 개발자 커뮤니티를 지원하고 Meta에 생태계를 빼앗기지 않기 위해 **Gemma** 같은 오픈 모델을 출시하기 시작했습니다. - **전략적 투자:** Google은 클라우드 경쟁에서 자신의 입지를 강화하고 접근 방식을 다각화하기 위해 Claude 모델의 제작사인 스타트업 Anthropic 등 다른 플레이어에도 투자하고 있습니다. ## 참고 문헌 - Vaswani, A. et al. (2017). *Attention Is All You Need*. NIPS. - Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. NAACL. - Raffel, C. et al. (2020). *Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer*. JMLR. - Thoppilan, R. et al. (2022). *LaMDA: Language Models for Dialog Applications*. arXiv:2201.08239. - Hoffmann, R. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556. - Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. JMLR. - Gemini Team, Google (2023). *Gemini: A Family of Highly Capable Multimodal Models*. arXiv:2312.11805. ## 외부 링크 - Google AI 공식 포털 - Google DeepMind 공식 사이트