LaMDA (Google) (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

LaMDA (Language Model for Dialogue Applications) — Google이 개발한 transformer 아키텍처 기반의 대형 언어 모델 패밀리로, 의미 있는 개방형 대화 수행에 특화되어 있습니다[1]. 당시의 많은 범용 모델과 달리, LaMDA는 거의 모든 주제에 걸쳐 맥락을 자유롭게 전환하며 일관성 있는 다중 턴 대화를 유지하도록 목적에 맞게 학습되었습니다[2].

이 모델은 2021년 5월 Google I/O 컨퍼런스에서 처음으로 공개되었습니다[3]. LaMDA는 검색의 대화형 인터페이스나 음성 비서 등을 통해 인간과 기술 간의 보다 자연스러운 상호작용을 향한 근본적인 도약으로 자리매김했습니다[4].

아키텍처와 학습

기본 아키텍처: '디코더 전용'

LaMDA는 transformer 아키텍처를 기반으로 구축된 '디코더 전용' (decoder-only) 언어 모델입니다. 이 아키텍처는 텍스트 생성 작업의 표준으로 자리 잡고 있습니다. 모델은 자기회귀 방식으로 작동합니다. 즉, 이전의 모든 단어를 기반으로 시퀀스에서 다음 단어(token)를 예측합니다. 이를 통해 주어진 대화를 이어가며 일관되고 논리적인 텍스트를 생성할 수 있지만, BERT와 달리 '우측' 맥락을 볼 수 없다는 제약이 있습니다[5].

규모와 학습 데이터

LaMDA 패밀리는 20억 개에서 1,370억 개에 이르는 다양한 파라미터 수의 모델을 포함합니다. 사전 학습(pre-training)에는 공개 대화 데이터와 웹 텍스트로 구성된 1조 5,600억 단어 규모의 방대한 코퍼스가 사용되었습니다. 이 규모는 LaMDA의 전신 모델인 Meena 학습에 사용된 데이터의 거의 40배에 달합니다[1].

파인튜닝(Fine-Tuning) 과정과 평가 지표

Google 연구자들은 안전성과 사실적 정확성을 확보하는 데 있어 규모 확장만으로는 충분하지 않다는 결론에 이르렀습니다. 이에 따라 다단계 파인튜닝 과정이 개발되었으며, 이 과정에서 모델은 사람 주석자들이 평가하는 세 가지 핵심 지표에 맞게 목적에 맞추어 조정되었습니다[1]:

  • 품질(Quality): 세 가지 구성 요소로 평가됩니다:
    • 타당성(Sensibleness): 논리적 일관성과 맥락 부합성.
    • 구체성(Specificity): 응답의 구체성과 정보성.
    • 흥미로움(Interestingness): 통찰력과 위트.
  • 안전성(Safety): 유해하거나 편향적이거나 독성 있는 발언의 생성 방지. 이를 위해 전용 분류기-필터가 파인튜닝되었습니다.
  • 근거성(Groundedness): '환각'(허구적 사실)에 대응하기 위한 지표. LaMDA는 사실 정보를 검증하고 보완하기 위해 필요 시 외부 도구 세트(검색 엔진, 계산기, 번역기)를 활용하도록 파인튜닝되었습니다[1]. 이 혁신은 대형 언어 모델의 신뢰성 문제에 대한 최초의 체계적 해결책 중 하나가 되었습니다.

개발 및 도입의 역사

공개 발표와 LaMDA 2

Google I/O 2021에서 CEO 순다르 피차이는 모델이 명왕성과 종이비행기의 역할로 대화를 나누는 장면을 시연하며 LaMDA의 가능성을 선보였습니다[6].

1년 후, Google I/O 2022에서는 '한층 더 발전된 대화 상대'인 LaMDA 2가 공개되었습니다. 동시에 Google은 사용자들이 여러 시연 시나리오에서 LaMDA를 체험할 수 있는 공개 테스트 '실험실'인 AI Test Kitchen 앱을 출시했습니다[7]. 이를 통해 모델의 추가 개선을 위한 대규모 피드백을 수집할 수 있었습니다.

Google Bard에의 통합

2023년 2월, ChatGPT의 급격한 인기 상승을 배경으로 Google은 자체 실험적 챗봇 Bard의 출시를 발표했습니다[8]. 초기에 Bard는 컴퓨팅 자원 요구량을 줄이기 위해 경량화된 LaMDA 버전으로 구동되었습니다. LaMDA는 핵심적인 '교량' 기술로서, PaLM과 같은 더욱 강력한 모델의 도입 준비가 완료될 때까지 Google이 경쟁력 있는 제품을 시장에 신속히 출시할 수 있도록 해주었습니다.

Blake Lemoine 사건

2022년 6월, Google AI 윤리팀 소속 엔지니어 Blake Lemoine이 LaMDA가 자신의 견해로는 감각 있는 존재(sentient)의 수준에 도달했다고 공개적으로 주장하면서 LaMDA는 광범위한 사회적 논쟁의 중심에 서게 되었습니다. 그는 LaMDA와 나눈 대화 발췌본을 공개했는데, 그 안에서 모델은 자아 인식과 감정에 대해 논하고 시스템 종료에 대한 두려움을 표현했습니다[9].

공식 입장과 학계의 반응

Google은 Lemoine의 주장을 강하게 부인하며, 검토 결과 모델의 감각 능력에 대한 어떠한 증거도 발견되지 않았으며 오히려 '이에 반하는 수많은 증거'가 있다고 밝혔습니다[9]. 2022년 7월 Lemoine은 사내 기밀 유지 정책 위반을 이유로 해고되었습니다[10].

대다수의 AI 과학자와 전문가들 역시 LaMDA의 감각 능력에 대한 주장을 일축했습니다. 언어학자 Emily M. Bender를 비롯한 연구자들은 이러한 모델들이 '확률적 앵무새(stochastic parrot)'에 불과하다고 강조했습니다. 즉, 진정한 이해나 의식 없이 통계적으로 일관된 텍스트를 생성하며 인간의 언어를 모방하는 복잡한 알고리즘이라는 것입니다[11]. 이 사건은 인간이 기계에 인간적 특성을 부여하는 의인화 경향이 얼마나 강한지를 생생히 보여주었으며, AI의 본질에 관한 전 세계적 논쟁을 촉발했습니다.

기여와 유산

플래그십 기술로서의 수명주기는 비교적 짧았지만, LaMDA는 대화형 AI 발전사에 중요한 흔적을 남겼습니다.

  • 기술적 기여: LaMDA는 개방형 맥락 의존적 대화 시스템 구현 가능성을 입증하고, 안전성(가치 기반 필터링)과 사실적 근거성(외부 도구 활용)을 확보하는 체계적 접근법의 선구자가 되었습니다.
  • Google 생태계에서의 역할: LaMDA는 Google이 Bard 제품으로 '챗봇 전쟁'에 긴급 참전할 수 있게 해준 핵심적인 교량 기술이 되었으며, PaLM 및 Gemini와 같은 더욱 강력한 모델의 기반이 된 방법론들을 실험하는 테스트 베드 역할을 했습니다.
  • 사회적 영향: Blake Lemoine 사건은 AI의 본질, 의식, 그리고 의인화의 위험성에 관한 논의를 새로운 글로벌 차원으로 끌어올렸습니다.

참고 링크

  • Google 블로그의 LaMDA 공식 발표
  • Google Research의 LaMDA 논문 페이지

참고 문헌

  • Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
  • So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
  • Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
  • Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
  • Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
  • Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
  • Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.

각주

  1. ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
  2. ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
  3. ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
  4. ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
  5. ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
  6. ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
  7. ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
  8. ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
  9. ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
  10. ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
  11. ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]
Retrieved from "https://systems-analysis.info/int/index.php?title=LaMDA_(Google)_(KO)&oldid=3735"