--- title: "LaMDA (Google) — 对话应用语言模型" source: "https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B" wiki: "systems-analysis.info/int" article: "LaMDA_(Google)_—_对话应用语言模型" language: "zh" categories: - "Category:Chinese" - "Category:Google" - "Category:Large language models" - "Category:LLM families" - "Category:Machine learning" revision_id: 3747 wiki_created_at: 2026-09-06T23:25:23Z wiki_modified_at: 2026-09-06T23:25:23Z downloaded_at: 2026-09-07T22:58:42Z --- # LaMDA (Google) — 对话应用语言模型 **LaMDA** (**L**anguage **M**odel for **D**ialogue **A**pplications) 是由 Google 开发的、基于 Transformer 架构的大型语言模型系列，专门用于进行有意义的、开放式的对话^{[\[1\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-thoppilan2022-1)}。与当时许多通用模型不同，LaMDA 经过专门训练，能够就几乎任何话题进行连贯、多轮的对话，并能自由地切换上下文^{[\[2\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-google-blog-lamda-2)}。该模型于**2021年5月的 Google I/O 大会**上首次公开亮相^{[\[3\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-verge-io-2021-3)}。LaMDA 被定位为实现人与技术之间更自然交互的基础性一步，例如通过搜索和语音助手中的对话界面^{[\[4\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-google-helpful-moments-4)}。 ## 架构与训练 ### 基本架构：“仅解码器” LaMDA 是一种基于 Transformer 架构构建的**“仅解码器”**（*decoder-only*）语言模型。该架构是文本生成任务的标准。模型以**自回归**方式工作——根据所有先前的词来预测序列中的下一个词（token）。这使其能够生成连贯且逻辑性强的文本，以继续给定的对话，但与 BERT 不同，这限制了其看到“右侧”上下文的能力^{[\[5\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-datacamp-what-is-lamda-5)}。 ### 规模与训练数据 LaMDA 系列包括参数量从 20 亿到 **1370 亿**不等的多个模型。预训练（pre-training）使用了一个包含 **1.56 万亿个单词** 的庞大数据集，该数据集由公开的对话数据和网络文本组成。这一数据量几乎是 LaMDA 的前身 Meena 模型训练数据量的 40 倍^{[\[1\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-thoppilan2022-1)}。 ### 微调 (Fine-Tuning) 过程与指标 Google 的研究人员得出结论，仅靠扩大模型规模不足以确保安全性和事实准确性。因此，他们开发了一个多阶段的微调过程，在该过程中，模型根据由人类标注员评估的三个关键指标进行专门调整^{[\[1\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-thoppilan2022-1)}： - **质量 (Quality)**：通过三个部分进行评估： - *合理性 (Sensibleness)'*: 逻辑性和与上下文的匹配度。 - *具体性 (Specificity)'*: 回答的具体性和信息量。 - *趣味性 (Interestingness)'*: 富有洞察力和巧妙性。 - **安全性 (Safety)**：防止生成有害、有偏见或有毒的言论。为此，他们微调了一个专门的分类器-过滤器。 - **根据性 (Groundedness)**：旨在对抗“幻觉”（捏造的事实）。LaMDA 被微调为在必要时可以调用一套**外部工具**（如搜索引擎、计算器、翻译器）来核实和 уточнение 事实信息^{[\[1\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-thoppilan2022-1)}。这项创新成为解决大型语言模型可靠性问题的首批系统性方案之一。 ## 开发与部署历史 ### 公开发布与 LaMDA 2 在 **2021 年 Google I/O 大会**上，首席执行官桑达尔·皮查伊 (Sundar Pichai) 展示了 LaMDA 的能力，演示了模型分别扮演冥王星和纸飞机进行对话的场景^{[\[6\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-vincent-pluto-6)}。一年后，在 **2022 年 Google I/O 大会**上，**LaMDA 2** 正式亮相，它成为了一个“更加出色的对话伙伴”。同时，Google 推出了 **AI Test Kitchen** 应用，这是一个用于公开测试的“实验室”，用户可以在其中体验 LaMDA 的几个演示场景^{[\[7\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-google-io-2022-keynote-7)}。这使得 Google 能够收集大量反馈，以进一步改进模型。 ### 集成至 Google Bard 2023年2月，在 ChatGPT 人气迅速飙升的背景下，Google 宣布推出自家的实验性聊天机器人 **Bard**^{[\[8\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-google-bard-announcement-8)}。最初，Bard 运行在 LaMDA 的一个轻量级版本上，以降低对计算资源的要求。LaMDA 成为一项关键的“过渡”技术，使 Google 能够迅速推出具有竞争力的产品，同时为部署更强大的模型（如 PaLM）做准备。 ## 布莱克·莱莫因事件 2022年6月，LaMDA 成为一场广泛社会讨论的焦点。此前，Google AI 伦理部门的工程师**布莱克·莱莫因**（Blake Lemoine）公开宣称，他认为该模型已达到有知觉（*sentient*）的水平。他公布了自己与 LaMDA 的对话片段，在这些对话中，模型谈论了自我意识、情感，并表达了对被关闭的恐惧^{[\[9\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-guardian-leave-9)}。 ### 官方立场与科学界反应 Google 坚决否认了莱莫因的说法，声明经过审查后，未发现任何模型具有知觉的证据，反而有“大量证据表明其不具备知觉”^{[\[9\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-guardian-leave-9)}。2022年7月，莱莫因因违反公司保密政策而被解雇^{[\[10\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-guardian-fires-10)}。绝大多数 AI 科学家和专家也驳斥了 LaMDA 具有知觉的观点。语言学家**艾米丽·M·本德**（Emily M. Bender）等研究人员强调，这类模型是“随机鹦鹉”——它们是复杂的算法，通过统计学方法生成连贯的文本来模仿人类语言，但并不具备真正的理解力或意识^{[\[11\]](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_note-wapo-lemoine-11)}。这一事件生动地表明，人类是多么容易产生拟人化的倾向，将人类的特质赋予机器，并激发了关于 AI 本质的全球性讨论。 ## 贡献与遗产尽管作为一项旗舰技术的生命周期相对较短，LaMDA 仍在对话式 AI 的发展史上留下了重要印记。 - **技术贡献**：LaMDA 展示了构建开放式、上下文相关的对话系统的可能性，并开创了确保**安全性**（基于价值观的过滤）和**事实根据性**（调用外部工具）的系统性方法。 - **在 Google 生态系统中的作用**：LaMDA 成为一项至关重要的过渡技术，它使 Google 能够凭借 Bard 产品紧急加入“聊天机器人大战”，并为后来更强大的模型（如 PaLM 和 Gemini）所采用的方法提供了试验场。 - **社会影响**：布莱克·莱莫因事件将关于 AI 本质、意识以及拟人化风险的讨论提升到了一个新的全球高度。 ## 外部链接 - LaMDA 在 Google 博客上的官方发布 - Google Research 上关于 LaMDA 的科学出版物页面 ## 参考文献 - Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762. - So, D. R. et al. (2019). *The Evolved Transformer*. arXiv:1901.11117. - Zhang, Y. et al. (2020). *DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation*. arXiv:1911.00536. - Adiwardana, D. et al. (2020). *Towards a Human-like Open-Domain Chatbot*. arXiv:2001.09977. - Roller, S. et al. (2021). *Recipes for Building an Open-Domain Chatbot*. arXiv:2004.13637. - Lin, S. et al. (2021). *TruthfulQA: Measuring How Models Mimic Human Falsehoods*. arXiv:2109.07958. - Thoppilan, R. et al. (2022). *LaMDA: Language Models for Dialog Applications*. arXiv:2201.08239. - Bai, Y. et al. (2022). *Constitutional AI: Harmlessness from AI Feedback*. arXiv:2212.08073. ## 注释 1. ↑ ^{[1.0](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-thoppilan2022_1-0)} ^{[1.1](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-thoppilan2022_1-1)} ^{[1.2](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-thoppilan2022_1-2)} ^{[1.3](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-thoppilan2022_1-3)} Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». *arXiv*. [1] 2. [↑](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-google-blog-lamda_2-0) Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». *Google AI Blog*. [2] 3. [↑](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-verge-io-2021_3-0) Peters, Jay. «Google I/O 2021: the 14 biggest announcements». *The Verge*. [3] 4. [↑](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-google-helpful-moments_4-0) «Google I/O 2021: Being helpful in moments that matter». *Официальный блог Google*. [4] 5. [↑](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-datacamp-what-is-lamda_5-0) «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». *DataCamp*. [5] 6. [↑](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-vincent-pluto_6-0) Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». *The Verge*. [6] 7. [↑](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-google-io-2022-keynote_7-0) «Google I/O 2022: Advancing knowledge and computing (Keynote)». *Официальный блог Google*. [7] 8. [↑](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-google-bard-announcement_8-0) Pichai, Sundar. «An important next step on our AI journey». *Официальный блог Google*. [8] 9. ↑ ^{[9.0](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-guardian-leave_9-0)} ^{[9.1](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-guardian-leave_9-1)} Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». *The Guardian*. [9] 10. [↑](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-guardian-fires_10-0) «Google fires software engineer who claims AI chatbot is sentient». *The Guardian*. [10] 11. [↑](https://systems-analysis.info/int/LaMDA_(Google)_%E2%80%94_%E5%AF%B9%E8%AF%9D%E5%BA%94%E7%94%A8%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B#cite_ref-wapo-lemoine_11-0) Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». *The Washington Post*. [11]