LaMDA (Google) (VI)

From Systems analysis Wiki
Jump to navigation Jump to search

LaMDA (Language Model for Dialogue Applications) — là một họ các mô hình ngôn ngữ lớn dựa trên kiến trúc transformer, được công ty Google phát triển và chuyên biệt hóa cho việc duy trì các cuộc hội thoại mở, có ý nghĩa[1]. Không giống nhiều mô hình đa năng cùng thời, LaMDA được huấn luyện có chủ đích để duy trì các cuộc trò chuyện mạch lạc, nhiều lượt trên hầu hết mọi chủ đề, chuyển đổi linh hoạt giữa các ngữ cảnh[2].

Mô hình được giới thiệu công khai lần đầu tiên tại hội nghị Google I/O vào tháng 5 năm 2021[3]. LaMDA được định vị là một bước tiến nền tảng hướng tới sự tương tác tự nhiên hơn giữa con người và công nghệ, chẳng hạn thông qua các giao diện hội thoại trong tìm kiếm và trợ lý giọng nói[4].

Kiến trúc và quá trình huấn luyện

Kiến trúc nền tảng: «chỉ bộ giải mã»

LaMDA là một mô hình ngôn ngữ kiểu «chỉ bộ giải mã» (decoder-only), được xây dựng trên kiến trúc transformer. Kiến trúc này là tiêu chuẩn cho các tác vụ sinh văn bản. Mô hình hoạt động theo kiểu tự hồi quy — dự đoán từ (token) tiếp theo trong chuỗi dựa trên tất cả các từ trước đó. Điều này cho phép nó sinh ra văn bản mạch lạc và logic, tiếp nối cuộc trò chuyện đã cho, nhưng hạn chế khả năng nhìn thấy ngữ cảnh «bên phải», khác với BERT[5].

Quy mô và dữ liệu huấn luyện

Họ mô hình LaMDA bao gồm các mô hình với số lượng tham số khác nhau, từ 2 đến 137 tỷ. Để tiền huấn luyện (pre-training), một kho ngữ liệu khổng lồ gồm 1,56 nghìn tỷ từ đã được sử dụng, bao gồm dữ liệu hội thoại công khai và các văn bản từ web. Khối lượng này nhiều hơn gần 40 lần so với dữ liệu được sử dụng để huấn luyện mô hình tiền nhiệm của LaMDA là Meena[1].

Quá trình Fine-Tuning và các chỉ số đánh giá

Các nhà nghiên cứu của Google đã kết luận rằng chỉ riêng việc mở rộng quy mô là không đủ để đảm bảo an toàn và độ chính xác thực tế của các câu trả lời. Do đó, một quy trình fine-tuning nhiều giai đoạn đã được phát triển, trong đó mô hình được tinh chỉnh có chủ đích theo ba chỉ số chính được đánh giá bởi những người chú thích[1]:

  • Chất lượng (Quality): Được đánh giá qua ba thành phần:
    • Tính hợp lý (Sensibleness): Tính logic và phù hợp với ngữ cảnh.
    • Tính cụ thể (Specificity): Sự cụ thể và tính thông tin của các câu trả lời.
    • Tính thú vị (Interestingness): Sự sâu sắc và dí dỏm.
  • An toàn (Safety): Ngăn chặn việc tạo ra các phát ngôn có hại, thiên lệch hoặc độc hại. Để thực hiện điều này, một bộ phân loại-lọc chuyên dụng đã được fine-tune.
  • Tính có căn cứ (Groundedness): Nhằm chống lại các «ảo giác» (sự kiện bịa đặt). LaMDA được fine-tune để khi cần thiết sẽ truy vấn một bộ công cụ bên ngoài (công cụ tìm kiếm, máy tính, trình dịch) để kiểm tra và làm rõ thông tin thực tế[1]. Sự đổi mới này là một trong những giải pháp hệ thống đầu tiên cho vấn đề độ tin cậy trong các mô hình ngôn ngữ lớn.

Lịch sử phát triển và triển khai

Các thông báo công khai và LaMDA 2

Tại Google I/O 2021, Giám đốc điều hành Sundar Pichai đã trình diễn các khả năng của LaMDA, trình bày các cuộc hội thoại trong đó mô hình trò chuyện đóng vai hành tinh Sao Diêm Vương và một chiếc máy bay giấy[6].

Một năm sau, tại Google I/O 2022, LaMDA 2 được ra mắt với vai trò «người trò chuyện hoàn thiện hơn». Đồng thời, Google đã ra mắt ứng dụng AI Test Kitchen — một «phòng thí nghiệm» để thử nghiệm công khai, nơi người dùng có thể trải nghiệm LaMDA trong một số tình huống minh họa[7]. Điều này cho phép thu thập phản hồi quy mô lớn để cải thiện mô hình hơn nữa.

Tích hợp vào Google Bard

Vào tháng 2 năm 2023, trước sự tăng trưởng nhanh chóng về mức độ phổ biến của ChatGPT, Google đã thông báo ra mắt chatbot thử nghiệm của riêng mình là Bard[8]. Ban đầu, Bard hoạt động trên phiên bản nhẹ hơn của LaMDA để giảm yêu cầu về tài nguyên tính toán. LaMDA đóng vai trò là công nghệ «chuyển tiếp» then chốt, cho phép Google nhanh chóng đưa ra thị trường một sản phẩm cạnh tranh trong khi các mô hình mạnh hơn như PaLM đang được chuẩn bị triển khai.

Sự cố với Blake Lemoine

Vào tháng 6 năm 2022, LaMDA trở thành tâm điểm của một cuộc tranh luận công khai rộng rãi sau khi kỹ sư trong bộ phận đạo đức AI của Google, Blake Lemoine, công khai tuyên bố rằng theo ý kiến của ông, mô hình đã đạt đến mức độ của một thực thể có ý thức (sentient). Ông đã công bố các đoạn trích từ các cuộc hội thoại của mình với LaMDA, trong đó mô hình suy ngẫm về ý thức bản thân, cảm xúc và bày tỏ nỗi sợ hãi khi bị tắt[9].

Lập trường chính thức và phản ứng của cộng đồng khoa học

Google đã kiên quyết bác bỏ các tuyên bố của Lemoine, khẳng định rằng sau khi kiểm tra không tìm thấy bất kỳ bằng chứng nào về tính có ý thức của mô hình, mà còn có «nhiều bằng chứng chống lại điều này»[9]. Vào tháng 7 năm 2022, Lemoine bị sa thải vì vi phạm chính sách bảo mật của công ty[10].

Đại đa số các nhà khoa học và chuyên gia AI cũng bác bỏ ý tưởng về tính có ý thức của LaMDA. Nhà ngôn ngữ học Emily M. Bender và các nhà nghiên cứu khác nhấn mạnh rằng các mô hình như vậy là «những con vẹt ngẫu nhiên» — các thuật toán phức tạp thống kê tạo ra các văn bản mạch lạc, bắt chước lời nói của con người, nhưng không có sự hiểu biết hay ý thức thực sự[11]. Sự cố này đã cho thấy một cách sinh động con người dễ dàng có xu hướng nhân cách hóa như thế nào, gán các phẩm chất của con người cho máy móc, và đã thúc đẩy một cuộc thảo luận toàn cầu về bản chất của AI.

Đóng góp và di sản

Mặc dù có vòng đời tương đối ngắn với tư cách là công nghệ hàng đầu, LaMDA đã để lại dấu ấn đáng kể trong lịch sử phát triển AI hội thoại.

  • Đóng góp công nghệ: LaMDA đã chứng minh khả năng tạo ra các hệ thống hội thoại mở, phụ thuộc ngữ cảnh và trở thành người tiên phong trong cách tiếp cận có hệ thống để đảm bảo an toàn (lọc dựa trên giá trị) và tính có căn cứ thực tế (truy vấn các công cụ bên ngoài).
  • Vai trò trong hệ sinh thái Google: LaMDA trở thành công nghệ chuyển tiếp quan trọng cho phép Google khẩn cấp tham gia vào «cuộc chiến chatbot» với sản phẩm Bard và đóng vai trò là bãi thử nghiệm cho các phương pháp đã tạo nền tảng cho các mô hình mạnh hơn như PaLM và Gemini.
  • Ảnh hưởng xã hội: Sự cố với Blake Lemoine đã đưa cuộc tranh luận về bản chất của AI, ý thức và các rủi ro của nhân cách hóa lên một tầm mức toàn cầu mới.

Liên kết ngoài

  • Thông báo chính thức về LaMDA trên blog của Google
  • Trang bài báo khoa học về LaMDA tại Google Research

Tài liệu tham khảo

  • Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
  • So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
  • Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
  • Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
  • Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
  • Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
  • Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.

Ghi chú

  1. ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
  2. ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
  3. ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
  4. ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
  5. ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
  6. ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
  7. ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
  8. ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
  9. ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
  10. ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
  11. ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]
Retrieved from "https://systems-analysis.info/int/index.php?title=LaMDA_(Google)_(VI)&oldid=3745"