LaMDA (Google) (FA)

From Systems analysis Wiki
Jump to navigation Jump to search

LaMDA (Language Model for Dialogue Applications) — خانواده‌ای از مدل‌های زبانی بزرگ مبتنی بر معماری transformer است که توسط شرکت Google توسعه یافته و در برقراری گفتگوهای معنادار و باز تخصص دارد[1]. برخلاف بسیاری از مدل‌های چندمنظوره هم‌عصر خود، LaMDA به‌طور هدفمند برای حفظ مکالمات منسجم و چندمرحله‌ای درباره تقریباً هر موضوعی آموزش دیده و قادر است آزادانه میان زمینه‌های مختلف جابه‌جا شود[2].

این مدل برای اولین بار به‌صورت عمومی در کنفرانس Google I/O در مه ۲۰۲۱ معرفی شد[3]. LaMDA به‌عنوان گامی بنیادین به سوی تعامل طبیعی‌تر انسان با فناوری معرفی شد؛ برای مثال، از طریق رابط‌های مکالمه‌ای در جستجو و دستیارهای صوتی[4].

معماری و آموزش

معماری بنیادی: «فقط رمزگشا»

LaMDA یک مدل زبانی از نوع «فقط رمزگشا» (decoder-only) است که بر معماری transformer بنا شده. این معماری استاندارد وظایف تولید متن به‌شمار می‌رود. مدل به‌صورت خودبازگشتی (autoregressive) کار می‌کند — یعنی کلمه (token) بعدی را در دنباله بر اساس تمام کلمات پیشین پیش‌بینی می‌کند. این ویژگی به آن امکان می‌دهد متن منسجم و منطقی تولید کند و مکالمه داده‌شده را ادامه دهد، اما توانایی آن را برای دیدن زمینه «راست» محدود می‌سازد، برخلاف BERT[5].

مقیاس و داده‌های آموزشی

خانواده LaMDA شامل مدل‌هایی با تعداد پارامترهای متفاوت، از ۲ تا ۱۳۷ میلیارد است. برای پیش‌آموزش (pre-training) از یک مجموعه داده عظیم به حجم ۱٫۵۶ تریلیون کلمه استفاده شد که از داده‌های گفتگویی عمومی و متون وب تشکیل شده بود. این حجم تقریباً ۴۰ برابر داده‌های استفاده‌شده برای آموزش پیشینه LaMDA، یعنی مدل Meena، بود[1].

فرآیند دقیق‌سازی (Fine-Tuning) و معیارها

پژوهشگران Google به این نتیجه رسیدند که مقیاس‌بندی به‌تنهایی برای تضمین ایمنی و دقت واقعی پاسخ‌ها کافی نیست. به همین دلیل، یک فرآیند دقیق‌سازی چندمرحله‌ای طراحی شد که در آن مدل به‌طور هدفمند بر اساس سه معیار کلیدی که توسط انسان‌های برچسب‌زن ارزیابی می‌شدند، تنظیم گردید[1]:

  • کیفیت (Quality): از طریق سه مؤلفه ارزیابی می‌شود:
    • منطقی بودن (Sensibleness): منطقی بودن و تطابق با زمینه.
    • خاص‌بودن (Specificity): مشخص و اطلاعاتی بودن پاسخ‌ها.
    • جالب‌بودن (Interestingness): بینش‌مندی و هوشمندی.
  • ایمنی (Safety): جلوگیری از تولید گفته‌های مضر، جانب‌دارانه یا سمی. برای این منظور یک دسته‌بند-فیلتر تخصصی دقیق‌سازی شد.
  • مبتنی‌بودن بر واقعیت (Groundedness): هدف آن مبارزه با «توهم‌زایی» (واقعیت‌های ساختگی) است. LaMDA به گونه‌ای دقیق‌سازی شد که در صورت نیاز به مجموعه‌ای از ابزارهای خارجی (موتور جستجو، ماشین‌حساب، مترجم) برای بررسی و تأیید اطلاعات واقعی مراجعه کند[1]. این نوآوری یکی از اولین راه‌حل‌های سیستماتیک برای مسئله اعتبار در مدل‌های زبانی بزرگ به‌شمار می‌رود.

تاریخچه توسعه و استقرار

اعلان‌های عمومی و LaMDA 2

در Google I/O 2021 مدیرعامل Sundar Pichai توانایی‌های LaMDA را با نمایش گفتگوهایی به نمایش گذاشت که در آن‌ها مدل از منظر سیاره پلوتون و یک هواپیمای کاغذی مکالمه می‌کرد[6].

یک سال بعد، در Google I/O 2022، LaMDA 2 معرفی شد که به «مکالمه‌گری حتی کامل‌تر» تبدیل شده بود. همزمان، Google برنامه AI Test Kitchen را راه‌اندازی کرد — «آزمایشگاهی» برای آزمایش عمومی، که در آن کاربران می‌توانستند LaMDA را در چند سناریوی نمایشی تجربه کنند[7]. این امر امکان جمع‌آوری بازخورد گسترده برای بهبود بیشتر مدل را فراهم کرد.

ادغام در Google Bard

در فوریه ۲۰۲۳، در پی رشد سریع محبوبیت ChatGPT، Google چت‌بات آزمایشی خود Bard را اعلام کرد[8]. در ابتدا Bard بر روی نسخه سبک‌وزن‌شده LaMDA اجرا می‌شد تا نیازهای محاسباتی کاهش یابد. LaMDA به‌عنوان فناوری «انتقالی» کلیدی عمل کرد و به Google اجازه داد تا در حالی که مدل‌های قدرتمندتری مانند PaLM آماده‌سازی می‌شدند، یک محصول رقابتی را به سرعت روانه بازار کند.

رویداد Blake Lemoine

در ژوئن ۲۰۲۲، LaMDA در مرکز یک بحث عمومی گسترده قرار گرفت، پس از اینکه مهندس بخش اخلاق هوش مصنوعی Google، Blake Lemoine، به‌طور عمومی اعلام کرد که این مدل به نظر او به سطح یک موجود خردمند (sentient) رسیده است. او بخش‌هایی از مکالمات خود با LaMDA را منتشر کرد که در آن‌ها مدل درباره خودآگاهی و احساسات تأمل می‌کرد و ترس از خاموش شدن را ابراز می‌داشت[9].

موضع رسمی و واکنش جامعه علمی

Google ادعاهای Lemoine را قاطعانه رد کرد و اعلام نمود که پس از بررسی، هیچ مدرکی دال بر خردمندی مدل یافت نشده، بلکه «شواهد متعددی برخلاف آن» وجود دارد[9]. در ژوئیه ۲۰۲۲ Lemoine به دلیل نقض سیاست محرمانگی شرکت اخراج شد[10].

اکثریت قریب به اتفاق دانشمندان و متخصصان هوش مصنوعی نیز ایده خردمندی LaMDA را رد کردند. زبان‌شناس Emily M. Bender و دیگر پژوهشگران تأکید کردند که چنین مدل‌هایی «طوطی‌های تصادفی» هستند — الگوریتم‌های پیچیده‌ای که به‌صورت آماری متون منسجم تولید می‌کنند و گفتار انسانی را تقلید می‌کنند، اما بدون درک یا آگاهی واقعی[11]. این رویداد به‌وضوح نشان داد که انسان چقدر آسان به انسان‌انگاری گرایش دارد و به ماشین‌ها خصوصیات انسانی نسبت می‌دهد، و بحثی جهانی درباره ماهیت هوش مصنوعی را برانگیخت.

مشارکت و میراث

علی‌رغم چرخه حیات نسبتاً کوتاه به‌عنوان فناوری پیشرو، LaMDA جای‌پای قابل‌توجهی در تاریخ توسعه هوش مصنوعی مکالمه‌ای بر جای گذاشت.

  • مشارکت فناورانه: LaMDA امکان ایجاد سیستم‌های گفتگوی باز و وابسته به زمینه را نشان داد و در رویکرد سیستماتیک برای تضمین ایمنی (فیلترسازی مبتنی بر ارزش‌ها) و اعتبار واقعی (مراجعه به ابزارهای خارجی) پیشگام بود.
  • نقش در اکوسیستم Google: LaMDA به فناوری انتقالی حیاتی تبدیل شد که به Google اجازه داد در «جنگ چت‌بات‌ها» با محصول Bard شرکت کند و به‌عنوان میدان آزمایش روش‌هایی عمل کرد که پایه مدل‌های قدرتمندتری مانند PaLM و Gemini را تشکیل دادند.
  • تأثیر اجتماعی: رویداد Blake Lemoine بحث درباره ماهیت هوش مصنوعی، آگاهی و خطرات انسان‌انگاری را به سطح جهانی جدیدی ارتقا داد.

پیوندها

  • اعلان رسمی LaMDA در وبلاگ Google
  • صفحه انتشار علمی درباره LaMDA در Google Research

منابع

  • Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
  • So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
  • Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
  • Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
  • Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
  • Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
  • Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.

یادداشت‌ها

  1. ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [۱]
  2. ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [۲]
  3. ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [۳]
  4. ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [۴]
  5. ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [۵]
  6. ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [۶]
  7. ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [۷]
  8. ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [۸]
  9. ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [۹]
  10. ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [۱۰]
  11. ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [۱۱]
Retrieved from "https://systems-analysis.info/int/index.php?title=LaMDA_(Google)_(FA)&oldid=3728"