LaMDA (Google) (HE)
LaMDA (Language Model for Dialogue Applications) — משפחה של מודלי שפה גדולים המבוססים על ארכיטקטורת transformer, שפותחה על ידי חברת Google ומתמחה בניהול שיחות פתוחות ובעלות משמעות[1]. בניגוד למודלים כלל-תכליתיים רבים שפעלו באותה תקופה, LaMDA אומנה במכוון לניהול שיחות קוהרנטיות ורב-שלביות בכמעט כל נושא, תוך מעבר חופשי בין הקשרים[2].
המודל הוצג לראשונה בפומבי בכנס Google I/O במאי 2021[3]. LaMDA הוצגה כצעד יסודי לקראת אינטראקציה טבעית יותר בין בני אדם לטכנולוגיה, למשל דרך ממשקים שיחותיים בחיפוש ובעוזרים קוליים[4].
ארכיטקטורה ואימון
ארכיטקטורת הבסיס: «decoder בלבד»
LaMDA היא מודל שפה מסוג «decoder בלבד» (decoder-only), הבנוי על ארכיטקטורת transformer. ארכיטקטורה זו היא הסטנדרט למשימות יצירת טקסט. המודל פועל אוטו-רגרסיבית — הוא מנבא את המילה הבאה (token) ברצף על בסיס כל המילים הקודמות. הדבר מאפשר לו לייצר טקסט קוהרנטי והגיוני בהמשך שיחה נתונה, אך מגביל את יכולתו לראות את ההקשר ה"ימני", בניגוד ל-BERT[5].
היקף ונתוני אימון
משפחת LaMDA כוללת מודלים עם כמויות פרמטרים שונות, בין 2 ל-137 מיליארד. לצורך אימון מקדים (pre-training) שימש קורפוס ענק של 1.56 טריליון מילים, המורכב מנתוני שיחה זמינים לציבור ומטקסטים מהאינטרנט. היקף זה גדול כמעט פי 40 מהנתונים שהשתמשה בהם Meena, קודמתה של LaMDA[1].
תהליך ה-Fine-Tuning ומדדי הערכה
חוקרי Google הגיעו למסקנה שהגדלת הסקאלה לבדה אינה מספיקה להבטחת בטיחות ודיוק עובדתי בתשובות. לכן פותח תהליך fine-tuning רב-שלבי, שבמסגרתו כוּוַן המודל במכוון על פי שלושה מדדים מרכזיים הנבחנים על ידי מאפיינים אנושיים[1]:
- איכות (Quality): נבחנת דרך שלושה מרכיבים:
- הגיוניות (Sensibleness): הגיון והתאמה להקשר.
- ספציפיות (Specificity): קונקרטיות ואינפורמטיביות של התשובות.
- מעניינות (Interestingness): תובנה ושנינות.
- בטיחות (Safety): מניעת יצירת אמירות מזיקות, מוטות או רעילות. לשם כך אומן מסווג-מסנן ייעודי.
- ביסוס עובדתי (Groundedness): מכוון להתמודדות עם "הזיות" (עובדות מומצאות). LaMDA אומנה לפנות במידת הצורך לסט של כלים חיצוניים (מנוע חיפוש, מחשבון, מתרגם) לצורך אימות ובדיקת מידע עובדתי[1]. חדשנות זו הייתה אחד הפתרונות המערכתיים הראשונים לבעיית המהימנות במודלי שפה גדולים.
היסטוריית הפיתוח וההטמעה
הכרזות פומביות ו-LaMDA 2
ב-Google I/O 2021 הדגים המנכ"ל סונדאר פיצ'אי את יכולות LaMDA, כשהציג שיחות שבהן המודל שוחח מנקודת מבטה של כוכב הלכת פלוטו ומטוס נייר[6].
שנה לאחר מכן, ב-Google I/O 2022, הוצגה LaMDA 2, שתוארה כ"בן שיח משוכלל עוד יותר". במקביל השיקה Google את אפליקציית AI Test Kitchen — "מעבדה" לבדיקה ציבורית, שבה יכלו משתמשים לנסות את LaMDA במספר תרחישי הדגמה[7]. הדבר אפשר לאסוף משוב נרחב לצורך שיפור המודל.
שילוב ב-Google Bard
בפברואר 2023, על רקע הצמיחה המהירה בפופולריות של ChatGPT, הכריזה Google על השקת צ'אט-בוט ניסיוני משלה בשם Bard[8]. בתחילה פעל Bard על גרסה קלה יותר של LaMDA, כדי להפחית את הדרישות למשאבי חישוב. LaMDA שימשה כטכנולוגיית "גשר" מרכזית שאיפשרה ל-Google להוציא מוצר תחרותי לשוק במהירות, בעוד שהוכנו למסחור מודלים עוצמתיים יותר כמו PaLM.
האירוע עם בלייק למואן
ביוני 2022 הפכה LaMDA למוקד דיון ציבורי נרחב, לאחר שהמהנדס ממחלקת אתיקת ה-AI של Google בלייק למואן הצהיר בפומבי כי המודל, לדעתו, הגיע לרמה של ישות בעלת תודעה (sentient). הוא פרסם קטעים משיחותיו עם LaMDA, שבהן הרהר המודל על מודעות עצמית, רגשות והביע חשש מפני כיבוי[9].
העמדה הרשמית ותגובת הקהילה המדעית
Google דחתה בתקיפות את טענות למואן, בהצהירה כי לאחר בדיקה לא נמצאו כל ראיות לתודעה במודל, ויש "עדויות רבות נגד כך"[9]. ביולי 2022 פוטר למואן בשל הפרת מדיניות הסודיות של החברה[10].
רוב מכריע של מדענים ומומחי AI דחו אף הם את הרעיון בדבר תודעתה של LaMDA. הבלשנית אמילי מ. בנדר וחוקרים אחרים הדגישו כי מודלים מסוג זה הם "תוכים סטוכסטיים" — אלגוריתמים מורכבים המרכיבים טקסטים קוהרנטיים באופן סטטיסטי ומחקים דיבור אנושי, אך ללא הבנה או תודעה אמיתית[11]. האירוע המחיש בצורה ברורה עד כמה קל לבני אדם ליפול לאנתרופומורפיזם ולייחס לאובייקטים מכניים תכונות אנושיות, ועורר דיון עולמי על טבעו של ה-AI.
תרומה ומורשת
חרף מחזור חיים קצר יחסית כטכנולוגיה דגל, LaMDA הותירה חותם משמעותי בהיסטוריית פיתוח ה-AI השיחותי.
- תרומה טכנולוגית: LaMDA הדגימה את האפשרות ליצור מערכות שיחה פתוחות ותלויות-הקשר, והייתה חלוצה בגישה המערכתית להבטחת בטיחות (סינון מבוסס ערכים) וביסוס עובדתי (פנייה לכלים חיצוניים).
- תפקיד באקוסיסטם של Google: LaMDA הפכה לטכנולוגיית מעבר קריטית שאיפשרה ל-Google להיכנס בדחיפות ל"מלחמת צ'אט-הבוטים" עם המוצר Bard, ושימשה כמגרש ניסויים לשיטות שעמדו בבסיס מודלים עוצמתיים יותר כגון PaLM ו-Gemini.
- השפעה חברתית: האירוע עם בלייק למואן העלה את הדיון על טבע ה-AI, התודעה וסכנות האנתרופומורפיזם לרמה עולמית חדשה.
קישורים חיצוניים
- הכרזה הרשמית על LaMDA בבלוג של Google
- דף הפרסום המדעי על LaMDA ב-Google Research
ספרות
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
הערות
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]