LaMDA (Google) (CS)
LaMDA (Language Model for Dialogue Applications) — je rodina velkých jazykových modelů postavená na architektuře transformer, vyvinutá společností Google a specializovaná na vedení smysluplných, otevřených dialogů[1]. Na rozdíl od mnoha univerzálních modelů své doby byla LaMDA cíleně trénována pro udržování soudržných, vícekolových rozhovorů na prakticky libovolné téma s možností volného přepínání mezi kontexty[2].
Model byl poprvé veřejně představen na konferenci Google I/O v květnu 2021[3]. LaMDA byla prezentována jako zásadní krok k přirozenější interakci člověka s technologiemi, například prostřednictvím konverzačních rozhraní ve vyhledávání a hlasových asistentů[4].
Architektura a trénování
Základní architektura: „pouze dekodér"
LaMDA je jazykový model typu „pouze dekodér" (decoder-only), postavený na architektuře transformer. Tato architektura je standardem pro úlohy generování textu. Model pracuje autoregresivně — předpovídá následující slovo (token) v sekvenci na základě všech předchozích slov. To mu umožňuje generovat soudržný a logický text pokračující v zadaném rozhovoru, ale omezuje jeho schopnost vidět „pravý" kontext, na rozdíl od modelu BERT[5].
Rozsah a trénovací data
Rodina LaMDA zahrnuje modely s různým počtem parametrů, od 2 do 137 miliard. Pro předtrénování (pre-training) byl použit rozsáhlý datový korpus o objemu 1,56 bilionu slov, sestávající z veřejně dostupných dialogových dat a webových textů. Tento objem téměř 40krát překračuje data použitá pro trénování předchůdkyně LaMDA, modelu Meena[1].
Proces doladění (Fine-Tuning) a metriky
Výzkumníci společnosti Google dospěli k závěru, že pouhé škálování nestačí k zajištění bezpečnosti a faktické přesnosti odpovědí. Proto byl vyvinut vícestupňový proces doladění, v jehož průběhu byl model cíleně optimalizován podle tří klíčových metrik hodnocených lidskými anotátory[1]:
- Kvalita (Quality): Hodnocena prostřednictvím tří složek:
- Smysluplnost (Sensibleness): Logičnost a soulad s kontextem.
- Specifičnost (Specificity): Konkrétnost a informativnost odpovědí.
- Zajímavost (Interestingness): Pronikavost a vtip.
- Bezpečnost (Safety): Zamezení generování škodlivých, předpojatých nebo toxických výroků. Za tímto účelem byl doladěn speciální klasifikátor-filtr.
- Podloženost (Groundedness): Zaměřena na boj s „halucinacemi" (vymyšlenými fakty). LaMDA byla doladěna tak, aby v případě potřeby využívala sadu externích nástrojů (vyhledávač, kalkulačka, překladač) k ověřování a upřesňování faktických informací[1]. Tato inovace se stala jedním z prvních systémových řešení problému věrohodnosti u velkých jazykových modelů.
Historie vývoje a nasazení
Veřejná oznámení a LaMDA 2
Na Google I/O 2021 generální ředitel Sundar Pichai předvedl možnosti LaMDA ukázkou dialogů, v nichž model vedl rozhovor jako planeta Pluto a papírové letadélko[6].
O rok později, na Google I/O 2022, byla představena LaMDA 2, která se stala „ještě dokonalejším společníkem pro rozhovor". Zároveň Google spustila aplikaci AI Test Kitchen — „laboratoř" pro veřejné testování, kde mohli uživatelé vyzkoušet LaMDA v několika ukázkových scénářích[7]. To umožnilo shromáždit rozsáhlou zpětnou vazbu pro další zdokonalování modelu.
Integrace do Google Bard
V únoru 2023, na pozadí rychlého růstu popularity ChatGPT, Google oznámila spuštění vlastního experimentálního chatbotu Bard[8]. Bard zpočátku fungoval na odlehčené verzi LaMDA, aby se snížily nároky na výpočetní zdroje. LaMDA posloužila jako klíčová „přechodová" technologie, která umožnila Google rychle uvést na trh konkurenceschopný produkt, zatímco se připravovalo nasazení výkonnějších modelů, jako je PaLM.
Incident s Blakem Lemoineem
V červnu 2022 se LaMDA ocitla ve středu široké veřejné diskuse poté, co inženýr z oddělení etiky AI ve společnosti Google Blake Lemoine veřejně prohlásil, že model podle jeho názoru dosáhl úrovně vnímající bytosti (sentient). Zveřejnil úryvky svých dialogů s LaMDA, v nichž model uvažoval o sebevědomí, pocitech a vyjadřoval strach z vypnutí[9].
Oficiální stanovisko a reakce vědecké komunity
Google důrazně vyvrátila Lemoineova tvrzení a prohlásila, že po přezkoumání nebyly nalezeny žádné důkazy o rozumnosti modelu a existuje „množství důkazů proti tomu"[9]. V červenci 2022 byl Lemoine propuštěn za porušení firemní politiky důvěrnosti[10].
Drtivá většina vědců a odborníků na AI také odmítla myšlenku o vnímavosti LaMDA. Lingvistka Emily M. Bender a další výzkumníci zdůraznili, že takové modely jsou „stochastičtí papouškové" — složité algoritmy, které statisticky tvoří soudržné texty napodobující lidskou řeč, avšak bez skutečného porozumění nebo vědomí[11]. Incident názorně ukázal, jak snadno je člověk náchylný k antropomorfismu, připisujíce strojům lidské vlastnosti, a podnítil celosvětovou diskusi o povaze AI.
Přínos a odkaz
Navzdory relativně krátkému životnímu cyklu jako vlajková technologie zanechala LaMDA výraznou stopu v historii vývoje konverzační AI.
- Technologický přínos: LaMDA demonstrovala možnost vytváření otevřených, kontextově závislých dialogových systémů a stala se průkopníkem v systémovém přístupu k zajišťování bezpečnosti (filtrování na základě hodnot) a faktické podloženosti (využívání externích nástrojů).
- Role v ekosystému Google: LaMDA se stala kriticky důležitou přechodovou technologií, která umožnila Google rychle vstoupit do „války chatbotů" s produktem Bard a posloužila jako testovací polygon pro metody, jež se staly základem výkonnějších modelů, jako je PaLM a Gemini.
- Společenský dopad: Incident s Blakem Lemoineem posunul diskusi o povaze AI, vědomí a rizicích antropomorfismu na novou celosvětovou úroveň.
Odkazy
- Oficiální oznámení LaMDA na blogu Google
- Stránka vědecké publikace o LaMDA na Google Research
Literatura
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Poznámky
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]