LaMDA (Google) (HU)
LaMDA (Language Model for Dialogue Applications) — a Google által fejlesztett, transformer architektúrán alapuló nagy nyelvi modellek családja, amelyet értelmes, nyílt végű párbeszédek folytatására specializáltak[1]. A korszak sok általános célú modelljével ellentétben a LaMDA-t kifejezetten arra képezték ki, hogy szinte bármilyen témában koherens, többfordulós beszélgetéseket folytasson, miközben szabadon vált a kontextusok között[2].
A modellt először nyilvánosan a 2021 májusi Google I/O konferencián mutatták be[3]. A LaMDA-t az ember és a technológia közötti természetesebb interakció felé tett alapvető lépésként pozicionálták, például a keresési és hangalapú asszisztensi párbeszédes felületeken keresztül[4].
Architektúra és tanítás
Az alapvető architektúra: „csak dekóder"
A LaMDA egy transformer architektúrára épített, „csak dekóderes" (decoder-only) típusú nyelvi modell. Ez az architektúra a szöveggenerálási feladatok szabványa. A modell autoregreszív módon működik — az összes korábbi szó alapján jósolja meg a következő szót (tokent) a sorozatban. Ez lehetővé teszi számára, hogy koherens és logikus szöveget generáljon egy adott beszélgetés folytatásaként, ugyanakkor korlátozza a „jobb oldali" kontextus látásának képességét, ellentétben a BERT-tel[5].
Méret és tanítási adatok
A LaMDA-család különböző paraméterszámú modelleket foglal magában, 2-től 137 milliárdig. Az előzetes tanításhoz (pre-training) egy 1,56 billió szóból álló hatalmas adatkorpuszt használtak, amely nyilvánosan elérhető párbeszédes adatokból és webes szövegekből állt. Ez a mennyiség közel 40-szer akkora volt, mint a LaMDA elődjének, a Meena modellnek a tanításához felhasznált adat[1].
A finomhangolás (Fine-Tuning) folyamata és metrikái
A Google kutatói arra a következtetésre jutottak, hogy önmagában a méretezés nem elegendő a biztonság és a ténybeli pontosság garantálásához. Ezért egy többlépéses finomhangolási folyamatot dolgoztak ki, amelynek során a modellt célirányosan három kulcsmetrika mentén hangolták, amelyeket emberi annotátorok értékeltek[1]:
- Minőség (Quality): Három összetevőn keresztül értékelik:
- Értelmesség (Sensibleness): Logikusság és kontextusnak való megfelelés.
- Specifikusság (Specificity): A válaszok konkrétsága és informatív jellege.
- Érdekesség (Interestingness): Éleslátás és szellemesség.
- Biztonság (Safety): Káros, elfogult vagy mérgező megnyilvánulások generálásának megelőzése. Ebből a célból egy speciális osztályozó-szűrőt hangoltak finomra.
- Megalapozottság (Groundedness): A „hallucinációk" (kitalált tények) elleni küzdelemre irányul. A LaMDA-t arra tanították, hogy szükség esetén külső eszközök (keresőmotor, számológép, fordító) segítségével ellenőrizze és pontosítsa a ténybeli információkat[1]. Ez az innováció a nagy nyelvi modellekben a hitelesség problémájának egyik első szisztematikus megoldása volt.
A fejlesztés és bevezetés története
Nyilvános bejelentések és LaMDA 2
A Google I/O 2021-en Sundar Pichai vezérigazgató bemutatta a LaMDA képességeit, olyan párbeszédeket mutatva be, amelyekben a modell a Plútó bolygó és egy papírrepülő nevében folytatott beszélgetést[6].
Egy évvel később, a Google I/O 2022-n bemutatták a LaMDA 2-t, amely „még tökéletesebb társalgópartnerré" vált. Ezzel egyidejűleg a Google elindította az AI Test Kitchen alkalmazást — egy nyilvános tesztelésre szolgáló „laboratóriumot", ahol a felhasználók néhány bemutató forgatókönyvben kipróbálhatták a LaMDA-t[7]. Ez lehetővé tette, hogy nagyszabású visszajelzéseket gyűjtsenek a modell további fejlesztéséhez.
Integráció a Google Bard-ba
2023 februárjában, a ChatGPT népszerűségének gyors növekedésével párhuzamosan, a Google bejelentette saját kísérleti chatbotjának, a Bard-nak az indítását[8]. Kezdetben a Bard a LaMDA egy könnyített verzióján futott, hogy csökkentsék a számítási erőforrásokkal szemben támasztott követelményeket. A LaMDA kulcsfontosságú „átmeneti" technológiaként szolgált, lehetővé téve a Google számára, hogy gyorsan versenyképes terméket vezessen piacra, miközben erősebb modellek, például a PaLM bevezetésére készültek.
A Blake Lemoine-incidens
2022 júniusában a LaMDA széles körű nyilvános vita középpontjába került, miután Blake Lemoine, a Google mesterséges intelligencia etikai részlegének egyik mérnöke nyilvánosan kijelentette, hogy megítélése szerint a modell elérte az érző lény (sentient) szintjét. Közzétette a LaMDA-val folytatott párbeszédeinek részleteit, amelyekben a modell az öntudatról és az érzésekről elmélkedett, és félelmet fejezett ki a lekapcsolástól[9].
A hivatalos álláspont és a tudományos közösség reakciója
A Google határozottan cáfolta Lemoine állításait, kijelentve, hogy az ellenőrzést követően nem találtak semmilyen bizonyítékot a modell értelmes voltára, sőt „számos ellenbizonyíték áll rendelkezésre"[9]. 2022 júliusában Lemoine-t a vállalati titoktartási szabályzat megsértése miatt elbocsátották[10].
A tudósok és mesterséges intelligencia szakértők túlnyomó többsége szintén elvetette a LaMDA értelmes voltának gondolatát. Emily M. Bender nyelvész és más kutatók hangsúlyozták, hogy az ilyen modellek „sztochasztikus papagájok" — összetett algoritmusok, amelyek statisztikailag koherens szövegeket formálnak, emberi beszédet utánozva, de valódi megértés vagy tudat nélkül[11]. Az incidens szemléletesen megmutatta, mennyire könnyen hajlamos az ember az antropomorfizmusra, emberi tulajdonságokat vetítve gépekre, és globális vitát indított el a mesterséges intelligencia természetéről.
Hozzájárulás és örökség
Annak ellenére, hogy viszonylag rövid életciklusa volt vezető technológiaként, a LaMDA jelentős nyomot hagyott a párbeszédes mesterséges intelligencia fejlődésének történetében.
- Technológiai hozzájárulás: A LaMDA bebizonyította, hogy lehetséges nyílt, kontextusfüggő párbeszédes rendszereket létrehozni, és úttörő szerepet játszott a biztonság (értékalapú szűrés) és a ténybeli megalapozottság (külső eszközökhöz való fordulás) rendszerszintű megközelítésében.
- Szerep a Google ökoszisztémájában: A LaMDA kritikusan fontos átmeneti technológiává vált, amely lehetővé tette a Google számára, hogy sürgősen belépjen a „chatbot-háborúba" a Bard termékkel, és kísérleti terepként szolgált olyan módszerekhez, amelyek erősebb modellek, például a PaLM és a Gemini alapját képezték.
- Társadalmi hatás: A Blake Lemoine-incidens új globális szintre emelte a mesterséges intelligencia természetéről, a tudatosságról és az antropomorfizmus kockázatairól szóló vitát.
Hivatkozások
- A LaMDA hivatalos bejelentése a Google blogjában
- A LaMDA tudományos közleményének oldala a Google Research-ön
Irodalom
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Megjegyzések
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]