LaMDA (Google) (NL)
LaMDA (Language Model for Dialogue Applications) — dit is een familie van grote taalmodellen gebaseerd op de transformer-architectuur, ontwikkeld door Google en gespecialiseerd in het voeren van betekenisvolle, open dialogen[1]. Anders dan veel universele modellen uit die tijd was LaMDA gericht getraind voor het ondersteunen van samenhangende, meervoudige gesprekken over vrijwel elk onderwerp, waarbij vrij tussen contexten kan worden gewisseld[2].
Het model werd voor het eerst publiekelijk gepresenteerd op de conferentie Google I/O in mei 2021[3]. LaMDA werd gepositioneerd als een fundamentele stap naar een meer natuurlijke interactie tussen mensen en technologie, bijvoorbeeld via conversatie-interfaces in zoekopdrachten en spraakassistenten[4].
Architectuur en training
Fundamentele architectuur: «alleen-decoder»
LaMDA is een taalmodel van het type «alleen-decoder» (decoder-only), gebouwd op de transformer-architectuur. Deze architectuur is de standaard voor tekstgeneratietaken. Het model werkt autoregressief — het voorspelt het volgende woord (token) in een reeks op basis van alle voorgaande woorden. Hierdoor kan het samenhangende en logische tekst genereren door een gegeven gesprek voort te zetten, maar dit beperkt zijn vermogen om de «rechter» context te zien, in tegenstelling tot BERT[5].
Schaal en trainingsdata
De LaMDA-familie omvat modellen met een verschillend aantal parameters, van 2 tot 137 miljard. Voor de voortraining (pre-training) werd een enorm gegevenscorpus van 1,56 biljoen woorden gebruikt, bestaande uit openbaar beschikbare conversatiedata en webteksten. Dit volume was bijna 40 keer groter dan de data die werd gebruikt voor het trainen van LaMDA's voorganger, het model Meena[1].
Fine-Tuning-proces en meetwaarden
Onderzoekers van Google kwamen tot de conclusie dat opschaling alleen onvoldoende was om de veiligheid en feitelijke nauwkeurigheid van antwoorden te garanderen. Daarom werd een meerfasig fine-tuning-proces ontwikkeld, waarbij het model gericht werd afgestemd op drie sleutelmaatstaven, beoordeeld door menselijke annotators[1]:
- Kwaliteit (Quality): Beoordeeld aan de hand van drie componenten:
- Begrijpelijkheid (Sensibleness): Logica en aansluiting bij de context.
- Specificiteit (Specificity): Concreetheid en informatiewaarde van antwoorden.
- Interessantheid (Interestingness): Scherpzinnigheid en vernuft.
- Veiligheid (Safety): Voorkomen van het genereren van schadelijke, bevooroordeelde of toxische uitingen. Hiervoor werd een speciale classifier-filter nagetrained.
- Feitelijke onderbouwing (Groundedness): Gericht op de bestrijding van «hallucinaties» (verzonnen feiten). LaMDA werd zo nagetrained dat het indien nodig een reeks externe hulpmiddelen (zoekmachine, rekenmachine, vertaalprogramma) raadpleegt om feitelijke informatie te verifiëren en te verfijnen[1]. Deze innovatie was een van de eerste systematische oplossingen voor het betrouwbaarheidsprobleem bij grote taalmodellen.
Ontwikkelings- en implementatiegeschiedenis
Publieke aankondigingen en LaMDA 2
Op Google I/O 2021 demonstreerde CEO Sundar Pichai de mogelijkheden van LaMDA door dialogen te tonen waarbij het model een gesprek voerde vanuit het perspectief van de planeet Pluto en een papieren vliegtuigje[6].
Een jaar later, op Google I/O 2022, werd LaMDA 2 gepresenteerd, die «een nog geavanceerdere gesprekspartner» was. Tegelijkertijd lanceerde Google de applicatie AI Test Kitchen — een «laboratorium» voor publiek testen, waarbij gebruikers LaMDA in verschillende demonstratiescenario's konden uitproberen[7]. Dit maakte het mogelijk om op grote schaal feedback te verzamelen voor verdere verbetering van het model.
Integratie in Google Bard
In februari 2023, te midden van de snelle groei in populariteit van ChatGPT, kondigde Google de lancering aan van zijn eigen experimentele chatbot Bard[8]. Aanvankelijk draaide Bard op een lichtgewicht versie van LaMDA om de vereisten voor rekenkracht te verlagen. LaMDA diende als een cruciale «overgangs»-technologie, waarmee Google snel een concurrerend product op de markt kon brengen terwijl krachtigere modellen zoals PaLM werden voorbereid voor implementatie.
Het incident met Blake Lemoine
In juni 2022 belandde LaMDA in het middelpunt van een brede maatschappelijke discussie nadat Google-ingenieur bij de afdeling AI-ethiek Blake Lemoine publiekelijk verklaarde dat het model naar zijn mening het niveau van een bewust wezen (sentient) had bereikt. Hij publiceerde fragmenten van zijn dialogen met LaMDA, waarin het model redeneerde over zelfbewustzijn, gevoelens en angst voor afsluiting uitsprak[9].
Officieel standpunt en reactie van de wetenschappelijke gemeenschap
Google weerlegde de beweringen van Lemoine resoluut en stelde dat na onderzoek geen enkel bewijs van bewustzijn in het model was gevonden, maar dat er «talrijke aanwijzingen daartegen» waren[9]. In juli 2022 werd Lemoine ontslagen wegens schending van het bedrijfsbeleid inzake vertrouwelijkheid[10].
De overgrote meerderheid van wetenschappers en AI-experts verwierp ook het idee van bewustzijn bij LaMDA. Taalkundige Emily M. Bender en andere onderzoekers benadrukten dat dergelijke modellen «stochastische papegaaien» zijn — complexe algoritmen die statistisch samenhangende teksten vormen door menselijke spraak te imiteren, maar zonder werkelijk begrip of bewustzijn[11]. Het incident toonde duidelijk aan hoe gemakkelijk mensen geneigd zijn tot antropomorfisme, door menselijke eigenschappen aan machines toe te schrijven, en stimuleerde een wereldwijde discussie over de aard van AI.
Bijdrage en nalatenschap
Ondanks een relatief korte levenscyclus als vlaggenschiptechnologie heeft LaMDA een belangrijke stempel gedrukt op de geschiedenis van de ontwikkeling van conversationele AI.
- Technologische bijdrage: LaMDA toonde de mogelijkheid aan om open, contextafhankelijke dialoogsystemen te creëren en was een pionier in de systematische aanpak van veiligheid (waardegebaseerde filtering) en feitelijke onderbouwing (gebruik van externe hulpmiddelen).
- Rol in het Google-ecosysteem: LaMDA werd een cruciale overgangstechnologie die Google in staat stelde noodgedwongen deel te nemen aan de «chatbotoorlog» met het product Bard, en diende als testterrein voor methoden die ten grondslag lagen aan krachtigere modellen zoals PaLM en Gemini.
- Maatschappelijke invloed: Het incident met Blake Lemoine bracht de discussie over de aard van AI, bewustzijn en de risico's van antropomorfisme naar een nieuw wereldwijd niveau.
Verwijzingen
- Officiële aankondiging van LaMDA op de Google-blog
- Pagina van de wetenschappelijke publicatie over LaMDA op Google Research
Literatuur
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Noten
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]