LaMDA (Google) (SV)
LaMDA (Language Model for Dialogue Applications) — är en familj av stora språkmodeller baserade på transformer-arkitekturen, utvecklade av Google och specialiserade på att föra meningsfulla, öppna dialoger[1]. Till skillnad från många universella modeller under samma period tränade Google LaMDA med ett tydligt syfte: att upprätthålla sammanhängande, flervändiga samtal om praktiskt taget vilket ämne som helst, med förmågan att fritt växla mellan olika kontexter[2].
Modellen presenterades offentligt för första gången vid konferensen Google I/O i maj 2021[3]. LaMDA positionerades som ett grundläggande steg mot en mer naturlig interaktion mellan människa och teknik, till exempel via konversationsgränssnitt i sökmotorer och röstassistenter[4].
Arkitektur och träning
Grundläggande arkitektur: "enbart dekoder"
LaMDA är en språkmodell av typen "enbart dekoder" (decoder-only), byggd på transformer-arkitekturen. Denna arkitektur är standard för textgenereringsuppgifter. Modellen arbetar autoregressivt — den förutsäger nästa ord (token) i en sekvens baserat på alla föregående ord. Detta gör det möjligt för den att generera sammanhängande och logisk text och fortsätta ett givet samtal, men begränsar dess förmåga att se den "högra" kontexten, till skillnad från BERT[5].
Skala och träningsdata
LaMDA-familjen inkluderar modeller med olika antal parametrar, från 2 till 137 miljarder. För förträningen (pre-training) användes ett enormt datakorpus på 1,56 biljoner ord, bestående av offentligt tillgängliga dialogdata och webbtexter. Denna volym översteg nästan 40 gånger den data som användes för att träna LaMDA:s föregångare, modellen Meena[1].
Processen för fine-tuning och mätvärden
Googles forskare kom fram till att enbart skalning inte räcker för att säkerställa säkerhet och faktanoggrannhet i svaren. Därför utvecklades en flerstegsprocess för fine-tuning, där modellen målmedvetet optimerades utifrån tre nyckelmetriker som utvärderades av mänskliga annotatorer[1]:
- Kvalitet (Quality): Utvärderas genom tre komponenter:
- Begriplighet (Sensibleness): Logik och relevans i förhållande till kontexten.
- Specificitet (Specificity): Konkrethet och informationsinnehåll i svaren.
- Intresseväckande (Interestingness): Insiktsfullhet och kvickhet.
- Säkerhet (Safety): Förebyggande av generering av skadliga, partiska eller giftiga uttalanden. För detta ändamål tränades en särskild klassificerare som filter.
- Förankring (Groundedness): Syftar till att bekämpa "hallucinationer" (påhittade fakta). LaMDA tränades att vid behov använda en uppsättning externa verktyg (sökmotor, miniräknare, översättare) för att verifiera och förtydliga faktainformation[1]. Denna innovation var en av de första systematiska lösningarna på tillförlitlighetsproblemet i stora språkmodeller.
Utvecklings- och implementeringshistorik
Offentliga tillkännagivanden och LaMDA 2
Vid Google I/O 2021 demonstrerade verkställande direktören Sundar Pichai LaMDA:s kapacitet och visade dialoger där modellen förde samtal i rollen som planeten Pluto och ett pappersflygplan[6].
Ett år senare, vid Google I/O 2022, presenterades LaMDA 2, beskriven som "en ännu mer fulländad samtalspartner". Samtidigt lanserade Google applikationen AI Test Kitchen — ett "laboratorium" för offentlig testning, där användare kunde prova LaMDA i flera demonstrationsscenarier[7]. Detta möjliggjorde insamling av storskalig återkoppling för vidare förbättring av modellen.
Integration i Google Bard
I februari 2023, mot bakgrund av ChatGPT:s snabba popularitetstillväxt, tillkännagav Google lanseringen av sin egen experimentella chatbot Bard[8]. Inledningsvis drevs Bard på en lättare version av LaMDA för att minska kraven på beräkningsresurser. LaMDA fungerade som en viktig "övergångsteknologi" som gjorde det möjligt för Google att snabbt lansera en konkurrenskraftig produkt på marknaden, medan kraftfullare modeller som PaLM förbereddes för driftsättning.
Incidenten med Blake Lemoine
I juni 2022 hamnade LaMDA i centrum av en bred offentlig debatt efter att Googles AI-etisingenjör Blake Lemoine offentligt hävdade att modellen, enligt hans uppfattning, hade nått nivån av ett kännande väsen (sentient). Han publicerade utdrag ur sina dialoger med LaMDA, där modellen resonerade om självmedvetande, känslor och uttryckte rädsla inför att stängas av[9].
Officiell ståndpunkt och vetenskaplig reaktion
Google tillbakavisade bestämt Lemoines påståenden och uppgav att granskningen inte hade funnit några bevis för modellens förnuft, och att det tvärtom fanns "talrika bevis mot detta"[9]. I juli 2022 avskedades Lemoine för brott mot företagets sekretesspolicy[10].
Den överväldigande majoriteten av forskare och AI-experter avvisade också idén om att LaMDA skulle vara kännande. Lingvisten Emily M. Bender och andra forskare betonade att sådana modeller är "stokastiska papegojor" — komplexa algoritmer som statistiskt sett formar sammanhängande texter och imiterar mänskligt tal, men utan verklig förståelse eller medvetande[11]. Incidenten illustrerade tydligt hur lätt människor tenderar till antropomorfism och tillskriver maskiner mänskliga egenskaper, och stimulerade en global diskussion om AI:s natur.
Bidrag och arv
Trots en relativt kort livscykel som flaggskeppsteknologi lämnade LaMDA ett betydande avtryck i historien om konversations-AI:s utveckling.
- Teknologiskt bidrag: LaMDA demonstrerade möjligheten att skapa öppna, kontextberoende dialogsystem och var pionjär i ett systematiskt tillvägagångssätt för att säkerställa säkerhet (värderingsbaserad filtrering) och faktaförankring (användning av externa verktyg).
- Roll i Googles ekosystem: LaMDA blev en kritiskt viktig övergångsteknologi som gjorde det möjligt för Google att hastigt inträda i "chatbot-kriget" med produkten Bard och fungerade som provplats för metoder som lade grunden till kraftfullare modeller som PaLM och Gemini.
- Samhällelig påverkan: Incidenten med Blake Lemoine lyfte debatten om AI:s natur, medvetande och riskerna med antropomorfism till en ny global nivå.
Referenser
- Officiellt tillkännagivande om LaMDA på Googles blogg
- Sida för den vetenskapliga publikationen om LaMDA på Google Research
Litteratur
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Noter
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]