LaMDA (Google) (IT)
LaMDA (Language Model for Dialogue Applications) — è una famiglia di grandi modelli linguistici basati sull'architettura transformer, sviluppata da Google e specializzata nella conduzione di dialoghi aperti e significativi[1]. A differenza di molti modelli universali del suo tempo, LaMDA è stata appositamente addestrata per sostenere conversazioni coerenti e multi-turno su qualsiasi argomento, passando liberamente da un contesto all'altro[2].
Il modello è stato presentato pubblicamente per la prima volta alla conferenza Google I/O nel maggio 2021[3]. LaMDA è stata presentata come un passo fondamentale verso un'interazione più naturale tra l'essere umano e la tecnologia, ad esempio attraverso interfacce conversazionali nella ricerca e negli assistenti vocali[4].
Architettura e addestramento
Architettura fondamentale: «solo decoder»
LaMDA è un modello linguistico di tipo «solo decoder» (decoder-only), costruito sull'architettura transformer. Questa architettura rappresenta lo standard per i compiti di generazione del testo. Il modello funziona in modo autoregressivo — prevede la parola successiva (token) nella sequenza basandosi su tutte le parole precedenti. Ciò gli consente di generare testo coerente e logico, continuando una conversazione assegnata, ma limita la sua capacità di vedere il contesto «a destra», a differenza di BERT[5].
Scala e dati di addestramento
La famiglia LaMDA comprende modelli con diversi numeri di parametri, da 2 a 137 miliardi. Per il pre-addestramento (pre-training) è stato utilizzato un enorme corpus di dati con un volume di 1,56 trilioni di parole, composto da dati dialogici pubblicamente disponibili e testi web. Questo volume superava quasi di 40 volte i dati utilizzati per addestrare il predecessore di LaMDA, il modello Meena[1].
Processo di fine-tuning e metriche
I ricercatori di Google sono giunti alla conclusione che la sola scalabilità non è sufficiente per garantire la sicurezza e l'accuratezza fattuale delle risposte. È stato quindi sviluppato un processo di fine-tuning multi-fase, nel corso del quale il modello è stato intenzionalmente ottimizzato secondo tre metriche chiave, valutate da annotatori umani[1]:
- Qualità (Quality): Valutata attraverso tre componenti:
- Sensatezza (Sensibleness): Logicità e coerenza con il contesto.
- Specificità (Specificity): Concretezza e informatività delle risposte.
- Interesse (Interestingness): Perspicacia e arguzia.
- Sicurezza (Safety): Prevenzione della generazione di affermazioni dannose, distorte o tossiche. A tal fine è stato sottoposto a fine-tuning uno speciale classificatore-filtro.
- Fondatezza (Groundedness): Mirata a combattere le «allucinazioni» (fatti inventati). LaMDA è stata sottoposta a fine-tuning per ricorrere, quando necessario, a un insieme di strumenti esterni (motore di ricerca, calcolatore, traduttore) al fine di verificare e precisare le informazioni fattuali[1]. Questa innovazione è diventata una delle prime soluzioni sistematiche al problema dell'affidabilità nei grandi modelli linguistici.
Storia dello sviluppo e dell'implementazione
Annunci pubblici e LaMDA 2
A Google I/O 2021 il CEO Sundar Pichai ha dimostrato le capacità di LaMDA, mostrando dialoghi in cui il modello conduceva una conversazione nei panni del pianeta Plutone e di un aeroplano di carta[6].
Un anno dopo, a Google I/O 2022, è stata presentata LaMDA 2, definita «un interlocutore ancora più perfezionato». Contemporaneamente Google ha lanciato l'applicazione AI Test Kitchen — un «laboratorio» per il test pubblico, dove gli utenti potevano sperimentare LaMDA in diversi scenari dimostrativi[7]. Ciò ha consentito di raccogliere un feedback su larga scala per il miglioramento ulteriore del modello.
Integrazione in Google Bard
Nel febbraio 2023, sullo sfondo della rapida crescita di popolarità di ChatGPT, Google ha annunciato il lancio del proprio chatbot sperimentale Bard[8]. Inizialmente Bard funzionava su una versione alleggerita di LaMDA, al fine di ridurre i requisiti computazionali. LaMDA ha rappresentato la tecnologia «di transizione» chiave, che ha permesso a Google di portare rapidamente sul mercato un prodotto competitivo, mentre si preparava all'implementazione di modelli più potenti come PaLM.
L'incidente con Blake Lemoine
Nel giugno 2022 LaMDA si è ritrovata al centro di un ampio dibattito pubblico, dopo che l'ingegnere del dipartimento di etica dell'IA di Google Blake Lemoine ha dichiarato pubblicamente che il modello aveva, a suo avviso, raggiunto il livello di un essere senziente (sentient). Ha pubblicato frammenti dei suoi dialoghi con LaMDA, nei quali il modello ragionava sulla propria autoconsapevolezza, sui propri sentimenti e manifestava paura di essere spento[9].
Posizione ufficiale e reazione della comunità scientifica
Google ha categoricamente smentito le affermazioni di Lemoine, dichiarando che dopo un'indagine non era stata trovata alcuna prova della razionalità del modello, e che esistevano «numerose testimonianze contrarie»[9]. Nel luglio 2022 Lemoine è stato licenziato per violazione della politica aziendale di riservatezza[10].
La stragrande maggioranza degli scienziati ed esperti di IA ha anch'essa respinto l'idea della razionalità di LaMDA. La linguista Emily M. Bender e altri ricercatori hanno sottolineato che tali modelli sono «pappagalli stocastici» — algoritmi complessi che formano statisticamente testi coerenti imitando il linguaggio umano, ma senza vera comprensione o coscienza[11]. L'incidente ha dimostrato chiaramente quanto facilmente l'essere umano sia incline all'antropomorfismo, attribuendo qualità umane alle macchine, e ha stimolato un dibattito globale sulla natura dell'IA.
Contributo e legacy
Nonostante il ciclo di vita relativamente breve come tecnologia di punta, LaMDA ha lasciato un'impronta significativa nella storia dello sviluppo dell'IA conversazionale.
- Contributo tecnologico: LaMDA ha dimostrato la possibilità di creare sistemi dialogici aperti e dipendenti dal contesto, ed è stata pioniera nell'approccio sistematico alla garanzia della sicurezza (filtraggio basato sui valori) e della fondatezza fattuale (ricorso a strumenti esterni).
- Ruolo nell'ecosistema Google: LaMDA è diventata una tecnologia di transizione di importanza critica, che ha permesso a Google di entrare d'urgenza nella «guerra dei chatbot» con il prodotto Bard, e ha rappresentato un banco di prova per i metodi che hanno costituito la base di modelli più potenti come PaLM e Gemini.
- Impatto sociale: L'incidente con Blake Lemoine ha portato il dibattito sulla natura dell'IA, sulla coscienza e sui rischi dell'antropomorfismo a un nuovo livello globale.
Letteratura
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Riferimenti
- Annuncio ufficiale di LaMDA nel blog di Google
- Pagina della pubblicazione scientifica su LaMDA su Google Research
Note
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]