PaLM (Pathways Language Model) (IT)

PaLM (Pathways Language Model) — è una famiglia di Large Language Model (LLM) sviluppata da Google. La prima versione del modello, presentata nell'aprile 2022, conteneva 540 miliardi di parametri e divenne uno dei più grandi modelli linguistici del mondo all'epoca, dimostrando capacità rivoluzionarie risultato di un massiccio scaling.

La base tecnologica fondamentale di PaLM è Pathways — una nuova architettura di sistemi di Machine Learning sviluppata da Google, che consente di coordinare in modo efficiente i calcoli distribuiti su migliaia di chip acceleratori. PaLM è diventata la prima dimostrazione su larga scala di questo sistema, mostrando un'efficienza di addestramento senza precedenti a scale enormi.

Sistema Pathways - Il Fondamento per lo Scaling

Il concetto di Pathways, presentato da Google nel 2021, prevedeva la creazione di un'unica rete neurale capace di generalizzare efficacemente le conoscenze tra diversi domini ed eseguire migliaia di compiti simultaneamente. PaLM è diventata la prima applicazione su larga scala di questo sistema: il suo addestramento è stato parallelizzato su 6144 processori specializzati TPU v4, raggruppati in due cluster cloud (TPU v4 Pods).

Al momento della sua creazione, questa era la configurazione di TPU più grande mai utilizzata per addestrare un singolo modello. Il sistema ha raggiunto un'efficienza record nell'utilizzo delle risorse hardware (57,8% FLOPs), il che ha permesso di superare significativamente in scala i progetti precedenti e addestrare con successo un modello con oltre mezzo trilione di parametri.

Architettura e Dati di Addestramento

Architettura del Modello

PaLM è un modello linguistico denso (non sparso) con architettura «solo decoder» (decoder-only), analoga ai modelli della serie GPT. Questa architettura è orientata ai compiti di predizione del token successivo ed è adatta per la generazione di testo. A differenza dell'architettura transformer standard, PaLM utilizza diverse modifiche chiave per aumentare l'efficienza:

• Strati paralleli: I meccanismi di attention e gli strati fully-connected vengono calcolati in parallelo, il che ha permesso di accelerare l'addestramento di circa il 15%.
• Attivazione SwiGLU: L'utilizzo della funzione di attivazione SwiGLU al posto della ReLU standard, il che ha migliorato significativamente la qualità del modello.

Dati di Addestramento

PaLM è stata addestrata su un corpus di dati di alta qualità con un volume di 780 miliardi di token. Il dataset era multilingue e variegato, includendo:

• Documenti web e libri di alta qualità.
• Articoli da Wikipedia.
• Dialoghi dai social network (50% del corpus).
• Codice sorgente da GitHub (5% del corpus).

Circa il 78% dei dati era in lingua inglese, mentre il restante 22% costituiva un insieme multilingue. Per la tokenizzazione è stata utilizzata una tecnica speciale «senza perdita», che preservava tutti gli spazi (cruciale per il codice) e scomponeva i caratteri Unicode non riconosciuti in byte.

Capacità e Risultati

Capacità Emergenti e Few-Shot Learning

PaLM ha dimostrato che l'aumento della scala del modello, del volume dei dati e della potenza computazionale può portare a capacità emergenti (che emergono inaspettatamente). In molti compiti, le prestazioni del modello aumentavano bruscamente e in modo non lineare solo al raggiungimento della scala massima, il che indicava la comparsa di nuove capacità mai osservate in precedenza.

Il modello è stato valutato in modalità few-shot learning (senza fine-tuning, con alcuni esempi nel prompt) e ha superato i precedenti modelli di grandi dimensioni (come GPT-3 e LaMDA) in 28 dei 29 benchmark NLP più popolari. Sul complesso benchmark BIG-bench, PaLM è diventato il primo modello i cui risultati hanno superato il livello medio mostrato dai valutatori umani.

Ragionamento per Catena di Pensieri (Chain-of-Thought)

Uno dei risultati più notevoli di PaLM è stata la capacità di ragionamento logico in più passaggi tramite la tecnica di prompting «catena di pensieri» (chain-of-thought prompting). Questa metodologia consiste nel fornire al modello esempi in cui la soluzione di un problema è descritta passo per passo. Avendo appreso da tali esempi, PaLM è riuscita a generare la propria «catena di pensieri» per risolvere nuovi compiti complessi, come:

• Problemi matematici: Nel test GSM8K (problemi di livello scolastico elementare) PaLM ha risolto il 58% dei problemi, superando il precedente risultato state-of-the-art ottenuto da un modello con fine-tuning.
• Compiti di buon senso: Il modello è riuscito a generare spiegazioni dettagliate per problemi non banali, ad esempio fornendo l'interpretazione di barzellette mai viste prima.

Questa capacità ha reso il processo di «ragionamento» del modello più trasparente e simile a quello umano.

Generazione di Codice e Multilinguismo

Nonostante il codice sorgente rappresentasse solo il 5% dei dati di addestramento, PaLM ha mostrato un livello comparabile al modello specializzato OpenAI Codex nei compiti di generazione e trasformazione del codice. Il modello ha anche dimostrato forti capacità nei compiti multilingui, inclusa la traduzione.

Evoluzione e Successori: La Famiglia PaLM

PaLM è diventata la base per un'intera famiglia di modelli sviluppati da Google.

PaLM 2

Presentato nel maggio 2023, PaLM 2 è diventato il successore più efficiente e multilingue. Invece di inseguire il numero di parametri, l'accento è stato spostato sulla qualità dei dati di addestramento e sull'efficienza dell'architettura. PaLM 2 è addestrato su testi in oltre 100 lingue e dimostra migliori capacità in logica, programmazione e traduzione. Il modello è disponibile in quattro dimensioni (dalla più piccola alla più grande): Gecko, Otter, Bison e Unicorn. La variante più compatta (Gecko) è sufficientemente leggera da funzionare su dispositivi mobili in modalità offline.

Versioni Specializzate

Sulla base di PaLM e PaLM 2 sono state create versioni per domini specifici:

• Med-PaLM 2: Modello specializzato per la medicina. È diventato il primo sistema di intelligenza artificiale a raggiungere il livello di esperto nelle domande dell'esame di abilitazione medica negli Stati Uniti (USMLE).
• Sec-PaLM 2: Modello orientato alla cybersicurezza, addestrato per identificare vulnerabilità e analizzare codice malevolo.

PaLM-E: Versione Multimodale

PaLM-E (Pathways Language Model Embodied) è un modello multimodale che combina il modello linguistico PaLM con dati visivi provenienti dal Vision Transformer (ViT). Ciò consente al modello di elaborare sia testo che immagini, risolvendo compiti legati al mondo fisico, ad esempio per il controllo di robot.

Aspetti Etici e Limitazioni

I creatori di PaLM sottolineano la necessità di un approccio responsabile allo sviluppo dei Large Language Model. Nell'articolo scientifico ufficiale è stata condotta un'analisi dei possibili bias e della tossicità nel testo generato. Per garantire la trasparenza, Google ha pubblicato una scheda del modello (Model Card) e un documento sui dati (Datasheet) per PaLM, dove sono documentate le caratteristiche del dataset, i risultati dei test e le limitazioni identificate. Queste misure sono in linea con le pratiche moderne di intelligenza artificiale responsabile e mirano a ridurre i rischi associati ai pregiudizi e alla generazione di contenuti dannosi.

Collegamenti esterni

• Blog ufficiale di Google su PaLM
• PaLM API per sviluppatori

Bibliografia

• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. arXiv:2204.02311.
• Anil, R. et al. (2023). PaLM 2 Technical Report. arXiv:2305.10403.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• Singhal, K. et al. (2022). Large Language Models Encode Clinical Knowledge. arXiv:2212.13138.
• Singhal, K. et al. (2023). Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
• Barham, P. et al. (2022). Pathways: Asynchronous Distributed Dataflow for ML. arXiv:2203.12533.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Schaeffer, R. et al. (2023). Are Emergent Abilities of Large Language Models a Mirage?. arXiv:2304.15004.
• Lu, S. et al. (2023). Are Emergent Abilities in Large Language Models just In-Context Learning?. arXiv:2309.01809.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Diao, S. et al. (2023). Active Prompting with Chain-of-Thought for Large Language Models. arXiv:2302.12246.