Gemma (Google) (IT)

From Systems analysis Wiki
Jump to navigation Jump to search

Gemma — è una famiglia di modelli linguistici liberamente disponibili, sviluppati e rilasciati da Google (divisione Google DeepMind). I modelli Gemma si basano sulla stessa base di ricerca e tecnologia della famiglia flagship Gemini e sono presentati come versioni alleggerite e ad alte prestazioni di quest'ultima[1]. Il nome deriva dalla parola latina gemma, che significa «pietra preziosa»[2].

Gemma appartiene alla categoria degli open models (modelli aperti): Google pubblica i pesi dei modelli, consentendo a ricercatori e sviluppatori di utilizzarli liberamente, eseguire il fine-tuning e distribuirli, anche in progetti commerciali, nel rispetto delle condizioni di utilizzo responsabile[2]. Questa è la differenza fondamentale rispetto ai modelli Gemini, accessibili esclusivamente tramite API cloud. I modelli Gemma sono in grado di funzionare localmente su hardware consumer (laptop, computer desktop con GPU), e non solo nei data center[3].

Sviluppo e rilasci

La famiglia Gemma comprende diverse generazioni di modelli, ognuna delle quali ha introdotto miglioramenti nell'architettura, nelle prestazioni e nelle funzionalità.

Prima generazione: Gemma 1

La prima versione di Gemma è stata rilasciata il 21 febbraio 2024[4]. Comprendeva due modelli testuali basati sull'architettura del transformer decoder:

  • Gemma 2B (2 miliardi di parametri)
  • Gemma 7B (7 miliardi di parametri)

Al momento del lancio, Google dichiarava che questi modelli superavano modelli analoghi significativamente più grandi nei principali benchmark[2]. I modelli originali erano prevalentemente in lingua inglese, ma addestrati su dati variegati, inclusi documenti web, codice sorgente e problemi matematici[1]. Entrambi i modelli sono stati rilasciati in due varianti: base (pre-trained) e con fine-tuning su istruzioni (instruction-tuned) per un migliore rispetto dei comandi dell'utente[2].

Seconda generazione: Gemma 2

Gemma 2 è stata annunciata il 27 giugno 2024 e ha apportato miglioramenti significativi[1].

  • Dimensioni dei modelli: Sono stati rilasciati modelli da 9 e 27 miliardi di parametri. Le varianti più piccole sono state addestrate applicando la tecnica di distillazione della conoscenza dal modello più grande per migliorarne la qualità[5].
  • Finestra di contesto: È stata significativamente ampliata fino a 80 000 token (rispetto agli 8192 della prima versione)[6][7].
  • Miglioramenti architetturali: Sono stati introdotti meccanismi di grouped-query attention e uno schema alternato di attenzione locale e globale per la gestione efficiente di contesti lunghi[1].

Terza generazione: Gemma 3

Gemma 3 è stata presentata nel marzo 2025 come il passo successivo nello sviluppo della famiglia, con enfasi sulla multimodalità e una copertura più ampia dei task[6].

  • Multimodalità: I modelli hanno ricevuto il supporto per immagini e video come dati di input insieme al testo.
  • Dimensioni e lingue: La gamma di modelli comprende quattro dimensioni (1B, 4B, 12B, 27B) e supporta fino a 140 lingue[6].
  • Finestra di contesto: Aumentata fino a 128 000 token[6].

Secondo Google, Gemma 3 27B ha ottenuto risultati al livello dei migliori modelli aperti del suo tempo, cedendo nelle classifiche solo a modelli specializzati come DeepSeek-R1[6].

Architettura e caratteristiche tecniche

I modelli Gemma si basano sull'architettura transformer nella configurazione «solo decoder» (decoder-only), analoga ai modelli GPT[7]. Ciò significa che il modello genera testo in modo autoregressivo, prevedendo il token successivo sulla base di tutti i precedenti. Le principali scelte tecniche comprendono:

  • Embedding posizionali rotazionali (RoPE): Al posto degli embedding posizionali assoluti vengono utilizzati i RoPE, che consentono di codificare in modo efficiente le informazioni posizionali.
  • Multi-query e Grouped-query attention: Per accelerare l'elaborazione e risparmiare memoria nei modelli più piccoli (ad esempio Gemma 2B) viene utilizzato il multi-query attention (unica chiave/valore per tutte le teste di attenzione). In Gemma 2 è stato introdotto il meccanismo di grouped-query attention, in cui le query sono suddivise in gruppi, rappresentando un compromesso tra velocità e qualità[1][7].
  • Schema di attenzione alternato: In Gemma 2 è implementato uno schema in cui i livelli con auto-attenzione globale si alternano a livelli con una «finestra scorrevole» limitata, consentendo di elaborare efficacemente contesti lunghi[1].

Famiglia di modelli e varianti

Oltre ai modelli base universali, Google ha rilasciato diverse versioni derivate di Gemma, ottimizzate per task specifici.

  • CodeGemma: Modello per la generazione e il completamento di codice sorgente, con supporto per C++, C#, Go, Java, JavaScript, Python, Rust e altri linguaggi[1].
  • DataGemma: Famiglia di modelli sottoposti a fine-tuning per l'integrazione con dati esterni tramite tecniche RAG. Il modello è in grado di eseguire query su database (ad esempio Google Data Commons) per migliorare l'accuratezza fattuale delle risposte[1].
  • PaliGemma: Modello multimodale in grado di ricevere in input immagini e testo. È destinato a task di visual question answering, come la descrizione di immagini e il riconoscimento di oggetti[1].
  • RecurrentGemma: Variante sperimentale con architettura ibrida Griffin, che combina attenzione locale e connessioni ricorrenti lineari. Ciò consente di accelerare significativamente la generazione di sequenze lunghe[7].
  • MedGemma: Versione specializzata di Gemma 3 per l'ambito medico. Include modelli multimodali (4B) e testuali (27B) per l'analisi di immagini mediche (radiografie, sezioni) e documenti clinici. I modelli sono distribuiti come open, ma non sono destinati all'uso clinico diretto senza un'ulteriore validazione[8].
  • DolphinGemma: Progetto di ricerca sull'applicazione delle tecnologie Gemma per la decodifica delle comunicazioni dei delfini. Il modello è addestrato su registrazioni audio pluriennali e viene utilizzato per individuare pattern nel linguaggio animale[9].

Disponibilità e applicazioni

I modelli Gemma sono disponibili sulle piattaforme Kaggle e Hugging Face, e sono inoltre integrati nei servizi Google Colab e Vertex AI Model Garden[2]. Per accelerare l'inferenza, Google, in collaborazione con NVIDIA, ha adattato i modelli per TensorRT. Le condizioni di licenza di Gemma consentono l'uso commerciale e la modifica dei modelli, distinguendoli da alcuni altri progetti aperti. La distribuzione è regolata dalla licenza Responsible AI License, che impone restrizioni sull'utilizzo in determinati ambiti (ad esempio lo sviluppo di armi) e richiede ai prodotti derivati il rispetto dei principi di applicazione sicura ed etica dell'IA[3].

Sicurezza e responsabilità

Gli sviluppatori hanno dedicato grande attenzione alle questioni di sicurezza, considerando la natura aperta dei modelli.

  • Filtraggio dei dati: Durante la preparazione dei dataset di addestramento, i dati personali e altre informazioni sensibili sono stati filtrati automaticamente per ridurre il rischio di violazioni della privacy[2].
  • Allineamento (Alignment): Le versioni con fine-tuning su istruzioni hanno subito un allineamento multi-fase tramite le tecniche Supervised Fine-Tuning (SFT) e RLHF (Reinforcement Learning from Human Feedback) per consolidare gli stili di risposta preferibili[1].
  • Red Teaming: Prima del rilascio, i modelli sono stati sottoposti a verifiche approfondite sulla resistenza a richieste malintenzionate. Gli esperti hanno tentato di provocare la generazione di contenuti pericolosi o indesiderati per individuare vulnerabilità[3].
  • Strumentario Responsible AI Toolkit: Insieme ai modelli, Google ha rilasciato un set di strumenti per facilitare il deployment sicuro, inclusa l'utilità Gemma Debugger per l'analisi degli stati interni del modello e classificatori di contenuti indesiderati[2].
  • ShieldGemma: Modello-filtro specializzato, destinato a prevenire la generazione di contenuti non sicuri nelle versioni multimodali di Gemma[6].

Collegamenti esterni

  • Pagina ufficiale di Gemma sul sito Google AI
  • Modelli Gemma su Hugging Face

Bibliografia

  • Mesnard, T. et al. (2024). Gemma: Open Models Based on Gemini Research and Technology. arXiv:2403.08295.
  • Rivière, M. et al. (2024). Gemma 2: Improving Open Language Models at a Practical Size. arXiv:2408.00118.
  • Kamath, A. et al. (2025). Gemma 3 Technical Report. arXiv:2503.19786.
  • Zhao, H. et al. (2024). CodeGemma: Open Code Models Based on Gemma. arXiv:2406.11409.
  • Beyer, L. et al. (2024). PaliGemma: A Versatile 3B VLM for Transfer. arXiv:2407.07726.
  • Steiner, A. et al. (2024). PaliGemma 2: A Family of Versatile VLMs for Transfer. arXiv:2412.03555.
  • Botev, A. et al. (2024). RecurrentGemma: Moving Past Transformers for Efficient Open Language Models. arXiv:2404.07839.
  • Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
  • Chinnakonduru, S. S. & Mohapatra, A. (2024). Weighted Grouped Query Attention in Transformers. arXiv:2407.10855.
  • Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
  • Radhakrishnan, P. et al. (2024). Knowing When to Ask — Bridging Large Language Models and Data. arXiv:2409.13741.

Note

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 «What Is Google Gemma?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 «Gemma: Google introduces new state-of-the-art open models». Google Developers Blog. [2]
  3. ↑ 3.0 3.1 3.2 «Google's open-source Gemma AI models draw from the research behind Gemini». The Verge. [3]
  4. ↑ «Google launches two new open LLMs». TechCrunch. [4]
  5. ↑ «Gemma 2: Improving Open Language Models at a Practical Size». Google.
  6. ↑ 6.0 6.1 6.2 6.3 6.4 6.5 «Google unveils open source Gemma 3 model with 128k context window». VentureBeat. [5]
  7. ↑ 7.0 7.1 7.2 7.3 «Gemma explained: An overview of Gemma model family architectures». Google Developers Blog. [6]
  8. ↑ «Google Releases MedGemma: Open AI Models for Medical Text and Image Analysis». InfoQ. [7]
  9. ↑ «Google Is Training a New A.I. Model to Decode Dolphin Chatter—and Potentially Talk Back». Smithsonian Magazine. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Gemma_(Google)_(IT)&oldid=2558"