Multimodal reasoning (IT)

Ragionamento multimodale (ingl. Multimodal Reasoning) — è la capacità dell'intelligenza artificiale, in particolare dei grandi modelli linguistici (LLM), di elaborare, interpretare e collegare logicamente in modo simultaneo informazioni provenienti da diversi tipi di dati (modalità), come testo, immagini, audio e video, per risolvere compiti complessi. Questo processo imita la percezione umana multidimensionale ed è un passo fondamentale verso la creazione di un'intelligenza artificiale generale (AGI) più versatile e adattiva.

I modelli dotati di tale capacità sono denominati grandi modelli linguistici multimodali (MLLM o LMRM — Large Multimodal Reasoning Models). Essi ampliano le possibilità dei tradizionali LLM, addestrati esclusivamente su testo, consentendo loro di comprendere il contenuto delle immagini, analizzare video, controllare robot e condurre dialoghi basati su dati visivi.

Evoluzione degli approcci

Gli approcci al ragionamento multimodale hanno attraversato una rapida evoluzione, passando da sistemi modulari ad architetture unificate e incentrate sul linguaggio.

• Sistemi iniziali: Si basavano su pipeline separate, in cui componenti distinti elaboravano la visione e il testo, unendo le loro rappresentazioni nella fase finale. Questo approccio richiedeva una progettazione accurata per ciascun compito specifico.
• Sistemi moderni: Sono passati a modelli unificati e incentrati sul linguaggio. In essi, il grande modello linguistico costituisce il nodo centrale, ovvero il «motore» del ragionamento, che elabora le informazioni di tutte le modalità in un formato unificato. Ciò è stato reso possibile da metodi che hanno «insegnato» al modello linguistico a comprendere dati visivi e di altro tipo, rappresentandoli come token speciali.

Una tappa importante in questa transizione è stata il concetto di «catena di ragionamento multimodale» (Multimodal Chain-of-Thought, MCoT), in cui il modello riceve una sequenza di suggerimenti che lo guidano passo dopo passo attraverso fasi logiche che coinvolgono diverse modalità.

Architetture degli LLM multimodali

Esistono due principali strategie architetturali per integrare diverse modalità con un modello linguistico:

1. Architettura unificata a livello di token

In questo approccio, tutte le modalità vengono convertite in una rappresentazione comune compatibile con l'LLM. Ad esempio, un'immagine viene suddivisa in frammenti (patch), elaborata da un encoder visivo (ad esempio Vision Transformer (ViT)) e trasformata in una sequenza di embedding vettoriali — token visivi. Questi token visivi vengono quindi concatenati con i token testuali e forniti in input al grande modello linguistico, che li elabora in un flusso unico.

• Vantaggi: Questo schema richiede quasi nessuna modifica all'architettura dell'LLM e si scala facilmente.
• Esempi: GPT-4 di OpenAI, PaLM-E di Google.

2. Architettura con attenzione cross-modale

In questo caso il modello linguistico e l'encoder visivo rimangono sottosistemi separati, ma vengono collegati da strati speciali di attenzione cross-modale (cross-attention). Questi strati consentono alle rappresentazioni testuali e visive di influenzarsi reciprocamente durante la generazione. Il modello, in un certo senso, «consulta» le caratteristiche visive a ogni passo della creazione della risposta testuale.

• Vantaggi: Permette di sfruttare efficacemente la potenza di modelli già esistenti, pre-addestrati e congelati (ad esempio un grande LLM e un potente ViT), addestrando solo gli strati di collegamento.
• Esempio: Flamingo di DeepMind.

Nella ricerca moderna, le architetture decoder-only unificate sono diventate dominanti, poiché si scalano più facilmente e sfruttano meglio le capacità degli LLM esistenti.

Modelli e ricerche chiave

Lo sviluppo degli MLLM ha subito una notevole accelerazione negli anni 2022–2024.

• Flamingo (DeepMind, 2022): Uno dei primi grandi modelli visivo-linguistici (VLM), capace di risolvere in modalità few-shot learning diversi compiti multimodali senza ulteriore fine-tuning. Flamingo ha dimostrato che un singolo modello può adattarsi rapidamente a nuovi compiti ricevendo solo pochi esempi nel prompt.

• Kosmos-1 (Microsoft Research, 2023): Il primo MLLM addestrato da zero su dati web. È in grado di percepire testo e immagini come «modalità comuni» e ha mostrato risultati solidi nella risoluzione di compiti testuali con immagini (OCR), nel dialogo multimodale e persino in compiti di ragionamento logico non verbale (matrici di Raven).

• GPT-4 (OpenAI, 2023): Il modello di punta, presentato come «grande modello multimodale», capace di accettare in input testo e immagini. Sebbene la sua architettura non sia stata resa pubblica, è noto che può analizzare il contenuto di immagini, descrivere grafici e spiegare meme visivi. L'accesso alle sue capacità multimodali è stato fornito in modo limitato, ad esempio in collaborazione con l'applicazione BeMyEyes per l'assistenza a persone cieche e ipovedenti.

• PaLM-E (Google, 2023): Un modello multimodale cosiddetto «incarnato» (embodied), creato per integrare la percezione visiva con le azioni fisiche di un robot. PaLM-E è in grado di generare piani passo dopo passo per il controllo di robot, ricevendo in input una combinazione di immagini da telecamere e dati dei sensori. Ciò ha dimostrato un effetto di «trasferimento positivo»: l'addestramento su compiti generali «visualizzazione + linguaggio» ha migliorato le prestazioni nelle abilità robotiche.

• LLAMA 3.2 (Meta, 2024): Una serie aperta di modelli in cui sono comparse anche versioni multimodali. La loro disponibilità rende le tecnologie MLLM accessibili alla comunità di ricerca più ampia per ulteriori sperimentazioni.

Problemi e limitazioni

Nonostante i risultati impressionanti, gli MLLM si confrontano con una serie di problemi seri:

• Allucinazioni: Come i loro predecessori testuali, gli MLLM possono generare affermazioni convincenti ma fattualmente errate. Le informazioni visive non eliminano questo problema e talvolta lo aggravano, portando a interpretazioni errate delle immagini.
• Capacità di generalizzazione e profondità del ragionamento: I modelli spesso non riescono a trasferire in modo affidabile le conclusioni a nuovi tipi di dati (generalizzazione omni-modale), e il loro ragionamento può risultare superficiale. Possono descrivere un'immagine, ma fallire quando il compito richiede una pianificazione multi-passo che integri testo e immagine.
• Difficoltà tecniche: L'addestramento degli MLLM richiede enormi risorse computazionali e grandi dataset multimodali accuratamente preparati. Anche la valutazione della qualità di tali modelli è complessa, poiché richiede benchmark specializzati che tengano conto sia della comprensione che del ragionamento.

Prospettive di sviluppo

Le tendenze mostrano che i modelli multimodali diventeranno sempre più «nativamente» multimodali (Native Large Multimodal Models), ovvero progettati fin dall'origine per operare con tutte le modalità. L'obiettivo finale è creare un intelligenza universale capace di percepire e comprendere il mondo con la stessa ricchezza dell'essere umano. A tal fine, i ricercatori lavorano per ridurre la dipendenza dai dati annotati, per addestrare i modelli a un pensiero più astratto e causale e per garantire un controllo sicuro su sistemi così potenti. Lo sviluppo di approcci ausiliari, come HuggingGPT — in cui un LLM funge da coordinatore che distribuisce i compiti a modelli specializzati — apre ulteriormente la strada verso un'IA multimodale più affidabile.

Riferimenti

• Articolo di rassegna: A Survey on Large Multimodal Reasoning Models (2025)
• Articolo di Sebastian Raschka sulla comprensione degli LLM multimodali

Bibliografia

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.