Multimodal CoT Prompting (IT)

Il prompting multimodale con catena di ragionamenti (Multimodal Chain-of-Thought Prompting, MCoT) è un'estensione del metodo della catena di ragionamenti (CoT) applicata a compiti che coinvolgono più tipi di dati (modalità). Nei modelli MCoT, il linguaggio e altre modalità, come la visione o l'analisi di dati tabulari, partecipano a un unico processo di inferenza passo dopo passo per risolvere compiti complessi.

Questo approccio è emerso con lo sviluppo dei modelli linguistici di grandi dimensioni multimodali (MLLM), capaci di elaborare simultaneamente testo, immagini, audio e video. MCoT consente ai modelli di generare spiegazioni interpretabili e passo dopo passo che integrano informazioni provenienti da fonti diverse, migliorando la precisione e la trasparenza del loro funzionamento.

Premesse: dal CoT testuale al CoT multimodale

Chain-of-Thought nel testo

Originariamente, il metodo Chain-of-Thought (CoT) fu proposto dai ricercatori di Google nel 2022 per i modelli linguistici di grandi dimensioni (LLM) basati su testo. L'idea consiste nell'addestrare il modello a generare una sequenza di passaggi di ragionamento intermedi prima di fornire la risposta finale. L'aggiunta di esempi di soluzione passo dopo passo nel prompt (few-shot prompting) ha migliorato notevolmente la capacità degli LLM di risolvere compiti che richiedono ragionamenti aritmetici, logici e di buon senso, incrementando la precisione e l'affidabilità complessiva dei modelli.

Transizione alla multimodalità

Il successo del CoT testuale ha stimolato i tentativi di estenderlo a scenari multimodali. Con la comparsa di MLLM come Kosmos-1 di Microsoft, addestrati simultaneamente su testo e immagini, è emersa la possibilità di integrare la logica CoT con la percezione multimodale. Gli esperimenti hanno dimostrato che tali modelli possono utilizzare ragionamenti passo dopo passo tenendo conto sia degli input testuali che di quelli visivi, evidenziando la fattibilità di principio nell'unire logica e percezione.

Principali approcci e metodologie

A partire dal 2023 è stata proposta una serie di metodi per realizzare il CoT multimodale.

Multimodal-CoT a due fasi (Zhang et al.)

Uno dei primi metodi, proposto nel 2023, utilizza uno schema a due fasi:

1. Generazione della motivazione: Nel primo passaggio il modello genera una catena di ragionamenti testuale (rationale) sulla base delle informazioni multimodali (ad esempio testo e immagine).
2. Formulazione della risposta: Nel secondo passaggio il modello fornisce la risposta finale basandosi sulla motivazione generata.

Questo approccio separato ha permesso a un modello con meno di 1 miliardo di parametri di raggiungere un livello di qualità record sul dataset scientifico ScienceQA, superando persino il grande modello GPT-3.5. È stata inoltre rilevata una riduzione delle allucinazioni.

Compositional CoT

Presentato alla conferenza CVPR 2024, questo metodo si concentra su compiti visivo-testuali e propone di generare una rappresentazione strutturata dell'immagine come passaggio intermedio. Dapprima l'MLLM produce una descrizione della scena sotto forma di grafo della scena, indicando oggetti e relazioni tra di essi. Successivamente questa descrizione strutturata viene inclusa nel prompt per la risposta finale. Tale approccio consente all'LLM di tenere maggiormente conto dei legami compositivi tra gli oggetti e migliora i risultati nei compiti di descrizione di scene complesse e di analisi visiva con domande e risposte.

Duty-Distinct CoT

Questo metodo, presentato a NeurIPS 2023, propone di suddividere la responsabilità tra diversi componenti del sistema:

• Il modello linguistico è responsabile del ragionamento logico e dell'integrazione delle informazioni.
• Il sottosistema visivo (modello di visione artificiale) è responsabile del riconoscimento del contenuto dell'immagine.

Questo «prompting binario» garantisce un «pensiero critico»: l'LLM valuta e utilizza le informazioni visive ricevute dal modulo visivo specializzato. L'approccio DDCoT ha permesso di generare ragionamenti più generalizzabili e spiegabili e ha incrementato significativamente la precisione nei compiti di QA scientifico multimodale.

Altre varianti di MCoT

Sono in fase di sviluppo attivo anche altri approcci, adattati a modalità specifiche:

• Dual CoT: Schema di ragionamento bidirezionale parallelo.
• Audio-CoT: Adattamento della catena di pensieri per compiti legati all'audio e al parlato.
• Video-of-Thought: Tecnica di analisi passo dopo passo dei dati video.

Applicazioni e risultati

Il prompting CoT multimodale ha dimostrato la propria efficacia in numerosi ambiti che richiedono l'integrazione di informazioni eterogenee.

• Istruzione e QA scientifico: Consente ai sistemi di rispondere a domande con diagrammi e illustrazioni, fornendo una spiegazione dettagliata della soluzione (ad esempio sul dataset ScienceQA).
• Guida autonoma e robotica: Aiuta a interpretare in sequenza i dati provenienti da lidar, sensori e telecamere, migliorando la comprensione della scena e il processo decisionale degli agenti.
• Embodied AI: Garantisce una pianificazione delle azioni più affidabile per i sistemi che interagiscono con il mondo fisico, sulla base di suggerimenti visivi e testuali.
• Medicina e sanità: La combinazione di immagini mediche (ad esempio radiografie) con descrizioni testuali migliora la precisione diagnostica e la spiegabilità delle conclusioni dell'IA.

Problemi e prospettive

Nonostante i significativi progressi, l'utilizzo multimodale del CoT rimane un complesso problema di ricerca.

• Scarsità di dati annotati: Per addestrare i modelli a generare ragionamenti multimodali corretti sono necessari grandi set di dati con spiegazioni dettagliate, la cui raccolta è laboriosa.
• Flessibilità e generalizzabilità: I metodi ottimizzati per un tipo di compito (ad esempio testo + immagine) possono trasferirsi male ad altre combinazioni di modalità.
• Integrazione ottimale: Rimane aperta la questione di come integrare al meglio le diverse modalità in un unico processo di ragionamento, in modo che esso rafforzi effettivamente la comprensione del modello anziché limitarsi ad allungare la risposta.
• Standardizzazione e valutazione: Esiste la necessità di sviluppare benchmark standardizzati per la valutazione obiettiva e il confronto dei diversi approcci MCoT.

Per raggiungere un'IA multimodale vicina alle capacità di intelligenza generale, sono necessarie ulteriori innovazioni nei metodi MCoT che tengano conto delle specificità della percezione del mondo attraverso diversi sensori.

Riferimenti

• Panoramica del Multimodal CoT nella Prompting Guide
• «Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey» — dettagliata rassegna scientifica

Bibliografia

• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Wang, Y. et al. (2025). Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey. arXiv:2503.12605.
• Ma, Z. et al. (2025). Audio-CoT: Exploring Chain-of-Thought Reasoning in Large Audio Language Models. arXiv:2501.07246.
• Li, J. et al. (2024). DCoT: Dual Chain-of-Thought Prompting for Large Multimodal Models. OpenReview:0saecDOdh2.
• Ma, Z. et al. (2025). ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models. arXiv:2506.21448.
• Zhang, M. et al. (2023). Video-of-Thought: Step-by-Step Video Reasoning from Perception to Cognition. PDF.
• Mitra, S. et al. (2024). ThinkVideo: High-Quality Video Reasoning with Chain of Thoughts. arXiv:2505.18561.
• Wu, Y. et al. (2024). MINT: Multi-modal Chain of Thought in Unified Generative Models. arXiv:2503.01298.