Raisonnement multimodal

Le raisonnement multimodal (en anglais Multimodal Reasoning) est la capacité de l'intelligence artificielle, en particulier des grands modèles de langage (LLM), à traiter, interpréter et relier logiquement des informations provenant de divers types de données (modalités), telles que le texte, les images, l'audio et la vidéo, afin de résoudre des tâches complexes. Ce processus imite la perception humaine multidimensionnelle et constitue une étape clé vers la création d'une intelligence artificielle générale (AGI) plus universelle et adaptative.

Les modèles dotés de cette capacité sont appelés grands modèles de langage multimodaux (MLLM ou LMRM — Large Multimodal Reasoning Models). Ils étendent les capacités des LLM traditionnels, qui n'ont été entraînés que sur du texte, en leur permettant de comprendre le contenu des images, d'analyser des vidéos, de contrôler des robots et de mener un dialogue basé sur des données visuelles.

Évolution des approches

Les approches du raisonnement multimodal ont connu une évolution rapide, passant de systèmes modulaires à des architectures unifiées et centrées sur le langage.

• Systèmes précoces : Ils reposaient sur des pipelines distincts où des composants séparés traitaient la vision et d'autres le texte, leurs représentations étant fusionnées à l'étape finale. Cette approche exigeait une conception minutieuse pour chaque tâche spécifique.
• Systèmes modernes : Ils sont passés à des modèles unifiés et centrés sur le langage. Dans ces modèles, un grand modèle de langage sert de noyau central, ou de « moteur » de raisonnement, qui traite les informations de toutes les modalités dans un format unifié. Cela a été rendu possible grâce à des méthodes qui ont "appris" au modèle de langage à comprendre les données visuelles et autres en les représentant sous forme de jetons spéciaux.

Une étape importante de cette transition a été le concept de « chaîne de pensée multimodale » (Multimodal Chain-of-Thought, MCoT), où le modèle reçoit une séquence d'instructions (prompts) qui le guident pas à pas à travers des étapes logiques impliquant différentes modalités.

Architectures des MLLM

Il existe deux stratégies architecturales principales pour intégrer différentes modalités avec un modèle de langage :

1. Architecture unifiée au niveau des jetons

Dans cette approche, toutes les modalités sont converties en une représentation commune compatible avec le LLM. Par exemple, une image est divisée en fragments (patchs), traitée par un encodeur visuel (comme un Vision Transformer (ViT)) et transformée en une séquence d'embeddings vectoriels — des jetons visuels. Ces jetons visuels sont ensuite concaténés (fusionnés) avec les jetons textuels et fournis en entrée au grand modèle de langage, qui les traite comme un flux unique.

• Avantages : Cette structure ne nécessite pratiquement aucune modification de l'architecture du LLM et est facile à mettre à l'échelle.
• Exemples : GPT-4 d'OpenAI, PaLM-E de Google.

2. Architecture avec attention croisée (cross-attention)

Ici, le modèle de langage et l'encodeur visuel restent des sous-systèmes distincts, mais sont connectés par des couches spéciales d' attention croisée (cross-attention). Ces couches permettent aux représentations textuelles et visuelles de s'influencer mutuellement pendant la génération. Le modèle "consulte" en quelque sorte les caractéristiques visuelles à chaque étape de la création de la réponse textuelle.

• Avantages : Permet d'utiliser efficacement la puissance de modèles pré-entraînés et gelés (frozen) déjà existants (par exemple, un grand LLM et un ViT performant), en n'entraînant que les couches de liaison.
• Exemple : Flamingo de DeepMind.

Dans les recherches actuelles, les architectures unifiées de type decoder-only sont devenues dominantes, car elles sont plus simples à mettre à l'échelle et exploitent mieux les capacités des LLM existants.

Modèles et recherches clés

Le développement des MLLM s'est particulièrement accéléré entre 2022 et 2024.

• Flamingo (DeepMind, 2022) : L'un des premiers grands modèles vision-langage (VLM), capable d'effectuer en mode few-shot learning diverses tâches multimodales sans réglage fin supplémentaire. Flamingo a démontré qu'un modèle unique pouvait s'adapter rapidement à de nouvelles tâches en ne recevant que quelques exemples dans son prompt.

• Kosmos-1 (Microsoft Research, 2023) : Le premier MLLM entraîné de A à Z sur des données web. Il est capable de percevoir le texte et les images comme des « modalités communes » et a montré de solides résultats dans la résolution de tâches textuelles avec des images (OCR), le dialogue multimodal, et même dans des tâches de raisonnement logique non verbal (matrices de Raven).

• GPT-4 (OpenAI, 2023) : Un modèle phare, présenté comme un « grand modèle multimodal », capable de recevoir en entrée du texte et des images. Bien que son architecture n'ait pas été divulguée, il est connu pour pouvoir analyser le contenu d'images, décrire des graphiques et expliquer des mèmes visuels. L'accès à ses capacités multimodales a été fourni de manière limitée, par exemple en collaboration avec l'application BeMyEyes pour aider les personnes aveugles et malvoyantes.

• PaLM-E (Google, 2023) : Un modèle multimodal dit « incarné » (embodied), créé pour intégrer la perception visuelle aux actions physiques d'un robot. PaLM-E est capable de générer des plans étape par étape pour contrôler des robots, en recevant en entrée une combinaison d'images de caméras et de relevés de capteurs. Cela a démontré un effet de « transfert positif » : l'entraînement sur des tâches générales "vision + langage" a amélioré l'efficacité des compétences en robotique.

• LLAMA 3.2 (Meta, 2024) : Une série de modèles ouverts qui inclut désormais des versions multimodales. Leur apparition rend les technologies MLLM accessibles à une large communauté de chercheurs pour de futures expérimentations.

Problèmes et limitations

Malgré des progrès impressionnants, les MLLM font face à plusieurs défis majeurs :

• Hallucinations : Tout comme leurs prédécesseurs textuels, les MLLM peuvent générer des affirmations qui semblent convaincantes mais qui sont factuellement incorrectes. L'information visuelle n'élimine pas ce problème et peut même le compliquer, conduisant à des interprétations erronées des images.
• Capacité de généralisation et profondeur du raisonnement : Les modèles peinent souvent à transférer de manière fiable leurs conclusions à de nouveaux types de données (généralisation omni-modale), et leur raisonnement peut être superficiel. Ils peuvent décrire une image mais échouer si la tâche exige une planification en plusieurs étapes tenant compte à la fois du texte et de l'image.
• Difficultés techniques : L'entraînement des MLLM nécessite d'énormes ressources de calcul et de vastes datasets multimodaux soigneusement préparés. L'évaluation de la qualité de ces modèles est également complexe, car elle requiert des benchmarks spécifiques qui prennent en compte à la fois la compréhension et le raisonnement.

Perspectives de développement

Les tendances indiquent que les modèles multimodaux deviendront de plus en plus multimodaux « natifs » (Native Large Multimodal Models), c'est-à-dire conçus dès le départ pour fonctionner avec toutes les modalités. L'objectif final est de créer une intelligence universelle, capable de percevoir et de comprendre le monde avec la même richesse qu'un être humain. Pour y parvenir, les chercheurs travaillent à réduire la dépendance aux données étiquetées, à entraîner les modèles à un raisonnement plus abstrait et causal, et à assurer un contrôle sécurisé de systèmes aussi puissants. Le développement d'approches complémentaires, comme HuggingGPT — où un LLM agit comme un coordinateur qui distribue les tâches à des modèles experts —, ouvre également la voie à une IA multimodale plus fiable.

Liens externes

• Article de synthèse : A Survey on Large Multimodal Reasoning Models (2025)
• Article de Sebastian Raschka sur la compréhension des MLLM

Bibliographie

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.