Multimodal reasoning (NL)

Multimodaal redeneren (Engels: Multimodal Reasoning) — is het vermogen van kunstmatige intelligentie, met name van grote taalmodellen (LLM), om tegelijkertijd informatie uit verschillende soorten gegevens (modaliteiten), zoals tekst, afbeeldingen, audio en video, te verwerken, te interpreteren en logisch met elkaar te verbinden, met als doel complexe taken op te lossen. Dit proces imiteert de veelzijdige menselijke waarneming en is een cruciale stap op weg naar de ontwikkeling van een meer universele en adaptieve algemene kunstmatige intelligentie (AGI).

Modellen die over een dergelijk vermogen beschikken, worden multimodale grote taalmodellen (MLLM of LMRM — Large Multimodal Reasoning Models) genoemd. Ze breiden de mogelijkheden van traditionele LLM's uit, die uitsluitend op tekst werden getraind, door hen in staat te stellen de inhoud van afbeeldingen te begrijpen, video te analyseren, robots aan te sturen en een dialoog te voeren op basis van visuele gegevens.

Evolutie van benaderingen

De benaderingen voor multimodaal redeneren hebben een snelle evolutie doorgemaakt, van modulaire systemen naar uniforme, taalgerichte architecturen.

• Vroege systemen: Waren gebaseerd op afzonderlijke pipelines, waarbij aparte componenten visuele informatie verwerkten en andere tekst, waarna hun representaties in een laatste stap werden samengevoegd. Deze aanpak vereiste zorgvuldig ontwerp voor elke specifieke taak.
• Moderne systemen: Zijn overgestapt op uniforme, taalgerichte modellen. Daarin fungeert het grote taalmodel als de centrale schakel, of 'motor' voor het redeneren, die informatie uit alle modaliteiten in één uniform formaat verwerkt. Dit werd mogelijk dankzij methoden die het taalmodel hebben 'geleerd' visuele en andere gegevens te begrijpen door deze weer te geven als speciale tokens.

Een belangrijke mijlpaal in deze overgang was het concept van de «multimodale redeneerketen» (Multimodal Chain-of-Thought, MCoT), waarbij het model een reeks aanwijzingen ontvangt die het stap voor stap door logische stappen leiden waarbij verschillende modaliteiten worden gebruikt.

Architecturen van multimodale LLM's

Er zijn twee belangrijke architectuurstrategieën voor het integreren van verschillende modaliteiten met een taalmodel:

1. Uniforme architectuur op tokenniveau

Bij deze aanpak worden alle modaliteiten omgezet in een gemeenschappelijke representatie die compatibel is met de LLM. Een afbeelding wordt bijvoorbeeld opgesplitst in fragmenten (patches), door een visuele encoder geleid (bijv. een Vision Transformer (ViT)) en omgezet in een reeks vectoriële embeddings — visuele tokens. Deze visuele tokens worden vervolgens samengevoegd (geconcateneerd) met teksttokens en als invoer aangeboden aan het grote taalmodel, dat ze als één doorlopende stroom verwerkt.

• Voordelen: Dit schema vereist nauwelijks aanpassingen aan de LLM-architectuur en schaalt gemakkelijk.
• Voorbeelden: GPT-4 van OpenAI, PaLM-E van Google.

2. Architectuur met cross-modale aandacht

Hier blijven het taalmodel en de visuele encoder afzonderlijke subsystemen, maar worden ze verbonden via speciale lagen voor cross-modale aandacht (cross-attention). Deze lagen stellen tekst- en visuele representaties in staat elkaar te beïnvloeden tijdens het generatieproces. Het model 'kijkt als het ware mee' naar visuele kenmerken bij elke stap in het genereren van een tekstantwoord.

• Voordelen: Maakt efficiënt gebruik van de kracht van reeds bestaande, vooraf getrainde en bevroren modellen (bijv. een grote LLM en een krachtige ViT), waarbij alleen de verbindende lagen worden getraind.
• Voorbeeld: Flamingo van DeepMind.

In modern onderzoek zijn uniforme decoder-only-architecturen dominant geworden, omdat ze eenvoudiger te schalen zijn en beter gebruikmaken van de mogelijkheden van bestaande LLM's.

Belangrijke modellen en onderzoeken

De ontwikkeling van MLLM's heeft zich met name versneld in de periode 2022–2024.

• Flamingo (DeepMind, 2022): Een van de eerste grote visueel-taalkundige modellen (VLM) die in staat is om met behulp van few-shot learning diverse multimodale taken op te lossen zonder aanvullende fine-tuning. Flamingo toonde aan dat één enkel model zich snel aan nieuwe taken kan aanpassen door slechts enkele voorbeelden in de prompt te ontvangen.

• Kosmos-1 (Microsoft Research, 2023): De eerste MLLM die volledig vanaf nul is getraind op webgegevens. Het model is in staat tekst en afbeeldingen te verwerken als 'algemene modaliteiten' en behaalde sterke resultaten bij het oplossen van teksttaken met afbeeldingen (OCR), multimodale dialoog en zelfs taken voor non-verbaal logisch redeneren (Raven-matrices).

• GPT-4 (OpenAI, 2023): Het vlaggenschipmodel, gepositioneerd als een 'groot multimodaal model', dat tekst en afbeeldingen als invoer kan verwerken. Hoewel de architectuur niet openbaar is gemaakt, is bekend dat het model de inhoud van afbeeldingen kan analyseren, grafieken kan beschrijven en visuele memes kan toelichten. De toegang tot de multimodale mogelijkheden was beperkt beschikbaar gesteld, bijvoorbeeld in samenwerking met de app BeMyEyes ter ondersteuning van blinden en slechtzienden.

• PaLM-E (Google, 2023): Een zogenaamd 'belichaamd' (embodied) multimodaal model, ontwikkeld voor de integratie van visuele waarneming met fysieke robotacties. PaLM-E is in staat stapsgewijze plannen te genereren voor het aansturen van robots, waarbij het als invoer een combinatie van camerabeelden en sensorgegevens ontvangt. Dit demonstreerde het effect van 'positieve transfer': training op algemene taken waarbij visualisatie en taal worden gecombineerd, verbeterde de prestaties van robotvaardigheden.

• LLAMA 3.2 (Meta, 2024): Een open reeks modellen waarin ook multimodale versies zijn verschenen. Hun verschijning maakt MLLM-technologieën toegankelijk voor de bredere onderzoeksgemeenschap voor verdere experimenten.

Problemen en beperkingen

Ondanks indrukwekkende prestaties worden MLLM's geconfronteerd met een aantal ernstige uitdagingen:

• Hallucinaties: Net als hun tekstgebaseerde voorgangers kunnen MLLM's overtuigend klinkende maar feitelijk onjuiste beweringen genereren. Visuele informatie lost dit probleem niet op en maakt het soms zelfs complexer, wat leidt tot onjuiste interpretaties van afbeeldingen.
• Generalisatievermogen en diepte van redeneren: Modellen zijn vaak niet in staat conclusies betrouwbaar over te dragen op nieuwe soorten gegevens (omni-modale generalisatie), en hun redenering kan oppervlakkig zijn. Ze kunnen een afbeelding beschrijven, maar falen wanneer de taak meerstappenplanning vereist waarbij zowel tekst als afbeeldingen een rol spelen.
• Technische complexiteit: Het trainen van MLLM's vereist enorme rekenkracht en grote, zorgvuldig samengestelde multimodale datasets. Het beoordelen van de kwaliteit van dergelijke modellen is eveneens complex, omdat daarvoor speciale benchmarks nodig zijn die zowel begrip als redenering meten.

Ontwikkelingsperspectieven

Trends laten zien dat multimodale modellen steeds meer 'native' multimodale modellen (Native Large Multimodal Models) zullen worden, dat wil zeggen modellen die van meet af aan zijn ontworpen om met alle modaliteiten te werken. Het uiteindelijke doel is het creëren van een universele intelligentie die de wereld net zo rijk kan waarnemen en begrijpen als een mens. Hiervoor werken onderzoekers aan het verminderen van de afhankelijkheid van gelabelde gegevens, het trainen van modellen in meer abstract, causaal denken en het waarborgen van veilig toezicht op dergelijke krachtige systemen. De ontwikkeling van ondersteunende benaderingen, zoals HuggingGPT — waarbij een LLM als coördinator fungeert die taken verdeelt over gespecialiseerde modellen — baant eveneens de weg naar een betrouwbaardere multimodale AI.

Verwijzingen

• Overzichtsartikel: A Survey on Large Multimodal Reasoning Models (2025)
• Artikel van Sebastian Raschka over het begrijpen van multimodale LLM's

Literatuur

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.