Multimodal reasoning (SV)

Multimodalt resonemang (eng. Multimodal Reasoning) — är förmågan hos artificiell intelligens, i synnerhet stora språkmodeller (LLM), att samtidigt bearbeta, tolka och logiskt koppla samman information från olika typer av data (modaliteter), såsom text, bilder, ljud och video, för att lösa komplexa uppgifter. Denna process efterliknar den mångfacetterade mänskliga uppfattningsförmågan och är ett avgörande steg på vägen mot skapandet av en mer universell och anpassningsbar allmän artificiell intelligens (AGI).

Modeller som besitter denna förmåga kallas multimodala stora språkmodeller (MLLM eller LMRM — Large Multimodal Reasoning Models). De utökar möjligheterna hos traditionella LLM, som enbart tränades på text, och låter dem förstå bildinnehåll, analysera video, styra robotar och föra dialog baserat på visuella data.

Evolutionen av metoder

Metoderna för multimodalt resonemang har genomgått en snabb utveckling från modulära system till unifierade, språkcentrerade arkitekturer.

• Tidiga system: Baserades på separata pipelines, där enskilda komponenter hanterade syn, andra text, och deras representationer kombinerades i ett slutsteg. Detta tillvägagångssätt krävde noggrann design för varje specifik uppgift.
• Moderna system: Har övergått till unifierade, språkcentrerade modeller. I dessa fungerar den stora språkmodellen som den centrala enheten, eller "motorn" för resonemang, som bearbetar information från alla modaliteter i ett enhetligt format. Detta möjliggjordes tack vare metoder som "lärde" språkmodellen att förstå visuella och andra data genom att representera dem som speciella token.

Ett viktigt steg i denna övergång var konceptet «multimodal kedja av tankar» (Multimodal Chain-of-Thought, MCoT), där modellen får en sekvens av ledtrådar som steg för steg för den genom logiska steg som involverar olika modaliteter.

Arkitekturer för multimodala LLM

Det finns två huvudsakliga arkitekturstrategier för att kombinera olika modaliteter med en språkmodell:

1. Unifierad arkitektur på token-nivå

I detta tillvägagångssätt omvandlas alla modaliteter till en gemensam representation som är kompatibel med LLM. Till exempel delas en bild upp i fragment (patchar), passeras genom en visuell encoder (exempelvis Vision Transformer (ViT)) och omvandlas till en sekvens av vektoreembeddings — visuella token. Dessa visuella token konkateneras sedan (sammanfogas) med textuella token och matas in till den stora språkmodellen, som bearbetar dem i ett enhetligt flöde.

• Fördelar: Detta schema kräver nästan inga ändringar i LLM-arkitekturen och skaleras enkelt.
• Exempel: GPT-4 från OpenAI, PaLM-E från Google.

2. Arkitektur med korsmodalt attention

Här förblir språkmodellen och den visuella encodern separata delsystem, men kopplas samman via speciella lager av korsmodalt attention (cross-attention). Dessa lager gör det möjligt för textuella och visuella representationer att påverka varandra under genereringen. Modellen "tittar" så att säga på visuella egenskaper vid varje steg av skapandet av ett textsvar.

• Fördelar: Möjliggör effektivt utnyttjande av kraften hos redan befintliga, förtränade och frysta modeller (exempelvis en stor LLM och en kraftfull ViT), med träning endast av de sammanbindande lagren.
• Exempel: Flamingo från DeepMind.

I modern forskning har unifierade decoder-only-arkitekturer blivit dominerande, eftersom de är enklare att skala och bättre utnyttjar befintliga LLM:ers möjligheter.

Viktiga modeller och forskning

Utvecklingen av MLLM accelererade särskilt under åren 2022–2024.

• Flamingo (DeepMind, 2022): En av de första stora visuell-språkliga modellerna (VLM), kapabel att i few-shot learning-läge lösa varierande multimodala uppgifter utan ytterligare finjustering. Flamingo demonstrerade att en enda modell snabbt kan anpassa sig till nya uppgifter efter att ha fått bara några få exempel i ledtråden.

• Kosmos-1 (Microsoft Research, 2023): Den första MLLM som tränades från grunden på webbdata. Den kan uppfatta text och bilder som "gemensamma modaliteter" och visade starka resultat vid lösning av textuppgifter med bilder (OCR), multimodal dialog och till och med uppgifter som rör icke-verbal logisk förmåga (Ravens matriser).

• GPT-4 (OpenAI, 2023): En flaggskeppsmodell, positionerad som en "stor multimodal modell", kapabel att ta emot text och bilder som indata. Även om dess arkitektur inte är offentliggjord är det känt att den kan analysera bildinnehåll, beskriva diagram och förklara visuella memes. Tillgången till dess multimodala funktioner tillhandahölls begränsat, exempelvis i samarbete med appen BeMyEyes för att hjälpa blinda och synskadade.

• PaLM-E (Google, 2023): En så kallad "förkroppsligad" (embodied) multimodal modell, skapad för att integrera visuell perception med fysiska robotrörelser. PaLM-E kan generera stegvisa planer för att styra robotar, med kombinationer av bilder från kameror och sensoravläsningar som indata. Detta demonstrerade effekten av "positiv transfer": träning på allmänna uppgifter av typen "visualisering+språk" förbättrade effektiviteten hos robotikfärdigheter.

• LLAMA 3.2 (Meta, 2024): En öppen modellserie i vilken även multimodala versioner introducerades. Deras tillkomst gör MLLM-teknologier tillgängliga för ett brett forskarsamhälle för vidare experiment.

Problem och begränsningar

Trots imponerande framsteg står MLLM inför ett antal allvarliga utmaningar:

• Hallucinationer: Precis som sina textbaserade föregångare kan MLLM generera övertygande klingande men faktamässigt felaktiga påståenden. Visuell information eliminerar inte detta problem, utan komplicerar det ibland, vilket leder till felaktiga tolkningar av bilder.
• Generaliseringsförmåga och djup i resonemang: Modeller klarar ofta inte av att på ett tillförlitligt sätt överföra slutsatser till nya typer av data (omni-modal generalisering), och deras resonemang kan vara ytliga. De kan beskriva en bild, men misslyckas om uppgiften kräver flerstegsplanering med hänsyn till både text och bild.
• Tekniska svårigheter: Träning av MLLM kräver enorma beräkningsresurser och stora, noggrant förberedda multimodala dataset. Utvärderingen av sådana modellers kvalitet är också komplex, eftersom den kräver specialiserade benchmark som tar hänsyn till både förståelse och resonemang.

Utvecklingsperspektiv

Trender visar att multimodala modeller kommer att bli alltmer "nativt" multimodala (Native Large Multimodal Models), det vill säga ursprungligen utformade för att arbeta med alla modaliteter. Det slutliga målet är att skapa en universell intelligens som kan uppfatta och förstå världen lika rikt som en människa. För detta arbetar forskare med att minska beroendet av annoterade data, träna modeller i mer abstrakt, kausalt tänkande och säkerställa säker kontroll över sådana kraftfulla system. Utvecklingen av kompletterande tillvägagångssätt, såsom HuggingGPT — där en LLM fungerar som koordinator och fördelar uppgifter till expertmodeller — banar också väg för en mer tillförlitlig multimodal AI.

Referenser

• Översiktsartikel: A Survey on Large Multimodal Reasoning Models (2025)
• Artikel av Sebastian Raschka om förståelse av multimodala LLM

Litteratur

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.