Multimodales Schließen

Multimodales Schließen (englisch Multimodal Reasoning) ist die Fähigkeit der künstlichen Intelligenz, insbesondere von großen Sprachmodellen (LLMs), Informationen aus verschiedenen Datentypen (Modalitäten) wie Text, Bildern, Audio und Video gleichzeitig zu verarbeiten, zu interpretieren und logisch zu verknüpfen, um komplexe Aufgaben zu lösen. Dieser Prozess ahmt die vielschichtige menschliche Wahrnehmung nach und ist ein entscheidender Schritt auf dem Weg zu einer universelleren und anpassungsfähigeren allgemeinen künstlichen Intelligenz (AGI).

Modelle mit dieser Fähigkeit werden als multimodale große Sprachmodelle (MLLM oder LMRM – Large Multimodal Reasoning Models) bezeichnet. Sie erweitern die Fähigkeiten traditioneller LLMs, die nur auf Textdaten trainiert wurden, und ermöglichen es ihnen, Bildinhalte zu verstehen, Videos zu analysieren, Roboter zu steuern und Dialoge auf Basis visueller Daten zu führen.

Evolution der Ansätze

Die Ansätze zum multimodalen Schließen haben eine schnelle Evolution von modularen Systemen hin zu vereinheitlichten, sprachzentrierten Architekturen durchlaufen.

• Frühe Systeme: Basierten auf getrennten Pipelines, in denen einzelne Komponenten für die Bildverarbeitung und andere für Text zuständig waren. Ihre Repräsentationen wurden erst in der letzten Stufe zusammengeführt. Dieser Ansatz erforderte ein sorgfältiges Design für jede spezifische Aufgabe.
• Moderne Systeme: Sind zu vereinheitlichten, sprachzentrierten Modellen übergegangen. Hier fungiert ein großes Sprachmodell als zentrales Element oder als „Schlussfolgerungs-Engine“, das Informationen aus allen Modalitäten in einem einheitlichen Format verarbeitet. Dies wurde durch Methoden ermöglicht, die dem Sprachmodell beibringen, visuelle und andere Daten zu verstehen, indem sie diese als spezielle Tokens darstellen.

Ein wichtiger Meilenstein in diesem Übergang war das Konzept der multimodalen Gedankenkette (Multimodal Chain-of-Thought, MCoT), bei dem das Modell eine Sequenz von Anweisungen (Prompts) erhält, die es schrittweise durch logische Schritte führen, die verschiedene Modalitäten einbeziehen.

Architekturen multimodaler LLMs

Es gibt zwei grundlegende Architekturstrategien, um verschiedene Modalitäten mit einem Sprachmodell zu kombinieren:

1. Vereinheitlichte Architektur auf Token-Ebene

Bei diesem Ansatz werden alle Modalitäten in eine gemeinsame, mit dem LLM kompatible Repräsentation umgewandelt. Beispielsweise wird ein Bild in Fragmente (Patches) zerlegt, durch einen visuellen Encoder (z. B. einen Vision Transformer (ViT)) geleitet und in eine Sequenz von Vektor-Einbettungen – visuelle Tokens – umgewandelt. Diese visuellen Tokens werden dann mit den Text-Tokens konkateniert (verbunden) und dem großen Sprachmodell als Eingabe übergeben, das sie als einen einheitlichen Datenstrom verarbeitet.

• Vorteile: Dieses Schema erfordert praktisch keine Änderungen an der LLM-Architektur und lässt sich leicht skalieren.
• Beispiele: GPT-4 von OpenAI, PaLM-E von Google.

2. Architektur mit Cross-Modal Attention

Hier bleiben das Sprachmodell und der visuelle Encoder getrennte Subsysteme, werden aber durch spezielle Schichten mit Cross-Modal Attention (kreuzmodaler Aufmerksamkeit) verbunden. Diese Schichten ermöglichen es den textuellen und visuellen Repräsentationen, sich während des Generierungsprozesses gegenseitig zu beeinflussen. Das Modell „schaut“ sozusagen bei jedem Schritt der Texterstellung auf die visuellen Merkmale.

• Vorteile: Ermöglicht die effiziente Nutzung der Leistungsfähigkeit bereits existierender, vortrainierter und „eingefrorener“ Modelle (z. B. eines großen LLM und eines leistungsstarken ViT), indem nur die Verbindungsschichten trainiert werden.
• Beispiel: Flamingo von DeepMind.

In der aktuellen Forschung sind vereinheitlichte decoder-only-Architekturen dominant geworden, da sie einfacher zu skalieren sind und die Fähigkeiten bestehender LLMs besser nutzen.

Schlüsselmodelle und Forschung

Die Entwicklung von MLLMs hat sich besonders in den Jahren 2022–2024 beschleunigt.

• Flamingo (DeepMind, 2022): Eines der ersten großen visuellen Sprachmodelle (VLM), das in der Lage ist, im Few-Shot-Learning-Modus vielfältige multimodale Aufgaben ohne zusätzliche Feinabstimmung zu lösen. Flamingo zeigte, dass sich ein einziges Modell schnell an neue Aufgaben anpassen kann, indem es nur wenige Beispiele in der Eingabeaufforderung (Prompt) erhält.

• Kosmos-1 (Microsoft Research, 2023): Das erste MLLM, das von Grund auf mit Webdaten trainiert wurde. Es kann Text und Bilder als „gemeinsame Modalitäten“ wahrnehmen und zeigte starke Ergebnisse bei der Lösung von textbasierten Bildaufgaben (OCR), im multimodalen Dialog und sogar bei Aufgaben zum nonverbalen logischen Denken (Raven-Matrizen).

• GPT-4 (OpenAI, 2023): Ein Flaggschiff-Modell, das als „großes multimodales Modell“ positioniert wird und Text- und Bildeingaben verarbeiten kann. Obwohl seine Architektur nicht offengelegt wurde, ist bekannt, dass es Bildinhalte analysieren, Diagramme beschreiben und visuelle Memes erklären kann. Der Zugang zu seinen multimodalen Fähigkeiten wurde nur eingeschränkt gewährt, beispielsweise in Zusammenarbeit mit der App BeMyEyes zur Unterstützung von blinden und sehbehinderten Menschen.

• PaLM-E (Google, 2023): Ein sogenanntes „verkörpertes“ (embodied) multimodales Modell, das entwickelt wurde, um visuelle Wahrnehmung mit den physischen Aktionen eines Roboters zu integrieren. PaLM-E kann schrittweise Pläne zur Steuerung von Robotern generieren, indem es eine Kombination aus Kamerabildern und Sensordaten als Eingabe erhält. Dies demonstrierte den Effekt des „positiven Transfers“: Das Training an allgemeinen Aufgaben im Bereich „Bild+Sprache“ verbesserte die Effizienz robotischer Fähigkeiten.

• LLAMA 3.2 (Meta, 2024): Eine Open-Source-Modellreihe, die auch multimodale Versionen umfasst. Ihre Veröffentlichung macht MLLM-Technologien einer breiten Forschungsgemeinschaft für weitere Experimente zugänglich.

Probleme und Einschränkungen

Trotz beeindruckender Fortschritte stoßen MLLMs auf eine Reihe ernsthafter Probleme:

• Halluzinationen: Wie ihre textbasierten Vorgänger können MLLMs überzeugend klingende, aber faktisch falsche Aussagen generieren. Visuelle Informationen beseitigen dieses Problem nicht, sondern erschweren es manchmal, was zu Fehlinterpretationen von Bildern führt.
• Generalisierungsfähigkeit und Tiefe des Schließens: Modelle können Schlussfolgerungen oft nicht zuverlässig auf neue Datentypen übertragen (omni-modale Generalisierung), und ihre logischen Ableitungen können oberflächlich sein. Sie können ein Bild beschreiben, aber scheitern, wenn die Aufgabe eine mehrstufige Planung erfordert, die sowohl Text als auch Bild berücksichtigt.
• Technische Schwierigkeiten: Das Training von MLLMs erfordert enorme Rechenressourcen und große, sorgfältig aufbereitete multimodale Datensätze. Die Bewertung der Qualität solcher Modelle ist ebenfalls komplex, da sie spezielle Benchmarks erfordert, die sowohl das Verständnis als auch das logische Schließen berücksichtigen.

Entwicklungsperspektiven

Trends deuten darauf hin, dass multimodale Modelle zunehmend zu „nativen“ multimodalen Modellen (Native Large Multimodal Models) werden, die von Grund auf für die Arbeit mit allen Modalitäten konzipiert sind. Das ultimative Ziel ist die Schaffung einer universellen Intelligenz, die die Welt so reichhaltig wahrnehmen und verstehen kann wie ein Mensch. Dafür arbeiten Forscher daran, die Abhängigkeit von annotierten Daten zu verringern, den Modellen abstrakteres, kausales Denken beizubringen und eine sichere Kontrolle über solch leistungsfähige Systeme zu gewährleisten. Die Entwicklung unterstützender Ansätze wie HuggingGPT – bei dem ein LLM als Koordinator fungiert, der Aufgaben an spezialisierte Expertenmodelle verteilt – ebnet ebenfalls den Weg zu einer zuverlässigeren multimodalen KI.

Weblinks

• Übersichtsartikel: A Survey on Large Multimodal Reasoning Models (2025)
• Artikel von Sebastian Raschka zum Verständnis multimodaler LLMs

Literatur

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.