Multimodal reasoning (PL)

Rozumowanie multimodalne (ang. Multimodal Reasoning) — to zdolność sztucznej inteligencji, w szczególności dużych modeli językowych (LLM), do jednoczesnego przetwarzania, interpretowania i logicznego łączenia informacji z różnych typów danych (modalności), takich jak tekst, obrazy, audio i wideo, w celu rozwiązywania złożonych zadań. Proces ten naśladuje wieloaspektowe ludzkie postrzeganie i stanowi kluczowy krok na drodze do stworzenia bardziej uniwersalnej i adaptacyjnej ogólnej sztucznej inteligencji (AGI).

Modele posiadające tę zdolność nazywane są multimodalnymi dużymi modelami językowymi (MLLM lub LMRM — Large Multimodal Reasoning Models). Rozszerzają one możliwości tradycyjnych LLM, które były trenowane wyłącznie na tekście, umożliwiając im rozumienie zawartości obrazów, analizowanie wideo, sterowanie robotami oraz prowadzenie dialogu w oparciu o dane wizualne.

Ewolucja podejść

Podejścia do rozumowania multimodalnego przeszły gwałtowną ewolucję — od systemów modularnych do ujednoliconych architektur skoncentrowanych na języku.

• Wczesne systemy: Opierały się na oddzielnych potokach przetwarzania, gdzie osobne komponenty obsługiwały wzrok, inne — tekst, a ich reprezentacje łączono na końcowym etapie. Takie podejście wymagało starannego projektowania dla każdego konkretnego zadania.
• Współczesne systemy: Przeszły do ujednoliconych modeli skoncentrowanych na języku. Duży model językowy pełni w nich rolę centralnego ogniwa, czyli „silnika" rozumowania, który przetwarza informacje ze wszystkich modalności w jednolitym formacie. Stało się to możliwe dzięki metodom, które „nauczyły" model językowy rozumieć dane wizualne i inne, reprezentując je w postaci specjalnych tokenów.

Ważnym kamieniem milowym w tej transformacji stała się koncepcja „multimodalnego łańcucha rozumowania" (Multimodal Chain-of-Thought, MCoT), w której model otrzymuje sekwencję podpowiedzi prowadzących go krok po kroku przez logiczne etapy angażujące różne modalności.

Architektury multimodalnych LLM

Istnieją dwie główne strategie architektoniczne służące połączeniu różnych modalności z modelem językowym:

1. Ujednolicona architektura na poziomie tokenów

W tym podejściu wszystkie modalności przekształcane są we wspólną reprezentację zgodną z LLM. Na przykład obraz dzielony jest na fragmenty (patche), przepuszczany przez wizualny enkoder (np. Vision Transformer (ViT)) i zamieniany w sekwencję wektorowych embeddingów — wizualnych tokenów. Następnie te wizualne tokeny są konkatenowane (łączone) z tokenami tekstowymi i podawane na wejście dużego modelu językowego, który przetwarza je jednym strumieniem.

• Zalety: Ten schemat praktycznie nie wymaga zmian w architekturze LLM i łatwo się skaluje.
• Przykłady: GPT-4 firmy OpenAI, PaLM-E firmy Google.

2. Architektura z krosmodalną uwagą

Tutaj model językowy i wizualny enkoder pozostają oddzielnymi podsystemami, lecz łączą je specjalne warstwy krosmodalnej uwagi (cross-attention). Warstwy te pozwalają reprezentacjom tekstowym i wizualnym wzajemnie na siebie oddziaływać w procesie generowania. Model niejako „zagląda" do cech wizualnych na każdym kroku tworzenia odpowiedzi tekstowej.

• Zalety: Pozwala efektywnie wykorzystać potencjał już istniejących, wstępnie wytrenowanych i zamrożonych modeli (np. dużego LLM i wydajnego ViT), trenując jedynie warstwy łączące.
• Przykład: Flamingo firmy DeepMind.

We współczesnych badaniach ujednolicone architektury decoder-only stały się dominujące, gdyż łatwiej się skalują i lepiej wykorzystują możliwości istniejących LLM.

Kluczowe modele i badania

Rozwój MLLM szczególnie przyspieszył w latach 2022–2024.

• Flamingo (DeepMind, 2022): Jeden z pierwszych dużych wizualno-językowych modeli (VLM), zdolny do rozwiązywania różnorodnych zadań multimodalnych w trybie few-shot learning bez dodatkowego dostrajania. Flamingo wykazało, że jeden model może szybko adaptować się do nowych zadań, otrzymując jedynie kilka przykładów w podpowiedzi.

• Kosmos-1 (Microsoft Research, 2023): Pierwszy MLLM wytrenowany od podstaw na danych webowych. Potrafi postrzegać tekst i obrazy jako „wspólne modalności" i osiągnął silne wyniki w rozwiązywaniu zadań tekstowych z obrazami (OCR), multimodalnym dialogu, a nawet w zadaniach dotyczących niewerbalnego myślenia logicznego (macierze Ravena).

• GPT-4 (OpenAI, 2023): Flagowy model, pozycjonowany jako „duży model multimodalny", zdolny przyjmować na wejście tekst i obrazy. Choć jego architektura nie została ujawniona, wiadomo, że potrafi analizować zawartość obrazków, opisywać wykresy i wyjaśniać wizualne memy. Dostęp do jego multimodalnych możliwości był udostępniany w ograniczonym zakresie, na przykład we współpracy z aplikacją BeMyEyes służącą pomocy osobom niewidomym i słabowidzącym.

• PaLM-E (Google, 2023): Tak zwany „ucieleśniony" (embodied) model multimodalny, stworzony z myślą o integracji percepcji wizualnej z fizycznymi działaniami robota. PaLM-E potrafi generować szczegółowe plany sterowania robotami, przyjmując na wejście kombinację obrazów z kamer i odczytów czujników. Wykazało to efekt „pozytywnego transferu": trening na ogólnych zadaniach „wizja+język" poprawił skuteczność umiejętności robotycznych.

• LLAMA 3.2 (Meta, 2024): Otwarta seria modeli, w której pojawiły się również wersje multimodalne. Ich pojawienie się sprawia, że technologie MLLM stają się dostępne dla szerokiej społeczności badawczej, umożliwiając dalsze eksperymenty.

Problemy i ograniczenia

Pomimo imponujących osiągnięć, MLLM napotykają szereg poważnych problemów:

• Halucynacje: Podobnie jak ich tekstowi poprzednicy, MLLM mogą generować brzmiące przekonująco, lecz faktycznie nieprawidłowe twierdzenia. Informacje wizualne nie eliminują tego problemu, a czasem go komplikują, prowadząc do błędnych interpretacji obrazów.
• Zdolność uogólniania i głębokość rozumowania: Modele często nie potrafią niezawodnie przenosić wniosków na nowe typy danych (uogólnianie omnimodalne), a ich rozumowanie bywa powierzchowne. Mogą opisać obrazek, lecz zawodzą, gdy zadanie wymaga wieloetapowego planowania uwzględniającego jednocześnie tekst i obraz.
• Trudności techniczne: Trening MLLM wymaga ogromnych zasobów obliczeniowych oraz dużych, starannie przygotowanych multimodalnych datasetów. Ocena jakości takich modeli jest również skomplikowana, gdyż wymaga specjalistycznych benchmarków uwzględniających zarówno rozumienie, jak i rozumowanie.

Perspektywy rozwoju

Trendy wskazują, że modele multimodalne będą stawać się coraz bardziej „natywnymi" modelami multimodalnymi (Native Large Multimodal Models), czyli projektowanymi od początku z myślą o pracy ze wszystkimi modalnościami. Ostatecznym celem jest stworzenie uniwersalnej inteligencji zdolnej do postrzegania i rozumienia świata tak samo bogato jak człowiek. W tym celu badacze pracują nad zmniejszeniem zależności od danych z etykietami, trenowaniem modeli do bardziej abstrakcyjnego, przyczynowo-skutkowego myślenia oraz zapewnieniem bezpiecznej kontroli nad tak potężnymi systemami. Rozwój podejść pomocniczych, takich jak HuggingGPT — gdzie LLM pełni rolę koordynatora rozdzielającego zadania między modele-eksperci — również toruje drogę ku bardziej niezawodnej multimodalnej sztucznej inteligencji.

Odnośniki

• Artykuł przeglądowy: A Survey on Large Multimodal Reasoning Models (2025)
• Artykuł Sebastiana Raschki o rozumieniu multimodalnych LLM

Literatura

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.