Multimodal CoT Prompting (PL)

Multimodalny prompting z łańcuchem rozumowania (Multimodal Chain-of-Thought Prompting, MCoT) — rozszerzenie metody łańcucha rozumowania (CoT) na zadania obejmujące wiele typów danych (modalności). W modelach MCoT język i inne modalności, takie jak wzrok czy analiza danych tabelarycznych, uczestniczą w jednolitym procesie wnioskowania krok po kroku w celu rozwiązywania złożonych zadań.

Podejście to pojawiło się wraz z rozwojem multimodalnych dużych modeli językowych (MLLM), zdolnych do jednoczesnego przetwarzania tekstu, obrazów, dźwięku i wideo. MCoT pozwala modelom generować interpretowalnych, krok po kroku wyjaśnienia łączące informacje z różnych źródeł, co zwiększa dokładność i przejrzystość ich działania.

Przesłanki: od tekstowego do multimodalnego CoT

Chain-of-Thought w tekście

Pierwotnie metoda Chain-of-Thought (CoT) została zaproponowana przez badaczy Google w 2022 roku dla tekstowych dużych modeli językowych (LLM). Idea polega na tym, by nauczyć model generowania sekwencji pośrednich kroków rozumowania przed podaniem ostatecznej odpowiedzi. Dodanie do promptu przykładów rozwiązań krok po kroku (few-shot prompting) wyraźnie poprawiło zdolność LLM do rozwiązywania zadań wymagających rozumowania arytmetycznego, logicznego i zdroworozsądkowego, a także zwiększyło ogólną dokładność i niezawodność modeli.

Przejście do multimodalności

Sukces tekstowego CoT pobudził próby rozszerzenia go na scenariusze multimodalne. Wraz z pojawieniem się MLLM, takich jak Kosmos-1 od Microsoft, trenowanych jednocześnie na tekście i obrazach, pojawiła się możliwość integracji logiki CoT z multimodalnym postrzeganiem. Eksperymenty wykazały, że takie modele mogą stosować rozumowanie krok po kroku, uwzględniając zarówno tekstowe, jak i wizualne dane wejściowe, co potwierdziło zasadniczą możliwość łączenia logiki i percepcji.

Główne podejścia i metodologie

Począwszy od 2023 roku zaproponowano szereg metod realizacji multimodalnego CoT.

Dwuetapowy Multimodal-CoT (Zhang et al.)

Jedna z pierwszych metod, zaproponowana w 2023 roku, wykorzystuje dwuetapowy schemat:

1. Generowanie uzasadnienia: W pierwszym kroku model generuje tekstowy łańcuch rozumowania (rationale) na podstawie informacji multimodalnych (np. tekstu i obrazu).
2. Formułowanie odpowiedzi: W drugim kroku model podaje ostateczną odpowiedź, opierając się na wygenerowanym uzasadnieniu.

Takie rozdzielone podejście pozwoliło modelowi z mniej niż 1 mld parametrów osiągnąć rekordowo wysoką jakość na naukowym datasecie ScienceQA, przewyższając nawet duży model GPT-3.5. Odnotowano również redukcję halucynacji.

Compositional CoT (Kompozycyjny CoT)

Zaprezentowana na konferencji CVPR 2024 metoda koncentruje się na zadaniach wizualno-tekstowych i proponuje generowanie strukturalnej reprezentacji obrazu jako kroku pośredniego. Na początku MLLM tworzy opis sceny w postaci grafu sceny, wskazując obiekty i relacje między nimi. Następnie ten strukturalny opis jest włączany do promptu dla ostatecznej odpowiedzi. Takie podejście pozwala LLM głębiej uwzględniać kompozycyjne powiązania między obiektami i poprawia wyniki w zadaniach opisu złożonych scen oraz wizualnego pytania i odpowiedzi.

CoT z podziałem obowiązków (Duty-Distinct CoT)

Ta metoda, zaprezentowana na NeurIPS 2023, proponuje podział odpowiedzialności między różne komponenty systemu:

• Model językowy odpowiada za logiczne rozumowanie i integrację informacji.
• Podsystem wizualny (model widzenia komputerowego) odpowiada za rozpoznawanie zawartości obrazu.

Taki „binarny prompting" zapewnia „myślenie krytyczne": LLM ocenia i wykorzystuje informacje wizualne otrzymane od wyspecjalizowanego modułu wzrokowego. Podejście DDCoT pozwoliło generować bardziej ogólne i wyjaśnialne rozumowania oraz istotnie zwiększyło dokładność w zadaniach multimodalnego naukowego QA.

Inne warianty MCoT

Aktywnie rozwijane są też inne podejścia, dostosowane do konkretnych modalności:

• Dual CoT: Schemat równoległego dwukierunkowego rozumowania.
• Audio-CoT: Adaptacja łańcucha myśli do zadań związanych z dźwiękiem i mową.
• Video-of-Thought: Technika analizy danych wideo krok po kroku.

Zastosowania i wyniki

Multimodalny prompting CoT wykazał skuteczność w wielu dziedzinach, gdzie wymagane jest łączenie różnorodnych informacji.

• Edukacja i naukowe QA: Umożliwia systemom odpowiadanie na pytania z diagramami i ilustracjami, dostarczając rozbudowane wyjaśnienie rozwiązania (np. na datasecie ScienceQA).
• Autonomiczna jazda i robotyka: Pomaga sekwencyjnie interpretować dane z lidarów, czujników i kamer, poprawiając rozumienie sceny i podejmowanie decyzji przez agentów.
• Embodied AI: Zapewnia bardziej niezawodne planowanie działań dla systemów wchodzących w interakcję z fizycznym światem, na podstawie wskazówek wizualnych i tekstowych.
• Medycyna i opieka zdrowotna: Połączenie obrazów medycznych (np. zdjęć rentgenowskich) z opisami tekstowymi zwiększa dokładność diagnostyki i wyjaśnialność wniosków AI.

Problemy i perspektywy

Pomimo znaczącego postępu, multimodalne zastosowanie CoT pozostaje złożonym problemem badawczym.

• Niedobór danych z adnotacjami: Trenowanie modeli do generowania poprawnych multimodalnych rozumowań wymaga dużych zbiorów danych ze szczegółowymi wyjaśnieniami, których pozyskanie jest pracochłonne.
• Elastyczność i uogólnialność: Metody dostosowane do jednego typu zadań (np. tekst + obraz) mogą słabo przenosić się na inne kombinacje modalności.
• Optymalna integracja: Pozostaje otwarta kwestia, jak najlepiej integrować różne modalności w jeden proces rozumowania, aby naprawdę wzmacniał on rozumienie modelu, a nie jedynie wydłużał odpowiedź.
• Standaryzacja i ewaluacja: Istnieje potrzeba opracowania standaryzowanych benchmarków do obiektywnej oceny i porównywania różnych podejść MCoT.

Osiągnięcie multimodalnej AI zbliżonej do ogólnych możliwości intelektualnych wymaga dalszych innowacji w metodach MCoT uwzględniających specyfikę postrzegania świata przez różne sensory.

Odnośniki

• Przegląd Multimodal CoT w Prompting Guide
• «Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey» — szczegółowy naukowy przegląd

Literatura

• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Wang, Y. et al. (2025). Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey. arXiv:2503.12605.
• Ma, Z. et al. (2025). Audio-CoT: Exploring Chain-of-Thought Reasoning in Large Audio Language Models. arXiv:2501.07246.
• Li, J. et al. (2024). DCoT: Dual Chain-of-Thought Prompting for Large Multimodal Models. OpenReview:0saecDOdh2.
• Ma, Z. et al. (2025). ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models. arXiv:2506.21448.
• Zhang, M. et al. (2023). Video-of-Thought: Step-by-Step Video Reasoning from Perception to Cognition. PDF.
• Mitra, S. et al. (2024). ThinkVideo: High-Quality Video Reasoning with Chain of Thoughts. arXiv:2505.18561.
• Wu, Y. et al. (2024). MINT: Multi-modal Chain of Thought in Unified Generative Models. arXiv:2503.01298.