---
title: "Multimodal CoT Prompting (KO)"
source: "https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)"
wiki: "systems-analysis.info/int"
article: "Multimodal_CoT_Prompting_(KO)"
language: "ko"
categories:
- "Category:Korean"
- "Category:Large language models"
- "Category:Machine learning"
- "Category:Prompt engineering"
revision_id: 4734
wiki_created_at: 2026-09-06T23:39:10Z
wiki_modified_at: 2026-09-06T23:39:10Z
downloaded_at: 2026-09-07T23:04:17Z
---
# Multimodal CoT Prompting (KO)
**멀티모달 사고 연쇄 프롬프팅** (**Multimodal Chain-of-Thought Prompting**, **MCoT**) — 여러 유형의 데이터(모달리티)를 포함하는 작업에 사고 연쇄(CoT) 방법을 확장한 것입니다. MCoT 모델에서는 언어와 시각 또는 표 데이터 분석과 같은 다른 모달리티가 복잡한 문제를 해결하기 위한 단계별 추론의 단일 프로세스에 함께 참여합니다[\[1\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-survey_wang_2025-1).
이 접근법은 텍스트, 이미지, 오디오, 비디오를 동시에 처리할 수 있는 멀티모달 대형 언어 모델(MLLM)의 발전과 함께 등장했습니다. MCoT는 모델이 서로 다른 출처의 정보를 결합하여 해석 가능한 단계별 설명을 생성할 수 있게 하며, 이를 통해 정확성과 투명성을 높입니다.
## 배경: 텍스트 CoT에서 멀티모달 CoT로
### 텍스트에서의 Chain-of-Thought
원래 **Chain-of-Thought (CoT)** 방법은 2022년 Google 연구진이 텍스트 기반 대형 언어 모델(LLM)을 위해 제안했습니다[\[2\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-cot_wei_2022-2). 핵심 아이디어는 최종 답변을 출력하기 전에 중간 추론 단계의 시퀀스를 생성하도록 모델을 학습시키는 것입니다. 프롬프트에 단계별 풀이 예시(*few-shot prompting*)를 추가하면 산술적·논리적·상식적 추론이 필요한 문제를 해결하는 LLM의 능력이 눈에 띄게 향상되었으며, 모델의 전반적인 정확성과 신뢰성도 높아졌습니다[\[2\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-cot_wei_2022-2).
### 멀티모달리티로의 전환
텍스트 CoT의 성공은 이를 멀티모달 시나리오로 확장하려는 시도를 촉진했습니다. 텍스트와 이미지를 동시에 학습하는 Microsoft의 **Kosmos-1**과 같은 MLLM이 등장하면서 CoT 논리를 멀티모달 인식과 통합할 가능성이 생겼습니다[\[3\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-kosmos1_huang_2023-3). 실험 결과, 이러한 모델이 텍스트 및 시각적 입력을 모두 고려한 단계별 추론을 활용할 수 있음이 입증되었으며, 이는 논리와 인식의 결합 가능성을 원칙적으로 보여주었습니다[\[3\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-kosmos1_huang_2023-3).
## 주요 접근법 및 방법론
2023년부터 멀티모달 CoT를 구현하기 위한 여러 방법이 제안되었습니다.
### 2단계 Multimodal-CoT (Zhang et al.)
2023년에 제안된 초기 방법 중 하나로, 2단계 구조를 사용합니다[\[4\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-mcot_zhang_2023-4):
1. **근거 생성**: 첫 번째 단계에서 모델은 멀티모달 정보(예: 텍스트와 이미지)를 기반으로 텍스트 추론 연쇄(*rationale*)를 생성합니다.
2. **답변 형성**: 두 번째 단계에서 모델은 생성된 근거를 바탕으로 최종 답변을 출력합니다.
이러한 분리된 접근법 덕분에 10억 개 미만의 파라미터를 가진 모델이 과학 dataset **ScienceQA**에서 대형 모델인 GPT-3.5를 능가하는 최고 수준의 성능을 달성할 수 있었습니다. 또한 환각 현상의 감소도 확인되었습니다[\[4\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-mcot_zhang_2023-4).
### Compositional CoT
CVPR 2024에서 발표된 이 방법은 시각-텍스트 작업에 초점을 맞추며, 중간 단계로 이미지의 구조화된 표현을 생성할 것을 제안합니다[\[5\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-compositional_cot_mitra_2024-5). 먼저 MLLM이 장면 그래프 형태로 장면 설명을 생성하여 객체와 객체 간의 관계를 명시합니다. 그런 다음 이 구조화된 설명이 최종 답변을 위한 프롬프트에 포함됩니다. 이 접근법은 LLM이 객체 간의 구성적 관계를 더 깊이 고려할 수 있게 하며, 복잡한 장면 설명 및 시각적 질의응답 작업에서 성능을 향상시킵니다[\[5\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-compositional_cot_mitra_2024-5).
### Duty-Distinct CoT
NeurIPS 2023에서 발표된 이 방법은 시스템의 서로 다른 구성 요소 간에 책임을 분리할 것을 제안합니다[\[6\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-ddcot_zheng_2023-6):
- **언어 모델**은 논리적 추론과 정보 통합을 담당합니다.
- **시각 서브시스템** (컴퓨터 비전 모델)은 이미지 내용 인식을 담당합니다.
이러한 '이분형 프롬프팅'은 '비판적 사고'를 가능하게 합니다: LLM이 전문화된 시각 모듈로부터 얻은 시각적 정보를 평가하고 활용합니다. DDCoT 접근법은 더 범용적이고 설명 가능한 추론을 생성하는 데 기여했으며, 멀티모달 과학 QA 작업에서 정확도를 크게 향상시켰습니다[\[6\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-ddcot_zheng_2023-6).
### 기타 MCoT 변형
특정 모달리티에 맞게 조정된 다른 접근법들도 활발히 개발되고 있습니다:
- **Dual CoT**: 병렬 양방향 추론 구조.
- **Audio-CoT**: 오디오 및 음성 관련 작업을 위한 사고 연쇄 적용.
- **Video-of-Thought**: 비디오 데이터의 단계별 분석 기법[\[1\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-survey_wang_2025-1).
## 적용 분야 및 결과
멀티모달 CoT 프롬프팅은 이질적인 정보의 결합이 요구되는 다양한 분야에서 효과를 입증했습니다.
- **교육 및 과학 QA**: 시스템이 도표와 그림이 포함된 질문에 답변하면서 풀이 과정에 대한 상세한 설명을 제공할 수 있게 합니다(예: ScienceQA dataset)[\[4\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-mcot_zhang_2023-4).
- **자율주행 및 로보틱스**: 라이다, 센서, 카메라 데이터를 순차적으로 해석하여 에이전트의 장면 이해 및 의사결정을 향상시킵니다.
- **Embodied AI**: 시각적·텍스트적 단서를 기반으로 물리적 세계와 상호작용하는 시스템의 행동 계획을 더욱 신뢰성 있게 만듭니다.
- **의학 및 헬스케어**: 의료 이미지(예: 엑스레이)와 텍스트 설명의 결합을 통해 진단 정확도와 AI 추론의 설명 가능성을 높입니다[\[1\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-survey_wang_2025-1).
## 과제 및 전망
상당한 진전에도 불구하고, CoT의 멀티모달 활용은 여전히 어려운 연구 과제로 남아 있습니다.
- **레이블 데이터 부족**: 올바른 멀티모달 추론을 생성하도록 모델을 학습시키기 위해서는 상세한 설명이 포함된 대규모 데이터셋이 필요하지만, 이를 확보하는 작업은 매우 노동집약적입니다.
- **유연성 및 일반화 가능성**: 특정 유형의 작업(예: 텍스트 + 이미지)에 맞춰진 방법은 다른 모달리티 조합으로 잘 전이되지 않을 수 있습니다.
- **최적 통합**: 서로 다른 모달리티를 단일 추론 프로세스에 어떻게 가장 잘 통합하여 단순히 답변을 길게 만드는 것이 아니라 모델의 이해를 실질적으로 강화할 수 있는가 하는 문제는 아직 열린 질문으로 남아 있습니다.
- **표준화 및 평가**: 다양한 MCoT 접근법을 객관적으로 평가하고 비교하기 위한 표준화된 benchmark 개발의 필요성이 있습니다[\[6\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-ddcot_zheng_2023-6).
범용 지능에 가까운 멀티모달 AI를 실현하기 위해서는 다양한 센서를 통한 세계 인식의 특수성을 고려한 MCoT 방법의 지속적인 혁신이 요구됩니다[\[1\]](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_note-survey_wang_2025-1).
## 참고 링크
- Prompting Guide의 Multimodal CoT 개요
- «Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey» — 상세한 학술 리뷰
## 참고 문헌
- Zhang, Z. et al. (2023). *Multimodal Chain-of-Thought Reasoning in Language Models*. arXiv:2302.00923.
- Mitra, C. et al. (2024). *Compositional Chain-of-Thought Prompting for Large Multimodal Models*. *CVPR 2024*. PDF.
- Zheng, G. et al. (2023). *DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models*. arXiv:2310.16436.
- Huang, S. et al. (2023). *Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1)*. arXiv:2302.14045.
- Wang, Y. et al. (2025). *Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey*. arXiv:2503.12605.
- Ma, Z. et al. (2025). *Audio-CoT: Exploring Chain-of-Thought Reasoning in Large Audio Language Models*. arXiv:2501.07246.
- Li, J. et al. (2024). *DCoT: Dual Chain-of-Thought Prompting for Large Multimodal Models*. OpenReview:0saecDOdh2.
- Ma, Z. et al. (2025). *ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models*. arXiv:2506.21448.
- Zhang, M. et al. (2023). *Video-of-Thought: Step-by-Step Video Reasoning from Perception to Cognition*. PDF.
- Mitra, S. et al. (2024). *ThinkVideo: High-Quality Video Reasoning with Chain of Thoughts*. arXiv:2505.18561.
- Wu, Y. et al. (2024). *MINT: Multi-modal Chain of Thought in Unified Generative Models*. arXiv:2503.01298.
## 각주
1. ↑ [1.0](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-survey_wang_2025_1-0) [1.1](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-survey_wang_2025_1-1) [1.2](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-survey_wang_2025_1-2) [1.3](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-survey_wang_2025_1-3) Wang, Y. et al. «Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey». *arXiv:2503.12605*, 2025. [1]
2. ↑ [2.0](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-cot_wei_2022_2-0) [2.1](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-cot_wei_2022_2-1) Wei, J. et al. «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». *arXiv:2201.11903*, 2022. [2]
3. ↑ [3.0](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-kosmos1_huang_2023_3-0) [3.1](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-kosmos1_huang_2023_3-1) Huang, S. et al. «Language Is Not All You Need: Aligning Perception with Language Models». *arXiv:2302.14045*, 2023. [3]
4. ↑ [4.0](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-mcot_zhang_2023_4-0) [4.1](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-mcot_zhang_2023_4-1) [4.2](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-mcot_zhang_2023_4-2) Zhang, Z. et al. «Multimodal Chain-of-Thought Reasoning in Language Models». *arXiv:2302.00923*, 2023. [4]
5. ↑ [5.0](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-compositional_cot_mitra_2024_5-0) [5.1](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-compositional_cot_mitra_2024_5-1) Mitra, A. et al. «Compositional Chain-of-Thought Prompting for Large Multimodal Models». *CVPR*, 2024. [5]
6. ↑ [6.0](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-ddcot_zheng_2023_6-0) [6.1](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-ddcot_zheng_2023_6-1) [6.2](https://systems-analysis.info/int/Multimodal_CoT_Prompting_(KO)#cite_ref-ddcot_zheng_2023_6-2) Zheng, G. et al. «DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models». *OpenReview*, 2023. [6]