---
title: "Multimodal reasoning — 멀티모달 추론"
source: "https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0"
wiki: "systems-analysis.info/int"
article: "Multimodal_reasoning_—_멀티모달_추론"
language: "ko"
categories:
- "Category:Korean"
- "Category:Large language models"
- "Category:Machine learning"
revision_id: 4791
wiki_created_at: 2026-09-06T23:39:57Z
wiki_modified_at: 2026-09-06T23:39:57Z
downloaded_at: 2026-09-07T23:04:38Z
---
# Multimodal reasoning — 멀티모달 추론
**멀티모달 추론** (영어: *Multimodal Reasoning*) — 인공지능, 특히 대형 언어 모델(LLM)이 복잡한 문제를 해결하기 위해 **텍스트, 이미지, 오디오** 및 **비디오**와 같은 다양한 유형의 데이터(모달리티)에서 정보를 동시에 처리하고, 해석하며, 논리적으로 연결하는 능력이다[\[1\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-survey_perception-1). 이 과정은 다면적인 인간 지각을 모방하며, 보다 범용적이고 적응력 있는 일반 인공지능(AGI) 구현을 향한 핵심적인 단계이다[\[2\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-ms_kosmos1-2).
이러한 능력을 갖춘 모델을 **멀티모달 대형 언어 모델** (**MLLM** 또는 LMRM — *Large Multimodal Reasoning Models*)이라고 한다. 이 모델들은 텍스트만으로 학습된 기존 LLM의 역량을 확장하여, 이미지 내용 이해, 비디오 분석, 로봇 제어, 시각 데이터 기반 대화를 가능하게 한다.
## 접근 방식의 발전
멀티모달 추론에 대한 접근 방식은 모듈형 시스템에서 통합된 언어 중심 아키텍처로 빠르게 발전해 왔다.
- **초기 시스템**: 별도의 구성 요소가 시각 정보를 처리하고, 다른 구성 요소가 텍스트를 처리하며, 최종 단계에서 두 표현을 결합하는 분리된 파이프라인에 기반하였다. 이 접근 방식은 각 특정 작업에 맞는 세심한 설계를 필요로 하였다.
- **현대 시스템**: 통합된 언어 중심 모델로 전환되었다. 이 모델에서는 대형 언어 모델이 모든 모달리티의 정보를 단일 형식으로 처리하는 중심 구성 요소, 즉 추론의 '엔진' 역할을 한다. 이는 언어 모델이 시각 및 기타 데이터를 특수한 token으로 표현함으로써 이해하도록 '훈련'하는 방법 덕분에 가능해졌다[\[1\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-survey_perception-1).
이 전환의 중요한 이정표는 '**멀티모달 사고의 연쇄'** (*Multimodal Chain-of-Thought, MCoT*) 개념으로, 모델이 서로 다른 모달리티를 활용하는 논리적 단계를 순차적으로 안내하는 일련의 프롬프트를 받는 방식이다.
## 멀티모달 LLM의 아키텍처
다양한 모달리티를 언어 모델과 결합하기 위한 두 가지 주요 아키텍처 전략이 존재한다[\[3\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-raschka_understanding-3):
### 1. 토큰 수준의 통합 아키텍처
이 접근 방식에서는 모든 모달리티가 LLM과 호환되는 공통 표현으로 변환된다. 예를 들어, 이미지는 패치(patch)로 분할되어 시각 인코더(예: Vision Transformer (ViT))를 통과한 뒤 벡터 embedding의 시퀀스, 즉 **시각 token**으로 변환된다. 그런 다음 이 시각 token들은 텍스트 token과 결합(concatenation)되어 대형 언어 모델에 단일 스트림으로 입력된다.
- **장점**: 이 방식은 LLM 아키텍처의 변경이 거의 필요 없으며 확장이 용이하다.
- **예시**: OpenAI의 GPT-4, Google의 **PaLM-E**.
### 2. 크로스 모달 어텐션 아키텍처
여기서 언어 모델과 시각 인코더는 별도의 하위 시스템으로 유지되지만, 특수한 **크로스 모달 어텐션** (*cross-attention*) 레이어로 연결된다. 이 레이어들은 텍스트와 시각 표현이 생성 과정에서 서로 영향을 미칠 수 있게 한다. 모델은 텍스트 응답을 생성하는 매 단계마다 시각적 특징을 '엿보는' 것처럼 작동한다.
- **장점**: 연결 레이어만 학습함으로써 기존의 사전 학습된 동결 모델(예: 대규모 LLM 및 강력한 ViT)의 역량을 효과적으로 활용할 수 있다.
- **예시**: DeepMind의 **Flamingo**.
최근 연구에서는 통합된 *decoder-only* 아키텍처가 확장이 더 간단하고 기존 LLM의 역량을 더 잘 활용하기 때문에 지배적인 방식이 되었다[\[3\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-raschka_understanding-3).
## 주요 모델 및 연구
MLLM의 발전은 2022–2024년에 특히 가속화되었다.
- **Flamingo (DeepMind, 2022)**: 추가적인 fine-tuning 없이 few-shot learning 방식으로 다양한 멀티모달 작업을 수행할 수 있는 초기의 대규모 시각-언어 모델(VLM) 중 하나이다. Flamingo는 단일 모델이 프롬프트에 몇 가지 예시만 제공받아도 새로운 작업에 빠르게 적응할 수 있음을 보여주었다[\[4\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-deepmind_flamingo-4).
- **Kosmos-1 (Microsoft Research, 2023)**: 웹 데이터로 처음부터 학습된 최초의 MLLM이다. 텍스트와 이미지를 '공통 모달리티'로 인식할 수 있으며, 이미지 기반 텍스트 작업(OCR), 멀티모달 대화, 심지어 비언어적 논리 추론 작업(레이번 행렬)에서도 강력한 성과를 보여주었다[\[2\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-ms_kosmos1-2).
- **GPT-4 (OpenAI, 2023)**: 텍스트와 이미지를 입력으로 받을 수 있는 '대형 멀티모달 모델'로 포지셔닝된 플래그십 모델이다. 아키텍처는 공개되지 않았지만, 이미지 내용 분석, 그래프 설명, 시각적 밈 해석이 가능한 것으로 알려져 있다. 멀티모달 기능에 대한 접근은 시각 장애인 및 저시력자를 돕는 BeMyEyes 앱과의 협력 등 제한적으로 제공되었다[\[5\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-openai_gpt4-5).
- **PaLM-E (Google, 2023)**: 시각적 인식을 로봇의 물리적 행동과 통합하기 위해 설계된 이른바 '구현된'(*embodied*) 멀티모달 모델이다. PaLM-E는 카메라 이미지와 센서 데이터의 조합을 입력받아 로봇 제어를 위한 단계별 계획을 생성할 수 있다. 이는 '긍정적 전이' 효과를 입증하였는데, 일반적인 '시각+언어' 작업에 대한 학습이 로봇 기술의 효과를 향상시켰다[\[6\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-google_palm-e-6).
- **LLAMA 3.2 (Meta, 2024)**: 멀티모달 버전을 포함하는 오픈 모델 시리즈이다. 이 모델의 등장은 MLLM 기술을 광범위한 연구 커뮤니티가 추가 실험에 활용할 수 있도록 한다[\[3\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-raschka_understanding-3).
## 문제점 및 한계
인상적인 성과에도 불구하고, MLLM은 여러 심각한 문제에 직면해 있다:
- **환각(Hallucination)**: 텍스트 기반 선행 모델과 마찬가지로, MLLM은 설득력 있게 들리지만 사실적으로 잘못된 진술을 생성할 수 있다. 시각 정보가 이 문제를 해결하지 못하며, 때로는 이미지에 대한 잘못된 해석으로 이어져 문제를 더 복잡하게 만든다[\[7\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-acl_multimodal_kg-7).
- **일반화 능력 및 추론의 깊이**: 모델들은 종종 새로운 유형의 데이터(옴니 모달 일반화)에 결론을 신뢰할 수 있게 적용하지 못하며, 추론이 피상적일 수 있다. 이미지를 설명할 수는 있지만, 텍스트와 이미지를 고려한 다단계 계획이 필요한 작업에서는 실패할 수 있다[\[1\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-survey_perception-1).
- **기술적 어려움**: MLLM 학습은 막대한 계산 자원과 크고 세심하게 준비된 멀티모달 dataset을 필요로 한다. 이러한 모델의 품질 평가 또한 이해와 추론을 모두 고려하는 특수한 benchmark가 필요하기 때문에 복잡하다.
## 발전 전망
트렌드는 멀티모달 모델이 점점 더 '**네이티브' 멀티모달** (*Native Large Multimodal Models*), 즉 처음부터 모든 모달리티를 다루도록 설계된 방향으로 나아갈 것임을 보여준다. 궁극적인 목표는 인간처럼 풍부하게 세계를 인식하고 이해할 수 있는 **범용 지능**을 만드는 것이다. 이를 위해 연구자들은 레이블된 데이터에 대한 의존도 감소, 보다 추상적이고 인과적인 추론을 위한 모델 학습, 그리고 이러한 강력한 시스템에 대한 안전한 제어 보장을 위해 노력하고 있다. LLM이 전문가 모델에 작업을 분배하는 코디네이터 역할을 하는 **HuggingGPT**와 같은 보조적 접근 방식의 발전도 보다 신뢰할 수 있는 멀티모달 AI로 가는 길을 열고 있다[\[8\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_note-hugging_gpt-8).
## 외부 링크
- 개요 논문: A Survey on Large Multimodal Reasoning Models (2025)
- 멀티모달 LLM 이해에 관한 Sebastian Raschka의 글
## 참고 문헌
- Li, Y. et al. (2025). *Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models*. arXiv:2505.04921.
- Lee, J. et al. (2024). *Multimodal Reasoning with Multimodal Knowledge Graph*. ACL 2024.
- Huang, S. et al. (2023). *Language Is Not All You Need: Aligning Perception with Language Models*. arXiv:2302.14045.
- Shen, Y. et al. (2023). *HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face*. arXiv:2303.17580.
- Zhang, Z. et al. (2023). *Multimodal Chain-of-Thought Reasoning in Language Models*. arXiv:2302.00923.
- Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378.
- OpenAI (2023). *GPT-4 Technical Report*. arXiv:2303.08774.
- Chen, X. et al. (2023). *PaLI-X: On Scaling Up a Multilingual Vision and Language Model*. arXiv:2305.18565.
- Alayrac, J-B. et al. (2022). *Flamingo: A Visual Language Model for Few-Shot Learning*. arXiv:2204.14198.
- Chen, X. et al. (2022). *PaLI: A Jointly-Scaled Multilingual Language-Image Model*. arXiv:2209.06794.
- Huang, S. et al. (2022). *Multimodal Chain-of-Thought Prompting in Large Language Models*. arXiv:2302.00923.
## 주석
1. ↑ [1.0](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-survey_perception_1-0) [1.1](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-survey_perception_1-1) [1.2](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-survey_perception_1-2) Yang, Z., et al. «Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models». *arXiv:2505.04921* \[cs.AI\], 8 мая 2025 г. [1]
2. ↑ [2.0](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-ms_kosmos1_2-0) [2.1](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-ms_kosmos1_2-1) Huang, S., et al. «Language Is Not All You Need: Aligning Perception with Language Models». *arXiv:2302.14045* \[cs.CL\], 28 февр. 2023 г. [2]
3. ↑ [3.0](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-raschka_understanding_3-0) [3.1](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-raschka_understanding_3-1) [3.2](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-raschka_understanding_3-2) Raschka, Sebastian. «Understanding Multimodal LLMs». *Ahead of AI Magazine*. [3]
4. [↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-deepmind_flamingo_4-0) Alayrac, Jean-Baptiste, et al. «Tackling multiple tasks with a single visual language model». *DeepMind Blog*. [4]
5. [↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-openai_gpt4_5-0) «GPT-4». *OpenAI*. [5]
6. [↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-google_palm-e_6-0) Driess, Danny, et al. «PaLM-E: An embodied multimodal language model». *Google Research Blog*. [6]
7. [↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-acl_multimodal_kg_7-0) Lee, D., et al. «Multimodal Reasoning with Multimodal Knowledge Graph». *ACL Anthology*, 2024. [7]
8. [↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC_%EC%B6%94%EB%A1%A0#cite_ref-hugging_gpt_8-0) Shen, Y., et al. «HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face». *OpenReview*. [8]