---
title: "Multimodal reasoning — การใช้เหตุผลแบบหลายโมดัล"
source: "https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5"
wiki: "systems-analysis.info/int"
article: "Multimodal_reasoning_—_การใช้เหตุผลแบบหลายโมดัล"
language: "th"
categories:
  - "Category:Large language models"
  - "Category:Machine learning"
  - "Category:Thai"
revision_id: 4788
wiki_created_at: 2026-09-06T23:39:55Z
wiki_modified_at: 2026-09-06T23:39:55Z
downloaded_at: 2026-09-07T23:04:37Z
---

# Multimodal reasoning — การใช้เหตุผลแบบหลายโมดัล

**การใช้เหตุผลแบบหลายโมดัล** (อังกฤษ: *Multimodal Reasoning*) คือความสามารถของปัญญาประดิษฐ์ โดยเฉพาะ LLM ขนาดใหญ่ ในการประมวลผล ตีความ และเชื่อมโยงข้อมูลเชิงตรรกะจากประเภทข้อมูล (โมดัล) ต่าง ๆ พร้อมกัน ได้แก่ **ข้อความ รูปภาพ เสียง** และ **วิดีโอ** เพื่อแก้ปัญหาที่ซับซ้อน<sup>[\[1\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-survey_perception-1)</sup> กระบวนการนี้เลียนแบบการรับรู้ของมนุษย์ที่มีหลายมิติ และถือเป็นก้าวสำคัญบนเส้นทางสู่การสร้างปัญญาประดิษฐ์ทั่วไป (AGI) ที่มีความยืดหยุ่นและปรับตัวได้มากขึ้น<sup>[\[2\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-ms_kosmos1-2)</sup>

โมเดลที่มีความสามารถดังกล่าวเรียกว่า **โมเดลภาษาขนาดใหญ่แบบหลายโมดัล** (**MLLM** หรือ LMRM — *Large Multimodal Reasoning Models*) โมเดลเหล่านี้ขยายขีดความสามารถของ LLM แบบดั้งเดิมที่ฝึกด้วยข้อความเพียงอย่างเดียว โดยให้โมเดลสามารถเข้าใจเนื้อหาในรูปภาพ วิเคราะห์วิดีโอ ควบคุมหุ่นยนต์ และดำเนินบทสนทนาบนพื้นฐานของข้อมูลภาพได้

## วิวัฒนาการของแนวทาง

แนวทางการใช้เหตุผลแบบหลายโมดัลผ่านวิวัฒนาการอย่างรวดเร็ว จากระบบแบบโมดูลาร์ไปสู่สถาปัตยกรรมแบบรวมศูนย์ที่เน้นภาษาเป็นศูนย์กลาง

- **ระบบยุคแรก**: อาศัยไปป์ไลน์แบบแยกส่วน โดยคอมโพเนนต์แต่ละตัวจัดการการมองเห็น ส่วนอื่นจัดการข้อความ แล้วนำการแสดงผลมารวมกันในขั้นตอนสุดท้าย แนวทางนี้ต้องออกแบบอย่างละเอียดสำหรับแต่ละงานโดยเฉพาะ
- **ระบบสมัยใหม่**: เปลี่ยนมาใช้โมเดลแบบรวมศูนย์ที่เน้นภาษาเป็นศูนย์กลาง โดยให้ LLM ทำหน้าที่เป็นแกนกลาง หรือ "เครื่องยนต์" ของการใช้เหตุผล ซึ่งประมวลผลข้อมูลจากทุกโมดัลในรูปแบบเดียวกัน สิ่งนี้เป็นไปได้ด้วยวิธีการที่ "สอน" โมเดลภาษาให้เข้าใจข้อมูลภาพและข้อมูลอื่น ๆ โดยนำเสนอในรูปแบบ token พิเศษ<sup>[\[1\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-survey_perception-1)</sup>

จุดเปลี่ยนสำคัญในการเปลี่ยนผ่านนี้คือแนวคิด **"ห่วงโซ่การใช้เหตุผลแบบหลายโมดัล"** (*Multimodal Chain-of-Thought, MCoT*) ซึ่งโมเดลจะได้รับลำดับของ prompt ที่นำโมเดลผ่านขั้นตอนเชิงตรรกะทีละขั้น โดยใช้โมดัลที่แตกต่างกัน

## สถาปัตยกรรมของ Multimodal LLM

มีกลยุทธ์สถาปัตยกรรมหลักสองแบบสำหรับการรวมโมดัลต่าง ๆ เข้ากับโมเดลภาษา<sup>[\[3\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-raschka_understanding-3)</sup>:

### 1. สถาปัตยกรรมแบบรวมศูนย์ระดับ Token

ในแนวทางนี้ โมดัลทั้งหมดจะถูกแปลงเป็นการแสดงผลร่วมที่เข้ากันได้กับ LLM ตัวอย่างเช่น รูปภาพจะถูกแบ่งออกเป็นส่วนย่อย (patch) ผ่าน visual encoder (เช่น Vision Transformer (ViT)) และแปลงเป็นลำดับของ vector embedding — **visual token** จากนั้น visual token เหล่านี้จะถูกนำมาต่อกัน (concatenate) กับ text token และป้อนเข้า LLM ซึ่งประมวลผลทั้งหมดเป็นสตรีมเดียว

- **ข้อดี**: แผนผังนี้แทบไม่ต้องเปลี่ยนแปลงสถาปัตยกรรมของ LLM และขยายขนาดได้ง่าย
- **ตัวอย่าง**: GPT-4 จาก OpenAI, **PaLM-E** จาก Google

### 2. สถาปัตยกรรมแบบ Cross-Modal Attention

ในที่นี้ โมเดลภาษาและ visual encoder ยังคงเป็นระบบย่อยแยกกัน แต่เชื่อมต่อด้วยเลเยอร์พิเศษของ **cross-modal attention** เลเยอร์เหล่านี้ช่วยให้การแสดงผลทั้งข้อความและภาพมีอิทธิพลต่อกันในกระบวนการสร้างผลลัพธ์ โมเดลจะ "แอบดู" คุณลักษณะภาพในแต่ละขั้นตอนของการสร้างคำตอบที่เป็นข้อความ

- **ข้อดี**: ช่วยให้ใช้ประโยชน์จากโมเดลที่ผ่านการฝึกล่วงหน้าและถูกแช่แข็งซึ่งมีอยู่แล้ว (เช่น LLM ขนาดใหญ่และ ViT ที่ทรงพลัง) ได้อย่างมีประสิทธิภาพ โดยฝึกเฉพาะเลเยอร์เชื่อมต่อ
- **ตัวอย่าง**: **Flamingo** จาก DeepMind

ในการวิจัยสมัยใหม่ สถาปัตยกรรม *decoder-only* แบบรวมศูนย์กลายเป็นแนวทางหลัก เนื่องจากขยายขนาดได้ง่ายกว่าและใช้ประโยชน์จาก LLM ที่มีอยู่ได้ดีกว่า<sup>[\[3\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-raschka_understanding-3)</sup>

## โมเดลและงานวิจัยสำคัญ

การพัฒนา MLLM เร่งตัวขึ้นอย่างมากในช่วงปี 2022–2024

- **Flamingo (DeepMind, 2022)**: หนึ่งในโมเดลภาษา-ภาพ (VLM) ขนาดใหญ่รุ่นแรก ๆ ที่สามารถแก้ปัญหาหลายโมดัลที่หลากหลายในโหมด few-shot learning โดยไม่ต้องปรับแต่งเพิ่มเติม Flamingo แสดงให้เห็นว่าโมเดลเดียวสามารถปรับตัวกับงานใหม่ได้อย่างรวดเร็วโดยรับตัวอย่างเพียงไม่กี่ตัวอย่างใน prompt<sup>[\[4\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-deepmind_flamingo-4)</sup>

<!-- -->

- **Kosmos-1 (Microsoft Research, 2023)**: MLLM แรกที่ฝึกตั้งแต่ต้นด้วยข้อมูลจากเว็บ สามารถรับรู้ข้อความและรูปภาพในฐานะ "โมดัลทั่วไป" และแสดงผลลัพธ์ที่แข็งแกร่งในการแก้ปัญหาข้อความในรูปภาพ (OCR) การสนทนาแบบหลายโมดัล และแม้แต่งานที่ต้องใช้การใช้เหตุผลเชิงตรรกะแบบไม่ใช้คำพูด (Raven's matrices)<sup>[\[2\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-ms_kosmos1-2)</sup>

<!-- -->

- **GPT-4 (OpenAI, 2023)**: โมเดลหลักที่วางตำแหน่งเป็น "โมเดลหลายโมดัลขนาดใหญ่" ที่สามารถรับข้อความและรูปภาพเป็น input แม้สถาปัตยกรรมจะไม่ได้เปิดเผย แต่ทราบกันว่าสามารถวิเคราะห์เนื้อหาของรูปภาพ อธิบายกราฟ และอธิบาย meme ภาพได้ การเข้าถึงความสามารถหลายโมดัลของโมเดลนี้ได้รับการเปิดให้ใช้งานอย่างจำกัด เช่น ในความร่วมมือกับแอปพลิเคชัน BeMyEyes เพื่อช่วยเหลือผู้พิการทางสายตาและผู้มีสายตาเลือนราง<sup>[\[5\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-openai_gpt4-5)</sup>

<!-- -->

- **PaLM-E (Google, 2023)**: โมเดลหลายโมดัลแบบ "embodied" ที่สร้างขึ้นเพื่อบูรณาการการรับรู้ภาพกับการกระทำทางกายภาพของหุ่นยนต์ PaLM-E สามารถสร้างแผนทีละขั้นตอนสำหรับการควบคุมหุ่นยนต์ โดยรับการรวมกันของรูปภาพจากกล้องและค่าจากเซ็นเซอร์เป็น input สิ่งนี้แสดงให้เห็นถึงผล "การถ่ายโอนเชิงบวก": การฝึกด้วยงานทั่วไปแบบ "ภาพ+ภาษา" ช่วยพัฒนาประสิทธิภาพของทักษะด้านหุ่นยนต์<sup>[\[6\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-google_palm-e-6)</sup>

<!-- -->

- **LLAMA 3.2 (Meta, 2024)**: ชุดโมเดลแบบเปิดที่มีเวอร์ชันหลายโมดัลปรากฏขึ้นด้วย การปรากฏขึ้นของโมเดลเหล่านี้ทำให้เทคโนโลยี MLLM เข้าถึงได้สำหรับชุมชนวิจัยวงกว้างเพื่อการทดลองต่อไป<sup>[\[3\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-raschka_understanding-3)</sup>

## ปัญหาและข้อจำกัด

แม้จะมีความสำเร็จที่น่าประทับใจ MLLM ยังเผชิญกับปัญหาร้ายแรงหลายประการ:

- **ภาพหลอน (Hallucination)**: เช่นเดียวกับ LLM รุ่นบรรพบุรุษที่เป็นข้อความ MLLM อาจสร้างคำกล่าวที่ฟังดูน่าเชื่อถือแต่ผิดข้อเท็จจริง ข้อมูลภาพไม่ได้ขจัดปัญหานี้ และบางครั้งยังทำให้ซับซ้อนขึ้น นำไปสู่การตีความรูปภาพที่ผิดพลาด<sup>[\[7\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-acl_multimodal_kg-7)</sup>
- **ความสามารถในการทำให้เป็นภาพรวมและความลึกของการใช้เหตุผล**: โมเดลมักไม่สามารถถ่ายโอนข้อสรุปไปยังประเภทข้อมูลใหม่ได้อย่างน่าเชื่อถือ (การทำให้เป็นภาพรวมแบบทุกโมดัล) และการใช้เหตุผลของโมเดลอาจผิวเผิน โมเดลอาจอธิบายรูปภาพได้ แต่ล้มเหลวหากงานต้องการการวางแผนหลายขั้นตอนโดยคำนึงถึงข้อความและรูปภาพ<sup>[\[1\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-survey_perception-1)</sup>
- **ความซับซ้อนทางเทคนิค**: การฝึก MLLM ต้องใช้ทรัพยากรการคำนวณมหาศาลและ dataset หลายโมดัลขนาดใหญ่ที่เตรียมอย่างพิถีพิถัน การประเมินคุณภาพของโมเดลเช่นนี้ก็ซับซ้อนเช่นกัน เนื่องจากต้องใช้ benchmark พิเศษที่คำนึงถึงทั้งความเข้าใจและการใช้เหตุผล

## แนวโน้มการพัฒนา

แนวโน้มแสดงให้เห็นว่าโมเดลหลายโมดัลจะกลายเป็น **"หลายโมดัลโดยธรรมชาติ"** (*Native Large Multimodal Models*) มากขึ้น นั่นคือออกแบบมาตั้งแต่ต้นเพื่อทำงานกับทุกโมดัล เป้าหมายสูงสุดคือการสร้าง **ปัญญาสากล** ที่สามารถรับรู้และเข้าใจโลกได้อย่างสมบูรณ์เช่นเดียวกับมนุษย์ เพื่อบรรลุเป้าหมายนี้ นักวิจัยกำลังทำงานเพื่อลดการพึ่งพาข้อมูลที่มีป้ายกำกับ ฝึกโมเดลให้มีการคิดเชิงนามธรรมและเหตุและผลมากขึ้น และรับประกันการควบคุมที่ปลอดภัยสำหรับระบบที่ทรงพลังเช่นนี้ การพัฒนาแนวทางเสริม เช่น **HuggingGPT** — ซึ่ง LLM ทำหน้าที่เป็นตัวประสานงานที่จัดสรรงานให้กับโมเดลผู้เชี่ยวชาญ — ยังเป็นการปูทางสู่ AI หลายโมดัลที่น่าเชื่อถือมากขึ้นด้วย<sup>[\[8\]](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_note-hugging_gpt-8)</sup>

## ลิงก์อ้างอิง

- บทความสำรวจ: A Survey on Large Multimodal Reasoning Models (2025)
- บทความของ Sebastian Raschka เกี่ยวกับการทำความเข้าใจ Multimodal LLM

## เอกสารอ้างอิง

- Li, Y. et al. (2025). *Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models*. arXiv:2505.04921.
- Lee, J. et al. (2024). *Multimodal Reasoning with Multimodal Knowledge Graph*. ACL 2024.
- Huang, S. et al. (2023). *Language Is Not All You Need: Aligning Perception with Language Models*. arXiv:2302.14045.
- Shen, Y. et al. (2023). *HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face*. arXiv:2303.17580.
- Zhang, Z. et al. (2023). *Multimodal Chain-of-Thought Reasoning in Language Models*. arXiv:2302.00923.
- Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378.
- OpenAI (2023). *GPT-4 Technical Report*. arXiv:2303.08774.
- Chen, X. et al. (2023). *PaLI-X: On Scaling Up a Multilingual Vision and Language Model*. arXiv:2305.18565.
- Alayrac, J-B. et al. (2022). *Flamingo: A Visual Language Model for Few-Shot Learning*. arXiv:2204.14198.
- Chen, X. et al. (2022). *PaLI: A Jointly-Scaled Multilingual Language-Image Model*. arXiv:2209.06794.
- Huang, S. et al. (2022). *Multimodal Chain-of-Thought Prompting in Large Language Models*. arXiv:2302.00923.

## หมายเหตุ

1.  <span id="cite_note-survey_perception-1">↑ <sup>[1.0](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-survey_perception_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-survey_perception_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-survey_perception_1-2)</sup> Yang, Z., et al. «Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models». *arXiv:2505.04921* \[cs.AI\], 8 мая 2025 г. <a href="https://arxiv.org/html/2505.04921v1" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-ms_kosmos1-2">↑ <sup>[2.0](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-ms_kosmos1_2-0)</sup> <sup>[2.1](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-ms_kosmos1_2-1)</sup> Huang, S., et al. «Language Is Not All You Need: Aligning Perception with Language Models». *arXiv:2302.14045* \[cs.CL\], 28 февр. 2023 г. <a href="https://arxiv.org/abs/2302.14045" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-raschka_understanding-3">↑ <sup>[3.0](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-raschka_understanding_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-raschka_understanding_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-raschka_understanding_3-2)</sup> Raschka, Sebastian. «Understanding Multimodal LLMs». *Ahead of AI Magazine*. <a href="https://magazine.sebastianraschka.com/p/understanding-multimodal-ilms" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-deepmind_flamingo-4">[↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-deepmind_flamingo_4-0) Alayrac, Jean-Baptiste, et al. «Tackling multiple tasks with a single visual language model». *DeepMind Blog*. <a href="https://deepmind.google/discover/blog/tackling-multiple-tasks-with-a-single-visual-language-model/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-openai_gpt4-5">[↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-openai_gpt4_5-0) «GPT-4». *OpenAI*. <a href="https://openai.com/index/gpt-4-research/" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-google_palm-e-6">[↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-google_palm-e_6-0) Driess, Danny, et al. «PaLM-E: An embodied multimodal language model». *Google Research Blog*. <a href="https://research.google/blog/palm-e-an-embodied-multimodal-language-model/" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-acl_multimodal_kg-7">[↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-acl_multimodal_kg_7-0) Lee, D., et al. «Multimodal Reasoning with Multimodal Knowledge Graph». *ACL Anthology*, 2024. <a href="https://aclanthology.org/2024.acl-long.579/" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-hugging_gpt-8">[↑](https://systems-analysis.info/int/Multimodal_reasoning_%E2%80%94_%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B9%80%E0%B8%AB%E0%B8%95%E0%B8%B8%E0%B8%9C%E0%B8%A5%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B2%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B8%94%E0%B8%B1%E0%B8%A5#cite_ref-hugging_gpt_8-0) Shen, Y., et al. «HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face». *OpenReview*. <a href="https://openreview.net/forum?id=yHdTscY6Ci" class="external autonumber" rel="nofollow">[8]</a></span>