Multimodal CoT Prompting (ID)

Prompting rantai penalaran multimodal (Multimodal Chain-of-Thought Prompting, MCoT) adalah perluasan metode rantai penalaran (CoT) untuk tugas-tugas yang melibatkan beberapa jenis data (modalitas). Dalam model MCoT, bahasa dan modalitas lain seperti penglihatan atau analisis data tabular berpartisipasi dalam satu proses inferensi bertahap untuk menyelesaikan tugas-tugas kompleks.

Pendekatan ini muncul seiring perkembangan large language model multimodal (MLLM) yang mampu memproses teks, gambar, audio, dan video secara bersamaan. MCoT memungkinkan model menghasilkan penjelasan yang dapat diinterpretasikan secara bertahap, menggabungkan informasi dari berbagai sumber, sehingga meningkatkan akurasi dan transparansi cara kerja model.

Latar Belakang: dari CoT Berbasis Teks ke Multimodal

Chain-of-Thought dalam Teks

Awalnya, metode Chain-of-Thought (CoT) diusulkan oleh para peneliti Google pada tahun 2022 untuk large language model (LLM) berbasis teks. Idenya adalah melatih model untuk menghasilkan serangkaian langkah penalaran perantara sebelum memberikan jawaban akhir. Penambahan contoh penyelesaian bertahap dalam prompt (few-shot prompting) secara signifikan meningkatkan kemampuan LLM dalam menyelesaikan tugas yang memerlukan penalaran aritmetika, logika, dan penalaran umum, serta meningkatkan akurasi dan keandalan model secara keseluruhan.

Transisi ke Multimodalitas

Keberhasilan CoT berbasis teks mendorong upaya untuk memperluas penerapannya ke skenario multimodal. Dengan munculnya MLLM seperti Kosmos-1 dari Microsoft, yang dilatih secara bersamaan pada teks dan gambar, muncul kemungkinan untuk mengintegrasikan logika CoT dengan persepsi multimodal. Eksperimen menunjukkan bahwa model-model tersebut dapat menggunakan penalaran bertahap dengan mempertimbangkan input teks maupun visual, yang menunjukkan kemungkinan mendasar untuk menggabungkan logika dan persepsi.

Pendekatan dan Metodologi Utama

Mulai tahun 2023, sejumlah metode telah diusulkan untuk mengimplementasikan CoT multimodal.

Multimodal-CoT Dua Tahap (Zhang et al.)

Salah satu metode pertama yang diusulkan pada tahun 2023 menggunakan skema dua tahap:

1. Generasi dasar penalaran: Pada langkah pertama, model menghasilkan rantai penalaran teks (rationale) berdasarkan informasi multimodal (misalnya teks dan gambar).
2. Pembentukan jawaban: Pada langkah kedua, model memberikan jawaban akhir berdasarkan dasar penalaran yang telah dihasilkan.

Pendekatan terpisah ini memungkinkan model dengan kurang dari 1 miliar parameter mencapai kualitas tertinggi pada dataset ilmiah ScienceQA, bahkan melampaui model besar GPT-3.5. Penurunan halusinasi juga dicatat.

Compositional CoT

Diperkenalkan pada konferensi CVPR 2024, metode ini berfokus pada tugas visual-tekstual dan mengusulkan untuk menghasilkan representasi terstruktur dari gambar sebagai langkah perantara. Pertama, MLLM menghasilkan deskripsi adegan dalam bentuk scene graph, menentukan objek dan hubungan di antara mereka. Kemudian deskripsi terstruktur ini dimasukkan ke dalam prompt untuk jawaban akhir. Pendekatan ini memungkinkan LLM mempertimbangkan hubungan komposisional antar objek secara lebih mendalam dan meningkatkan hasil pada tugas deskripsi adegan kompleks dan analisis tanya-jawab visual.

CoT dengan Pembagian Tugas (Duty-Distinct CoT)

Metode ini, yang diperkenalkan pada NeurIPS 2023, mengusulkan pembagian tanggung jawab di antara berbagai komponen sistem:

• Model bahasa bertanggung jawab atas penalaran logis dan integrasi informasi.
• Subsistem visual (model computer vision) bertanggung jawab atas pengenalan konten gambar.

Pendekatan "prompting biner" ini memastikan "pemikiran kritis": LLM mengevaluasi dan memanfaatkan informasi visual yang diperoleh dari modul visual khusus. Pendekatan DDCoT memungkinkan dihasilkannya penalaran yang lebih umum dan dapat dijelaskan, serta secara signifikan meningkatkan akurasi pada tugas QA ilmiah multimodal.

Varian MCoT Lainnya

Berbagai pendekatan lain yang disesuaikan untuk modalitas tertentu juga aktif dikembangkan:

• Dual CoT: Skema penalaran paralel dua arah.
• Audio-CoT: Adaptasi rantai pikiran untuk tugas yang berkaitan dengan audio dan ucapan.
• Video-of-Thought: Teknik analisis bertahap untuk data video.

Penerapan dan Hasil

Prompting CoT multimodal telah menunjukkan efektivitasnya di banyak bidang yang memerlukan penggabungan informasi heterogen.

• Pendidikan dan QA ilmiah: Memungkinkan sistem menjawab pertanyaan dengan diagram dan ilustrasi, memberikan penjelasan solusi yang terperinci (misalnya pada dataset ScienceQA).
• Mengemudi otonom dan robotika: Membantu menginterpretasikan data dari lidar, sensor, dan kamera secara berurutan, meningkatkan pemahaman adegan dan pengambilan keputusan oleh agen.
• Embodied AI: Memberikan perencanaan tindakan yang lebih andal bagi sistem yang berinteraksi dengan dunia fisik, berdasarkan petunjuk visual dan teks.
• Medis dan layanan kesehatan: Kombinasi gambar medis (misalnya sinar-X) dengan deskripsi teks meningkatkan akurasi diagnosis dan kemampuan penjelasan kesimpulan AI.

Tantangan dan Prospek

Meskipun terdapat kemajuan yang signifikan, penggunaan CoT secara multimodal tetap menjadi masalah penelitian yang kompleks.

• Kekurangan data berlabel: Untuk melatih model menghasilkan penalaran multimodal yang benar, diperlukan kumpulan data besar dengan penjelasan terperinci yang sulit diperoleh.
• Fleksibilitas dan kemampuan generalisasi: Metode yang disesuaikan untuk satu jenis tugas (misalnya teks + gambar) mungkin sulit diterapkan pada kombinasi modalitas lainnya.
• Integrasi optimal: Pertanyaan tentang cara terbaik mengintegrasikan berbagai modalitas dalam satu proses penalaran agar benar-benar meningkatkan pemahaman model, bukan sekadar memperpanjang jawaban, masih tetap terbuka.
• Standardisasi dan evaluasi: Terdapat kebutuhan untuk mengembangkan benchmark terstandarisasi guna penilaian dan perbandingan berbagai pendekatan MCoT secara objektif.

Untuk mencapai AI multimodal yang mendekati kemampuan kecerdasan umum, diperlukan inovasi lebih lanjut dalam metode MCoT yang mempertimbangkan kekhasan persepsi dunia oleh berbagai sensor.

Tautan

• Tinjauan Multimodal CoT dalam Prompting Guide
• «Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey» — tinjauan ilmiah terperinci

Daftar Pustaka

• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Mitra, C. et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. CVPR 2024. PDF.
• Zheng, G. et al. (2023). DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models. arXiv:2310.16436.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models (Kosmos-1). arXiv:2302.14045.
• Wang, Y. et al. (2025). Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey. arXiv:2503.12605.
• Ma, Z. et al. (2025). Audio-CoT: Exploring Chain-of-Thought Reasoning in Large Audio Language Models. arXiv:2501.07246.
• Li, J. et al. (2024). DCoT: Dual Chain-of-Thought Prompting for Large Multimodal Models. OpenReview:0saecDOdh2.
• Ma, Z. et al. (2025). ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models. arXiv:2506.21448.
• Zhang, M. et al. (2023). Video-of-Thought: Step-by-Step Video Reasoning from Perception to Cognition. PDF.
• Mitra, S. et al. (2024). ThinkVideo: High-Quality Video Reasoning with Chain of Thoughts. arXiv:2505.18561.
• Wu, Y. et al. (2024). MINT: Multi-modal Chain of Thought in Unified Generative Models. arXiv:2503.01298.