Multimodal reasoning (ID)

Penalaran Multimodal (Ingg. Multimodal Reasoning) — adalah kemampuan kecerdasan buatan, khususnya large language model (LLM), untuk secara bersamaan memproses, menginterpretasikan, dan menghubungkan secara logis informasi dari berbagai jenis data (modalitas), seperti teks, gambar, audio dan video, guna menyelesaikan tugas-tugas yang kompleks. Proses ini meniru persepsi manusia yang multidimensional dan merupakan langkah kunci menuju penciptaan kecerdasan buatan umum (AGI) yang lebih universal dan adaptif.

Model yang memiliki kemampuan ini disebut large multimodal language model (MLLM atau LMRM — Large Multimodal Reasoning Models). Model-model ini memperluas kemampuan LLM tradisional yang hanya dilatih pada teks, sehingga memungkinkan mereka memahami konten gambar, menganalisis video, mengendalikan robot, dan menjalankan dialog berbasis data visual.

Evolusi Pendekatan

Pendekatan terhadap penalaran multimodal telah mengalami evolusi pesat dari sistem modular menuju arsitektur terpadu yang berpusat pada bahasa.

• Sistem awal: Berbasis pada pipeline terpisah, di mana komponen-komponen tersendiri memproses penglihatan, komponen lain memproses teks, dan pada tahap akhir representasi-representasi tersebut digabungkan. Pendekatan ini memerlukan desain yang cermat untuk setiap tugas tertentu.
• Sistem modern: Beralih ke model terpadu yang berpusat pada bahasa. Di dalamnya, large language model berperan sebagai inti, atau "mesin" penalaran, yang memproses informasi dari semua modalitas dalam satu format terpadu. Hal ini dimungkinkan berkat metode yang "mengajarkan" model bahasa untuk memahami data visual dan data lainnya dengan merepresentasikannya sebagai token khusus.

Tonggak penting dalam peralihan ini adalah konsep "multimodal chain-of-thought" (Multimodal Chain-of-Thought, MCoT), di mana model menerima serangkaian prompt yang secara bertahap membimbingnya melalui langkah-langkah logis yang melibatkan berbagai modalitas.

Arsitektur Multimodal LLM

Terdapat dua strategi arsitektur utama untuk mengintegrasikan berbagai modalitas dengan language model:

1. Arsitektur Terpadu pada Tingkat Token

Dalam pendekatan ini, semua modalitas diubah menjadi representasi umum yang kompatibel dengan LLM. Misalnya, sebuah gambar dipecah menjadi fragmen-fragmen (patch), dilewatkan melalui encoder visual (misalnya, Vision Transformer (ViT)), dan diubah menjadi rangkaian embedding vektor — token visual. Token-token visual ini kemudian digabungkan (dikoncatenasikan) dengan token teks dan dimasukkan sebagai input ke large language model, yang memprosesnya dalam satu aliran terpadu.

• Keunggulan: Skema ini hampir tidak memerlukan perubahan pada arsitektur LLM dan mudah diskalakan.
• Contoh: GPT-4 dari OpenAI, PaLM-E dari Google.

2. Arsitektur dengan Cross-Modal Attention

Di sini, language model dan encoder visual tetap menjadi subsistem terpisah, tetapi dihubungkan oleh lapisan khusus cross-modal attention (cross-attention). Lapisan-lapisan ini memungkinkan representasi teks dan visual untuk saling memengaruhi selama proses generasi. Model seolah-olah "mengintip" fitur-fitur visual pada setiap langkah pembuatan respons teks.

• Keunggulan: Memungkinkan pemanfaatan secara efisien kekuatan model-model yang sudah ada, telah dilatih sebelumnya, dan dibekukan (misalnya, LLM berukuran besar dan ViT yang kuat), dengan hanya melatih lapisan penghubungnya saja.
• Contoh: Flamingo dari DeepMind.

Dalam penelitian modern, arsitektur decoder-only terpadu telah menjadi dominan, karena lebih mudah diskalakan dan lebih baik dalam memanfaatkan kemampuan LLM yang ada.

Model dan Penelitian Kunci

Perkembangan MLLM semakin pesat terutama pada tahun 2022–2024.

• Flamingo (DeepMind, 2022): Salah satu visual-language model (VLM) besar pertama yang mampu menyelesaikan berbagai tugas multimodal dalam mode few-shot learning tanpa fine-tuning tambahan. Flamingo menunjukkan bahwa satu model tunggal dapat beradaptasi dengan cepat terhadap tugas-tugas baru hanya dengan menerima beberapa contoh dalam prompt.

• Kosmos-1 (Microsoft Research, 2023): MLLM pertama yang dilatih dari awal menggunakan data web. Model ini mampu memproses teks dan gambar sebagai "modalitas umum" dan menunjukkan hasil yang kuat dalam menyelesaikan tugas teks berbasis gambar (OCR), dialog multimodal, bahkan dalam tugas penalaran logis nonverbal (matriks Raven).

• GPT-4 (OpenAI, 2023): Model unggulan yang diposisikan sebagai "large multimodal model", mampu menerima input berupa teks dan gambar. Meskipun arsitekturnya tidak diungkapkan, diketahui bahwa model ini dapat menganalisis konten gambar, mendeskripsikan grafik, dan menjelaskan meme visual. Akses ke kemampuan multimodalnya diberikan secara terbatas, misalnya melalui kerja sama dengan aplikasi BeMyEyes untuk membantu penyandang tunanetra dan gangguan penglihatan.

• PaLM-E (Google, 2023): Model multimodal yang disebut "embodied" (embodied), yang dirancang untuk mengintegrasikan persepsi visual dengan tindakan fisik robot. PaLM-E mampu menghasilkan rencana langkah demi langkah untuk mengendalikan robot, dengan menerima kombinasi gambar dari kamera dan pembacaan sensor sebagai input. Hal ini menunjukkan efek "transfer positif": pelatihan pada tugas umum "visual+bahasa" meningkatkan efektivitas keterampilan robotika.

• LLAMA 3.2 (Meta, 2024): Rangkaian model terbuka yang di dalamnya juga muncul versi multimodal. Kehadirannya membuat teknologi MLLM dapat diakses oleh komunitas peneliti yang lebih luas untuk eksperimen lebih lanjut.

Tantangan dan Keterbatasan

Meskipun pencapaiannya mengesankan, MLLM menghadapi sejumlah masalah serius:

• Halusinasi: Seperti pendahulunya yang berbasis teks, MLLM dapat menghasilkan pernyataan yang terdengar meyakinkan namun secara faktual salah. Informasi visual tidak menghilangkan masalah ini, bahkan terkadang memperburuknya, yang berujung pada interpretasi gambar yang keliru.
• Kemampuan generalisasi dan kedalaman penalaran: Model sering tidak mampu mentransfer kesimpulan secara andal ke jenis data baru (generalisasi omni-modal), dan penalarannya bisa bersifat dangkal. Model mungkin bisa mendeskripsikan gambar, tetapi gagal jika tugas memerlukan perencanaan multi-langkah yang mempertimbangkan teks dan gambar sekaligus.
• Kompleksitas teknis: Pelatihan MLLM memerlukan sumber daya komputasi yang sangat besar dan dataset multimodal yang besar dan telah disiapkan dengan cermat. Evaluasi kualitas model semacam ini juga kompleks, karena memerlukan benchmark khusus yang memperhitungkan baik pemahaman maupun penalaran.

Prospek Pengembangan

Tren menunjukkan bahwa model multimodal akan semakin menjadi "native" multimodal (Native Large Multimodal Models), yaitu dirancang sejak awal untuk bekerja dengan semua modalitas. Tujuan akhirnya adalah menciptakan kecerdasan universal yang mampu mempersepsi dan memahami dunia selengkap yang dilakukan manusia. Untuk itu, para peneliti bekerja pada pengurangan ketergantungan terhadap data berlabel, pelatihan model untuk penalaran yang lebih abstrak dan kausal, serta memastikan kontrol yang aman terhadap sistem-sistem yang sangat powerful tersebut. Pengembangan pendekatan pendukung seperti HuggingGPT — di mana LLM bertindak sebagai koordinator yang mendistribusikan tugas ke model-model ahli — juga membuka jalan menuju AI multimodal yang lebih andal.

Referensi

• Artikel tinjauan: A Survey on Large Multimodal Reasoning Models (2025)
• Artikel Sebastian Raschka tentang pemahaman multimodal LLM

Literatur

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.