Multimodal reasoning (TR)

Çok Kipli Akıl Yürütme (İng. Multimodal Reasoning) — yapay zekanın, özellikle büyük dil modellerinin (LLM), karmaşık görevleri çözmek amacıyla metin, görüntü, ses ve video gibi farklı veri türlerinden (kiplerden) gelen bilgileri aynı anda işleme, yorumlama ve mantıksal olarak ilişkilendirme yeteneğidir. Bu süreç, çok boyutlu insan algısını taklit eder ve daha evrensel ve uyarlanabilir bir genel yapay zeka (AGI) oluşturma yolunda kritik bir adım niteliği taşır.

Bu yeteneğe sahip modeller çok kipli büyük dil modelleri (MLLM ya da LMRM — Large Multimodal Reasoning Models) olarak adlandırılır. Bu modeller, yalnızca metin üzerinde eğitilmiş geleneksel LLM'lerin yeteneklerini genişleterek görüntü içeriklerini anlamalarını, video analizi yapmalarını, robotları yönetmelerini ve görsel verilere dayalı diyalog kurmalarını sağlar.

Yaklaşımların Evrimi

Çok kipli akıl yürütme yaklaşımları, modüler sistemlerden birleşik, dil merkezli mimarilere doğru hızlı bir evrim geçirmiştir.

• Erken sistemler: Görme işlevini ayrı bileşenlerin, metni ise başka bileşenlerin işlediği ve son aşamada bu temsillerin birleştirildiği ayrı işlem hatlarına dayanıyordu. Bu yaklaşım, her somut görev için titiz bir tasarım gerektiriyordu.
• Modern sistemler: Birleşik, dil merkezli modellere geçildi. Bu modellerde büyük dil modeli, tüm kiplerdeki bilgileri tek bir biçimde işleyen merkezi unsur ya da akıl yürütme "motoru" olarak işlev görür. Bu durum, dil modelini görsel ve diğer verileri özel token'lar olarak temsil ederek anlamasını sağlayan yöntemler sayesinde mümkün olmuştur.

Bu geçişte önemli bir dönüm noktası, modelin farklı kipleri kullanan mantıksal adımlar aracılığıyla aşamalı olarak yönlendirildiği bir ipucu dizisi aldığı «çok kipli düşünce zinciri» (Multimodal Chain-of-Thought, MCoT) kavramı olmuştur.

Çok Kipli LLM Mimarileri

Farklı kipleri bir dil modeliyle birleştirmeye yönelik iki temel mimari strateji mevcuttur:

1. Token Düzeyinde Birleşik Mimari

Bu yaklaşımda tüm kipler, LLM ile uyumlu ortak bir temsile dönüştürülür. Örneğin bir görüntü parçalara (patch'lere) ayrılır, görsel bir encoder'dan (örneğin Vision Transformer (ViT)) geçirilir ve vektörel embedding'lerden oluşan bir diziye — görsel token'lara — dönüştürülür. Ardından bu görsel token'lar, metin token'larıyla birleştirilir ve büyük dil modeline tek bir akış olarak sunulur.

• Avantajlar: Bu şema, LLM mimarisinde neredeyse hiçbir değişiklik gerektirmez ve kolayca ölçeklendirilebilir.
• Örnekler: OpenAI'dan GPT-4, Google'dan PaLM-E.

2. Çapraz Kipli Dikkat Mimarisi

Burada dil modeli ile görsel encoder ayrı alt sistemler olarak kalır; ancak özel çapraz kipsel dikkat (cross-attention) katmanlarıyla birbirine bağlanır. Bu katmanlar, metin ve görsel temsillerin üretim sürecinde birbirini etkilemesine olanak tanır. Model, metin yanıtını oluştururken her adımda görsel özelliklere adeta "göz atar".

• Avantajlar: Yalnızca bağlantı katmanlarını eğiterek mevcut, önceden eğitilmiş ve dondurulmuş modellerin (örneğin büyük bir LLM ve güçlü bir ViT) gücünden verimli biçimde yararlanmayı sağlar.
• Örnek: DeepMind'dan Flamingo.

Modern araştırmalarda birleşik decoder-only mimariler, daha kolay ölçeklendirilebildikleri ve mevcut LLM'lerin olanaklarından daha iyi yararlandıkları için baskın hale gelmiştir.

Temel Modeller ve Araştırmalar

MLLM'lerin gelişimi, özellikle 2022–2024 yılları arasında büyük bir ivme kazanmıştır.

• Flamingo (DeepMind, 2022): Ek ince ayar gerektirmeksizin few-shot learning modunda çeşitli çok kipli görevleri çözebilen ilk büyük görsel-dil modellerinden (VLM) biridir. Flamingo, tek bir modelin yalnızca birkaç örnek içeren bir ipucu alarak yeni görevlere hızla uyum sağlayabildiğini göstermiştir.

• Kosmos-1 (Microsoft Research, 2023): Web verilerinden sıfırdan eğitilen ilk MLLM'dir. Metin ve görüntüleri «ortak kipler» olarak algılayabilen bu model, görüntülerle metin görevlerinde (OCR), çok kipli diyalogda ve hatta sözsüz mantıksal düşünme görevlerinde (Raven matrisleri) güçlü sonuçlar sergilemiştir.

• GPT-4 (OpenAI, 2023): Metin ve görüntü girişi alabilen «büyük çok kipli model» olarak konumlandırılan amiral gemisi modeldir. Mimarisi kamuoyuyla paylaşılmamış olsa da, görüntü içeriklerini analiz edebildiği, grafikleri açıklayabildiği ve görsel memleri yorumlayabildiği bilinmektedir. Çok kipli özelliklerine erişim, görme engelli bireyler için geliştirilen BeMyEyes uygulamasıyla iş birliği gibi sınırlı bağlamlarda sunulmuştur.

• PaLM-E (Google, 2023): Görsel algıyı bir robotun fiziksel eylemleriyle entegre etmek için tasarlanmış, «cisimleşmiş» (embodied) çok kipli bir modeldir. PaLM-E, kameralardan gelen görüntüler ile sensör verilerinin birleşimini girdi olarak alarak robot kontrolü için adım adım planlar oluşturabilmektedir. Bu, «pozitif transfer» etkisini ortaya koymuştur: genel «görüntü+dil» görevleri üzerinde eğitim, robotik becerilerin etkinliğini artırmıştır.

• LLAMA 3.2 (Meta, 2024): Çok kipli sürümlerin de yer aldığı açık kaynaklı bir model serisidir. Bu modellerin ortaya çıkması, MLLM teknolojilerini daha ileri deneyler için geniş araştırma topluluğuna erişilebilir kılmaktadır.

Sorunlar ve Sınırlılıklar

Etkileyici başarılara karşın MLLM'ler bir dizi ciddi sorunla karşı karşıyadır:

• Halüsinasyonlar: Metin tabanlı öncülleri gibi, MLLM'ler de ikna edici görünen ama gerçekte hatalı olan ifadeler üretebilir. Görsel bilgi bu sorunu ortadan kaldırmaz; hatta zaman zaman görüntülerin yanlış yorumlanmasına yol açarak durumu daha da karmaşık hale getirir.
• Genelleme yeteneği ve akıl yürütme derinliği: Modeller çoğu zaman çıkarımları yeni veri türlerine (omni-kipsel genelleme) güvenilir biçimde aktaramaz ve akıl yürütmeleri yüzeysel kalabilir. Bir görüntüyü tanımlayabilirler; ancak görev metin ve görüntüyü birlikte ele alan çok adımlı bir planlama gerektiriyorsa başarısız olabilirler.
• Teknik güçlükler: MLLM'lerin eğitimi, muazzam hesaplama kaynakları ve özenle hazırlanmış büyük çok kipli dataset'ler gerektirmektedir. Bu tür modellerin kalite değerlendirmesi de güçtür; zira hem anlama hem de akıl yürütmeyi göz önünde bulunduran özel benchmark'lar gerekmektedir.

Gelişim Perspektifleri

Eğilimler, çok kipli modellerin giderek daha fazla «doğası gereği çok kipli» (Native Large Multimodal Models) hale geleceğini, yani baştan itibaren tüm kiplerle çalışacak biçimde tasarlanacağını göstermektedir. Nihai hedef, dünyayı insan kadar zengin biçimde algılayabilen ve anlayabilen evrensel bir zeka yaratmaktır. Bu doğrultuda araştırmacılar, etiketli verilere bağımlılığı azaltmak, modelleri daha soyut ve nedensel düşünme biçimleri konusunda eğitmek ve bu kadar güçlü sistemler üzerinde güvenli denetim sağlamak üzerine çalışmaktadır. LLM'nin görevleri uzman modeller arasında dağıtan bir koordinatör olarak işlev gördüğü HuggingGPT gibi yardımcı yaklaşımların gelişimi de daha güvenilir çok kipli yapay zekaya giden yolu açmaktadır.

Dış bağlantılar

• Derleme makalesi: A Survey on Large Multimodal Reasoning Models (2025)
• Sebastian Raschka'nın çok kipli LLM'lerin anlaşılmasına ilişkin makalesi

Kaynakça

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.