--- title: "Razonamiento multimodal" source: "https://systems-analysis.info/int/Razonamiento_multimodal" wiki: "systems-analysis.info/int" article: "Razonamiento_multimodal" language: "es" categories: - "Category:Large language models" - "Category:Machine learning" - "Category:Spanish" revision_id: 6178 wiki_created_at: 2026-09-06T23:59:24Z wiki_modified_at: 2026-09-06T23:59:24Z downloaded_at: 2026-09-07T23:12:28Z --- # Razonamiento multimodal **Razonamiento multimodal** (del inglés *Multimodal Reasoning*) es la capacidad de la inteligencia artificial, en particular de los grandes modelos lingüísticos (LLM), para procesar, interpretar y conectar lógicamente información de diferentes tipos de datos (modalidades), como **texto, imágenes, audio** y **video**, para resolver tareas complejas^{[\[1\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-survey_perception-1)}. Este proceso imita la percepción humana multifacética y es un paso clave hacia la creación de una inteligencia artificial general (AGI) más versátil y adaptable^{[\[2\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-ms_kosmos1-2)}. Los modelos que poseen esta capacidad se denominan **[grandes modelos lingüísticos multimodales](https://systems-analysis.info/int/LLM_multimodales "LLM multimodales")** (**MLLM** o LMRM — *Large Multimodal Reasoning Models*). Estos amplían las capacidades de los LLM tradicionales, que solo se entrenaban con texto, permitiéndoles comprender el contenido de las imágenes, analizar videos, controlar robots y mantener diálogos basados en datos visuales. ## Evolución de los enfoques Los enfoques hacia el razonamiento multimodal han experimentado una rápida evolución, pasando de sistemas modulares a arquitecturas unificadas y centradas en el lenguaje. - **Sistemas tempranos**: Se basaban en pipelines separados, donde componentes distintos procesaban la visión y otros el texto, y sus representaciones se combinaban en la etapa final. Este enfoque requería un diseño cuidadoso para cada tarea específica. - **Sistemas modernos**: Han evolucionado hacia modelos unificados y centrados en el lenguaje. En estos, un gran modelo lingüístico actúa como el componente central, o «motor» de razonamiento, que procesa información de todas las modalidades en un formato único. Esto ha sido posible gracias a métodos que "enseñaron" al modelo de lenguaje a comprender datos visuales y de otro tipo, representándolos como tokens especiales^{[\[1\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-survey_perception-1)}. Un hito importante en esta transición fue el concepto de **«cadena de pensamiento multimodal»** (*Multimodal Chain-of-Thought, MCoT*), donde el modelo recibe una secuencia de instrucciones (prompts) que lo guían paso a paso a través de un proceso lógico que involucra diferentes modalidades. ## Arquitecturas de los LLM multimodales Existen dos estrategias arquitectónicas principales para combinar diferentes modalidades con un modelo de lenguaje^{[\[3\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-raschka_understanding-3)}: ### 1. Arquitectura unificada a nivel de tokens En este enfoque, todas las modalidades se convierten en una representación común compatible con el LLM. Por ejemplo, una imagen se divide en fragmentos (patches), se pasa a través de un codificador visual (como un Vision Transformer (ViT)) y se transforma en una secuencia de embeddings vectoriales: **tokens visuales**. Luego, estos tokens visuales se concatenan (unen) con los tokens de texto y se introducen en el gran modelo lingüístico, que los procesa como un flujo único. - **Ventajas**: Este esquema prácticamente no requiere cambios en la arquitectura del LLM y es fácil de escalar. - **Ejemplos**: GPT-4 de OpenAI, **PaLM-E** de Google. ### 2. Arquitectura con atención cruzada (cross-attention) Aquí, el modelo de lenguaje y el codificador visual permanecen como subsistemas separados, pero se conectan mediante capas especiales de **atención cruzada** (*cross-attention*). Estas capas permiten que las representaciones textuales y visuales se influyan mutuamente durante el proceso de generación. El modelo, por así decirlo, "echa un vistazo" a las características visuales en cada paso de la creación de la respuesta textual. - **Ventajas**: Permite utilizar eficazmente el poder de modelos preentrenados y congelados (por ejemplo, un LLM grande y un ViT potente), entrenando únicamente las capas de conexión. - **Ejemplo**: **Flamingo** de DeepMind. En la investigación actual, las arquitecturas unificadas de tipo *decoder-only* se han vuelto dominantes, ya que son más fáciles de escalar y aprovechan mejor las capacidades de los LLM existentes^{[\[3\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-raschka_understanding-3)}. ## Modelos e investigaciones clave El desarrollo de los MLLM se aceleró especialmente entre 2022 y 2024. - **Flamingo (DeepMind, 2022)**: Uno de los primeros grandes modelos de lenguaje y visión (VLM) capaz de resolver diversas tareas multimodales en modo de aprendizaje de pocos ejemplos (few-shot learning) sin necesidad de ajuste fino adicional. Flamingo demostró que un único modelo puede adaptarse rápidamente a nuevas tareas con solo unos pocos ejemplos en el prompt^{[\[4\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-deepmind_flamingo-4)}. - **Kosmos-1 (Microsoft Research, 2023)**: El primer MLLM entrenado desde cero con datos de la web. Es capaz de percibir texto e imágenes como «modalidades comunes» y ha mostrado resultados sólidos en la resolución de tareas de texto con imágenes (OCR), diálogo multimodal e incluso en tareas de razonamiento lógico no verbal (matrices de Raven)^{[\[2\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-ms_kosmos1-2)}. - **GPT-4 (OpenAI, 2023)**: El modelo insignia, posicionado como un «gran modelo multimodal», capaz de recibir texto e imágenes como entrada. Aunque su arquitectura no ha sido revelada, se sabe que puede analizar el contenido de imágenes, describir gráficos y explicar memes visuales. El acceso a sus capacidades multimodales se ha proporcionado de forma limitada, por ejemplo, en colaboración con la aplicación BeMyEyes para ayudar a personas ciegas y con discapacidad visual^{[\[5\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-openai_gpt4-5)}. - **PaLM-E (Google, 2023)**: Un modelo multimodal «corporeizado» (*embodied*), creado para integrar la percepción visual con las acciones físicas de un robot. PaLM-E es capaz de generar planes paso a paso para controlar robots, recibiendo como entrada una combinación de imágenes de cámaras y lecturas de sensores. Esto demostró el efecto de «transferencia positiva»: el entrenamiento en tareas generales de «visión+lenguaje» mejoró la eficiencia de las habilidades robóticas^{[\[6\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-google_palm-e-6)}. - **LLAMA 3.2 (Meta, 2024)**: Una serie de modelos de código abierto que también incluye versiones multimodales. Su lanzamiento hace que las tecnologías MLLM sean accesibles para la amplia comunidad de investigación para futuros experimentos^{[\[3\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-raschka_understanding-3)}. ## Problemas y limitaciones A pesar de los impresionantes avances, los MLLM se enfrentan a una serie de problemas serios: - **Alucinaciones**: Al igual que sus predecesores textuales, los MLLM pueden generar afirmaciones que suenan convincentes pero que son incorrectas. La información visual no elimina este problema y, a veces, lo complica, llevando a interpretaciones erróneas de las imágenes^{[\[7\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-acl_multimodal_kg-7)}. - **Capacidad de generalización y profundidad de razonamiento**: Los modelos a menudo no pueden transferir de manera fiable sus conclusiones a nuevos tipos de datos (generalización omnimodal), y su razonamiento puede ser superficial. Pueden describir una imagen, pero fallar si la tarea requiere una planificación de varios pasos que tenga en cuenta tanto el texto como la imagen^{[\[1\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-survey_perception-1)}. - **Dificultades técnicas**: El entrenamiento de MLLM requiere enormes recursos computacionales y grandes conjuntos de datos multimodales cuidadosamente preparados. La evaluación de la calidad de estos modelos también es compleja, ya que requiere benchmarks especiales que tengan en cuenta tanto la comprensión como el razonamiento. ## Perspectivas de desarrollo Las tendencias indican que los modelos multimodales se volverán cada vez más **«nativos multimodales»** (*Native Large Multimodal Models*), es decir, diseñados desde el principio para trabajar con todas las modalidades. El objetivo final es crear una **inteligencia universal**, capaz de percibir y comprender el mundo de una manera tan rica como un ser humano. Para ello, los investigadores están trabajando en reducir la dependencia de los datos etiquetados, entrenar a los modelos en un pensamiento más abstracto y causal, y garantizar un control seguro sobre sistemas tan potentes. El desarrollo de enfoques complementarios, como **HuggingGPT** —donde un LLM actúa como coordinador, distribuyendo tareas a modelos expertos— también está abriendo el camino hacia una IA multimodal más fiable^{[\[8\]](https://systems-analysis.info/int/Razonamiento_multimodal#cite_note-hugging_gpt-8)}. ## Enlaces externos - Artículo de revisión: A Survey on Large Multimodal Reasoning Models (2025) - Artículo de Sebastian Raschka sobre la comprensión de los LLM multimodales ## Bibliografía - Li, Y. et al. (2025). *Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models*. arXiv:2505.04921. - Lee, J. et al. (2024). *Multimodal Reasoning with Multimodal Knowledge Graph*. ACL 2024. - Huang, S. et al. (2023). *Language Is Not All You Need: Aligning Perception with Language Models*. arXiv:2302.14045. - Shen, Y. et al. (2023). *HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face*. arXiv:2303.17580. - Zhang, Z. et al. (2023). *Multimodal Chain-of-Thought Reasoning in Language Models*. arXiv:2302.00923. - Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378. - OpenAI (2023). *GPT-4 Technical Report*. arXiv:2303.08774. - Chen, X. et al. (2023). *PaLI-X: On Scaling Up a Multilingual Vision and Language Model*. arXiv:2305.18565. - Alayrac, J-B. et al. (2022). *Flamingo: A Visual Language Model for Few-Shot Learning*. arXiv:2204.14198. - Chen, X. et al. (2022). *PaLI: A Jointly-Scaled Multilingual Language-Image Model*. arXiv:2209.06794. - Huang, S. et al. (2022). *Multimodal Chain-of-Thought Prompting in Large Language Models*. arXiv:2302.00923. ## Referencias 1. ↑ ^{[1.0](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-survey_perception_1-0)} ^{[1.1](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-survey_perception_1-1)} ^{[1.2](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-survey_perception_1-2)} Yang, Z., et al. «Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models». *arXiv:2505.04921* \[cs.AI\], 8 de mayo de 2025. [1] 2. ↑ ^{[2.0](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-ms_kosmos1_2-0)} ^{[2.1](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-ms_kosmos1_2-1)} Huang, S., et al. «Language Is Not All You Need: Aligning Perception with Language Models». *arXiv:2302.14045* \[cs.CL\], 28 de feb. de 2023. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-raschka_understanding_3-0)} ^{[3.1](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-raschka_understanding_3-1)} ^{[3.2](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-raschka_understanding_3-2)} Raschka, Sebastian. «Understanding Multimodal LLMs». *Ahead of AI Magazine*. [3] 4. [↑](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-deepmind_flamingo_4-0) Alayrac, Jean-Baptiste, et al. «Tackling multiple tasks with a single visual language model». *DeepMind Blog*. [4] 5. [↑](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-openai_gpt4_5-0) «GPT-4». *OpenAI*. [5] 6. [↑](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-google_palm-e_6-0) Driess, Danny, et al. «PaLM-E: An embodied multimodal language model». *Google Research Blog*. [6] 7. [↑](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-acl_multimodal_kg_7-0) Lee, D., et al. «Multimodal Reasoning with Multimodal Knowledge Graph». *ACL Anthology*, 2024. [7] 8. [↑](https://systems-analysis.info/int/Razonamiento_multimodal#cite_ref-hugging_gpt_8-0) Shen, Y., et al. «HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face». *OpenReview*. [8]