Multimodal reasoning (BG)

Мултимодално разсъждаване (англ. Multimodal Reasoning) — това е способността на изкуствения интелект, и по-специално на големите езикови модели (LLM), едновременно да обработва, интерпретира и логически свързва информация от различни типове данни (модалности), като текст, изображения, аудио и видео, за решаване на сложни задачи. Този процес имитира многостранното човешко възприятие и представлява ключова стъпка към създаването на по-универсален и адаптивен общ изкуствен интелект (AGI).

Моделите, притежаващи такава способност, се наричат мултимодални големи езикови модели (MLLM или LMRM — Large Multimodal Reasoning Models). Те разширяват възможностите на традиционните LLM, обучени само върху текст, като им позволяват да разбират съдържанието на изображения, да анализират видео, да управляват роботи и да водят диалог въз основа на визуални данни.

Еволюция на подходите

Подходите към мултимодалното разсъждаване преминаха стремителна еволюция от модулни системи към унифицирани, езиково-центрични архитектури.

• Ранни системи: Основаваха се на разделени конвейери, при които отделни компоненти обработваха зрението, други — текста, а на финалния етап техните представяния се обединяваха. Такъв подход изискваше внимателно проектиране за всяка конкретна задача.
• Съвременни системи: Преминаха към унифицирани, езиково-центрични модели. В тях голям езиков модел играе ролята на централно звено, или „двигател" на разсъждаването, който обработва информация от всички модалности в единен формат. Това стана възможно благодарение на методи, които „научиха" езиковия модел да разбира визуални и други данни, представяйки ги като специални token-и.

Важна повратна точка в този преход стана концепцията за „мултимодална верига на разсъждаването" (Multimodal Chain-of-Thought, MCoT), при която моделът получава последователност от подсказки, водещи го стъпка по стъпка през логическите ходове, задействащи различни модалности.

Архитектури на мултимодалните LLM

Съществуват две основни архитектурни стратегии за обединяване на различни модалности с езиков модел:

1. Унифицирана архитектура на ниво token-и

При този подход всички модалности се преобразуват в общо представяне, съвместимо с LLM. Например, изображението се разбива на фрагменти (patch-ове), преминава през визуален encoder (например Vision Transformer (ViT)) и се превръща в последователност от векторни embedding-и — визуални token-и. След това тези визуални token-и се конкатенират (обединяват) с текстовите token-и и се подават на входа на големия езиков модел, който ги обработва в единен поток.

• Предимства: Тази схема практически не изисква промени в архитектурата на LLM и лесно се мащабира.
• Примери: GPT-4 от OpenAI, PaLM-E от Google.

2. Архитектура с кросмодално внимание

Тук езиковият модел и визуалният encoder остават отделни подсистеми, но са свързани чрез специални слоеве на кросмодално внимание (cross-attention). Тези слоеве позволяват на текстовите и визуалните представяния да си влияят взаимно в процеса на генериране. Моделът като че ли „надниква" към визуалните признаци на всяка стъпка при създаването на текстовия отговор.

• Предимства: Позволява ефективното използване на мощта на вече съществуващи, предварително обучени и замразени модели (например голям LLM и мощен ViT), като се обучават само свързващите слоеве.
• Пример: Flamingo от DeepMind.

В съвременните изследвания унифицираните decoder-only архитектури се превърнаха в доминиращи, тъй като по-лесно се мащабират и по-добре използват възможностите на съществуващите LLM.

Ключови модели и изследвания

Развитието на MLLM особено се ускори в периода 2022–2024 г.

• Flamingo (DeepMind, 2022): Един от първите крупни визуално-езикови модели (VLM), способен в режим few-shot learning да решава разнообразни мултимодални задачи без допълнително fine-tuning. Flamingo демонстрира, че единен модел може бързо да се адаптира към нови задачи, получавайки само няколко примера в подсказката.

• Kosmos-1 (Microsoft Research, 2023): Първият MLLM, обучен от нулата върху уеб данни. Той е способен да възприема текст и изображения като „общи модалности" и показа силни резултати при решаване на текстови задачи с изображения (OCR), мултимодален диалог и дори при задачи за невербално логическо мислене (матрици на Рейвън).

• GPT-4 (OpenAI, 2023): Флагманският модел, позициониран като „голям мултимодален модел", способен да приема на входа текст и изображения. Въпреки че архитектурата му не е разкрита, известно е, че може да анализира съдържанието на картинки, да описва графики и да обяснява визуални мемове. Достъпът до неговите мултимодални възможности беше предоставен ограничено, например в сътрудничество с приложението BeMyEyes за помощ на слепи и слабовиждащи.

• PaLM-E (Google, 2023): Така нареченият „въплътен" (embodied) мултимодален модел, създаден за интегриране на визуалното възприятие с физическите действия на робот. PaLM-E е способен да генерира стъпкови планове за управление на роботи, получавайки на входа комбинация от изображения от камери и показания на сензори. Това демонстрира ефекта на „положителен трансфер": обучението върху общи задачи „визуализация+език" подобри ефективността на роботехническите умения.

• LLAMA 3.2 (Meta, 2024): Отворена серия от модели, в която се появиха и мултимодални версии. Появата им прави технологиите MLLM достъпни за широката изследователска общност за по-нататъшни експерименти.

Проблеми и ограничения

Въпреки впечатляващите постижения, MLLM се сблъскват с редица сериозни проблеми:

• Халюцинации: Подобно на своите текстови предшественици, MLLM могат да генерират убедително звучащи, но фактически неверни твърдения. Визуалната информация не елиминира този проблем, а понякога го усложнява, водейки до погрешни интерпретации на изображения.
• Способност за обобщаване и дълбочина на разсъждаването: Моделите често не умеят надеждно да пренасят изводи към нови типове данни (омни-модално обобщаване), а разсъжданията им могат да бъдат повърхностни. Те могат да опишат картинка, но да се провалят, ако задачата изисква многостъпково планиране, вземащо предвид едновременно текст и изображение.
• Технически трудности: Обучението на MLLM изисква огромни изчислителни ресурси и големи, внимателно подготвени мултимодални dataset-и. Оценката на качеството на такива модели също е сложна, тъй като изисква специални benchmark-и, отчитащи едновременно разбирането и разсъждаването.

Перспективи за развитие

Тенденциите показват, че мултимодалните модели ще стават все по-„нативно" мултимодални (Native Large Multimodal Models), тоест изначално проектирани за работа с всички модалности. Крайната цел е създаването на универсален интелект, способен да възприема и разбира света толкова богато, колкото човекът. За тази цел изследователите работят върху намаляване на зависимостта от анотирани данни, обучение на моделите към по-абстрактно, причинно-следствено мислене и осигуряване на безопасен контрол върху такива мощни системи. Развитието на спомагателни подходи като HuggingGPT — при който LLM действа като координатор, разпределящ задачите между специализирани модели-експерти — също проправя пътя към по-надежден мултимодален ИИ.

Препратки

• Обзорна статия: A Survey on Large Multimodal Reasoning Models (2025)
• Статия на Себастиан Рашка за разбирането на мултимодалните LLM

Литература

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.