Multimodal reasoning (RO)

Raționamentul multimodal (engl. Multimodal Reasoning) — reprezintă capacitatea inteligenței artificiale, în special a modelelor lingvistice de mari dimensiuni (LLM), de a procesa simultan, interpreta și corela logic informații provenind din diferite tipuri de date (modalități), precum text, imagini, audio și video, în scopul rezolvării unor sarcini complexe. Acest proces imită percepția umană multidimensională și constituie un pas esențial pe calea creării unei inteligențe artificiale generale (AGI) mai universale și mai adaptabile.

Modelele care dețin această capacitate sunt denumite modele lingvistice multimodale de mari dimensiuni (MLLM sau LMRM — Large Multimodal Reasoning Models). Acestea extind capacitățile LLM-urilor tradiționale, antrenate exclusiv pe text, permițându-le să înțeleagă conținutul imaginilor, să analizeze videoclipuri, să controleze roboți și să poarte dialoguri pe baza datelor vizuale.

Evoluția abordărilor

Abordările privind raționamentul multimodal au parcurs o evoluție rapidă, de la sisteme modulare la arhitecturi unificate, centrate pe limbaj.

• Sistemele timpurii: Se bazau pe pipeline-uri separate, în care componente distincte procesau informațiile vizuale, altele — textul, iar la etapa finală reprezentările lor erau combinate. Această abordare necesita un design atent pentru fiecare sarcină specifică.
• Sistemele moderne: Au trecut la modele unificate, centrate pe limbaj. În cadrul acestora, modelul lingvistic de mari dimensiuni constituie elementul central, sau „motorul" raționamentului, care procesează informații din toate modalitățile într-un format unificat. Acest lucru a devenit posibil datorită metodelor care au „învățat" modelul lingvistic să înțeleagă datele vizuale și alte tipuri de date, reprezentându-le sub formă de token-uri speciale.

O etapă importantă în această tranziție a fost conceptul de „lanț multimodal de raționament" (Multimodal Chain-of-Thought, MCoT), în care modelul primește o secvență de indicii care îl ghidează pas cu pas prin etapele logice, implicând diferite modalități.

Arhitecturi ale LLM-urilor multimodale

Există două strategii arhitecturale principale pentru integrarea diferitelor modalități cu un model lingvistic:

1. Arhitectura unificată la nivel de token-uri

În această abordare, toate modalitățile sunt convertite într-o reprezentare comună, compatibilă cu LLM-ul. De exemplu, o imagine este împărțită în fragmente (patch-uri), trecută printr-un encoder vizual (de exemplu, Vision Transformer (ViT)) și transformată într-o secvență de embedding-uri vectoriale — token-uri vizuale. Ulterior, aceste token-uri vizuale sunt concatenate (combinate) cu token-urile textuale și introduse ca intrare în modelul lingvistic de mari dimensiuni, care le procesează într-un flux unitar.

• Avantaje: Această schemă nu necesită aproape nicio modificare a arhitecturii LLM și se scalează cu ușurință.
• Exemple: GPT-4 de la OpenAI, PaLM-E de la Google.

2. Arhitectura cu atenție cross-modală

În acest caz, modelul lingvistic și encoder-ul vizual rămân subsisteme separate, dar sunt conectate prin straturi speciale de atenție cross-modală (cross-attention). Aceste straturi permit reprezentărilor textuale și vizuale să se influențeze reciproc în procesul de generare. Modelul „aruncă o privire" asupra trăsăturilor vizuale la fiecare pas al creării răspunsului textual.

• Avantaje: Permite utilizarea eficientă a puterii modelelor deja existente, pre-antrenate și înghețate (de exemplu, un LLM de mari dimensiuni și un ViT puternic), antrenând doar straturile de conexiune.
• Exemplu: Flamingo de la DeepMind.

În cercetările actuale, arhitecturile unificate de tip decoder-only au devenit dominante, deoarece se scalează mai ușor și valorifică mai bine capacitățile LLM-urilor existente.

Modele și cercetări de referință

Dezvoltarea MLLM-urilor s-a accelerat semnificativ în perioada 2022–2024.

• Flamingo (DeepMind, 2022): Unul dintre primele modele vizual-lingvistice (VLM) de mari dimensiuni, capabil să rezolve diverse sarcini multimodale în regim few-shot learning, fără ajustări suplimentare. Flamingo a demonstrat că un singur model se poate adapta rapid la sarcini noi, primind doar câteva exemple în indiciu.

• Kosmos-1 (Microsoft Research, 2023): Primul MLLM antrenat de la zero pe date web. Este capabil să perceapă textul și imaginile ca „modalități comune" și a obținut rezultate solide în rezolvarea sarcinilor textuale cu imagini (OCR), în dialogul multimodal și chiar în sarcinile de raționament logic nonverbal (matricele Raven).

• GPT-4 (OpenAI, 2023): Modelul emblematic, prezentat ca un „model multimodal de mari dimensiuni", capabil să primească la intrare text și imagini. Deși arhitectura sa nu este divulgată, se știe că poate analiza conținutul imaginilor, descrie grafice și explica meme-uri vizuale. Accesul la capacitățile sale multimodale a fost oferit în mod limitat, de exemplu, în colaborare cu aplicația BeMyEyes pentru ajutorarea persoanelor cu deficiențe de vedere.

• PaLM-E (Google, 2023): Un model multimodal denumit „întruchipat" (embodied), creat pentru a integra percepția vizuală cu acțiunile fizice ale unui robot. PaLM-E este capabil să genereze planuri pas cu pas pentru controlul roboților, primind la intrare o combinație de imagini de la camere și date de la senzori. Aceasta a demonstrat efectul „transferului pozitiv": antrenarea pe sarcini generale „vizualizare+limbaj" a îmbunătățit eficiența abilităților robotice.

• LLAMA 3.2 (Meta, 2024): O serie deschisă de modele în care au apărut și versiuni multimodale. Apariția lor face ca tehnologiile MLLM să devină accesibile comunității largi de cercetători pentru experimente ulterioare.

Probleme și limitări

În ciuda realizărilor impresionante, MLLM-urile se confruntă cu o serie de probleme serioase:

• Halucinații: La fel ca predecesorii lor textuali, MLLM-urile pot genera afirmații care sună convingător, dar sunt incorect din punct de vedere factual. Informațiile vizuale nu elimină această problemă și uneori o complică, ducând la interpretări eronate ale imaginilor.
• Capacitatea de generalizare și profunzimea raționamentului: Modelele nu reușesc adesea să transfere în mod fiabil concluziile la noi tipuri de date (generalizare omni-modală), iar raționamentele lor pot fi superficiale. Pot descrie o imagine, dar eșuează atunci când sarcina necesită o planificare în mai mulți pași, ținând cont de text și imagine simultan.
• Dificultăți tehnice: Antrenarea MLLM-urilor necesită resurse computaționale enorme și dataset-uri multimodale de mari dimensiuni, pregătite cu atenție. Evaluarea calității unor astfel de modele este, de asemenea, dificilă, deoarece necesită benchmark-uri speciale care să țină cont atât de înțelegere, cât și de raționament.

Perspective de dezvoltare

Tendințele arată că modelele multimodale vor deveni tot mai mult „native" multimodale (Native Large Multimodal Models), adică proiectate de la bun început pentru a lucra cu toate modalitățile. Obiectivul final este crearea unei inteligențe universale, capabile să perceapă și să înțeleagă lumea la fel de bogat ca un om. În acest scop, cercetătorii lucrează la reducerea dependenței de datele adnotate, la antrenarea modelelor pentru un raționament mai abstract, cauzal, și la asigurarea unui control sigur asupra unor astfel de sisteme puternice. Dezvoltarea unor abordări auxiliare, precum HuggingGPT — unde LLM-ul acționează ca un coordonator care distribuie sarcini modelelor expert — deschide, de asemenea, calea spre un AI multimodal mai fiabil.

Referințe

• Articol de sinteză: A Survey on Large Multimodal Reasoning Models (2025)
• Articolul lui Sebastian Raschka despre înțelegerea LLM-urilor multimodale

Literatură

• Li, Y. et al. (2025). Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models. arXiv:2505.04921.
• Lee, J. et al. (2024). Multimodal Reasoning with Multimodal Knowledge Graph. ACL 2024.
• Huang, S. et al. (2023). Language Is Not All You Need: Aligning Perception with Language Models. arXiv:2302.14045.
• Shen, Y. et al. (2023). HuggingGPT: Solving AI Tasks with ChatGPT and Its Friends in Hugging Face. arXiv:2303.17580.
• Zhang, Z. et al. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Chen, X. et al. (2023). PaLI-X: On Scaling Up a Multilingual Vision and Language Model. arXiv:2305.18565.
• Alayrac, J-B. et al. (2022). Flamingo: A Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
• Chen, X. et al. (2022). PaLI: A Jointly-Scaled Multilingual Language-Image Model. arXiv:2209.06794.
• Huang, S. et al. (2022). Multimodal Chain-of-Thought Prompting in Large Language Models. arXiv:2302.00923.