--- title: "Multimodal large language models (CS)" source: "https://systems-analysis.info/int/Multimodal_large_language_models_(CS)" wiki: "systems-analysis.info/int" article: "Multimodal_large_language_models_(CS)" language: "cs" categories: - "Category:Czech" - "Category:Large language models" - "Category:Machine learning" revision_id: 4748 wiki_created_at: 2026-09-06T23:39:22Z wiki_modified_at: 2026-09-06T23:39:22Z downloaded_at: 2026-09-07T23:04:22Z --- # Multimodal large language models (CS) **Multimodální velké jazykové modely** (angl. **Multimodal Large Language Models, MLLMs**) — jsou třídou modelů umělé inteligence schopných zpracovávat a generovat informace v různých modalitách, včetně textu, obrazu, zvuku a videa[\[1\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-encord_intro-1). Na rozdíl od unimodálních jazykových modelů pracujících výhradně s textem integrují MLLM informace z různých zdrojů za účelem řešení komplexních úloh porozumění a generování obsahu. Základní koncept MLLM spočívá ve vytvoření jednotného vektorového reprezentace (embedding) pro různé modality. To umožňuje modelu navazovat sémantické vazby například mezi obrazem a jeho textovým popisem[\[2\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-acm_survey-2). Klíčovým průlomem, který položil základy moderních MLLM, bylo využití kontrastivního učení pro zarovnání vizuálních a textových reprezentací ve společném prostoru příznaků, jak bylo realizováno v modelu **CLIP**[\[3\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-radford2021-3). ## Historie vývoje ### Rané období (2013–2020) Konceptuální základy multimodální umělé inteligence byly položeny v roce 2013, kdy výzkumníci ze Stanfordu demonstrovali možnost učení s nulovou ukázkou (zero-shot learning) pomocí vektorových reprezentací slov[\[4\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-deoldify2013-4). V roce 2016 tým **FAIR** (Meta AI) prokázal účinnost využití přirozenojazykových popisů pro trénování modelů počítačového vidění, přičemž dosáhl přesnosti 11,5 % na datasetu ImageNet bez přímého trénování[\[5\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-openai_fair_2016-5). ### Éra CLIP (2021) Revoluční okamžik nastal vydáním modelu **CLIP** (*Contrastive Language-Image Pre-training*) společností OpenAI v lednu 2021. Model, trénovaný na 400 milionech párů obraz–text, prokázal schopnost klasifikovat obrázky bez specializovaného trénování na konkrétních úlohách. CLIP se stal základem pro mnoho následných MLLM[\[6\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-stanford_cs_clip-6). ### Škálování a inovace (2022–2024) Po úspěchu CLIP se objevila řada klíčových modelů: - **Flamingo** (DeepMind, 2022) — model s 80 miliardami parametrů, který prokázal vynikající schopnosti učení s malým počtem příkladů. - **BLIP** (Salesforce, 2022) — unifikovaná architektura pro porozumění a generování. - **GPT-4V** (OpenAI, 2023) — první komerční multimodální model takového rozsahu. - **LLaVA** (Microsoft, 2023) — populární otevřená alternativa k GPT-4V. - **Gemini** (Google, 2023) — nativně multimodální architektura, původně navržená pro práci s různými typy dat. - **GPT-4o** (OpenAI, 2024) — model schopný zpracovávat text, zvuk a video v reálném čase s nízkou latencí[\[1\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-encord_intro-1). - **Claude 3.5 Sonnet** (Anthropic, 2024) — model se zdokonalenými schopnostmi analýzy vizuálních informací. ## Architektonické přístupy ### Dvou-enkodérová architektura (Dual-Encoder) Využívá samostatné enkodéry pro každou modalitu, které projektují data do společného prostoru reprezentací. Typickým představitelem je **CLIP**, kde vizuální transformer zpracovává obrázky a textový transformer zpracovává jazyková data. Výhodami jsou modularita a výpočetní efektivita, nevýhodou je omezená kross-modální interakce[\[7\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-viso_ai_mllm-7). ### Architektura enkodér-dekodér Jednotný enkodér zpracovává multimodální vstup a dekodér generuje textový výstup. Model **Flamingo** využívá mechanismus *Perceiver Resampler* pro zpracování vizuálních vstupů proměnné délky a kross-modální vrstvy pozornosti. Tento přístup zajišťuje bohatou mezimodální interakci, ale vyžaduje větší výpočetní zdroje[\[8\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-determined_ai_arch-8). ### Architektura zarovnání (Alignment) Tento přístup využívá zmrazené předtrénované enkodéry propojené prostřednictvím malého trénovatelného modulu zarovnání. Například **BLIP-2** využívá **Q-Former** (*Querying Transformer*) jako lehký spojovací prvek mezi zmrazeným vizuálním enkodérem a jazykovým modelem, přičemž vyžaduje výrazně méně trénovatelných parametrů[\[9\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-clarifai_blip2-9). ## Hlavní modely ### GPT-4V / GPT-4o (OpenAI) Rodina modelů GPT-4 má dle odhadů až **1,8 bilionu** parametrů (v architektuře směsi expertů). Model **GPT-4o**, vydaný v květnu 2024, podporuje zpracování textu, obrázků, zvuku a videa v reálném čase. Na benchmarku **MMMU** dosahuje přesnosti **69,1 %**[\[10\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-encord_mmmu_perf-10). ### Gemini (Google) Nativně multimodální architektura trénovaná od základu na textu, obrázcích, zvuku a videu. **Gemini 1.5 Pro** podporuje kontextové okno až **10 milionů tokenů** a překonává GPT-4 na 30 z 32 oblíbených benchmarků[\[11\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-daveai_gemini-11). ### Claude 3 (Anthropic) Rodina modelů (Haiku, Sonnet, Opus) s kontextovým oknem až 200 000 tokenů. **Claude 3 Opus** dosahuje **58,5 %** na benchmarku MMMU. Pro zvýšení bezpečnosti modelů je využíván přístup Constitutional AI[\[12\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-anthropic_claude3-12). ### LLaVA (otevřený model) Kombinuje vizuální enkodér CLIP s jazykovým modelem Vicuna. Jsou dostupné varianty se 7, 13 a 34 miliardami parametrů. Model dosahuje 85,1 % relativního výkonu GPT-4 na syntetických úlohách[\[13\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-llava_paper-13). ## Oblasti použití - **Vizuální otázky a odpovědi (VQA)**: Umožňují uživatelům klást otázky týkající se vizuálního obsahu. - **Analýza dokumentů**: Moderní MLLM jsou schopny zpracovávat až 2 000 stránek za minutu. - **Lékařské zobrazování**: Modely jako **Med-PaLM M** (Google) analyzují lékařské snímky a klinická data. - **Robotika**: Modely jako **RT-2** (Google DeepMind) umožňují robotům rozumět vizuálnímu prostředí a plnit příkazy v přirozeném jazyce. ## Současná omezení - **Halucinace**: Míra halucinací v generovaném obsahu je odhadována na 27–46 %. Modely mohou popisovat neexistující objekty nebo nesprávně interpretovat vizuální informace[\[14\]](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_note-arxiv_hallucinations-14). - **Vysoké výpočetní nároky**: Trénování a používání MLLM vyžaduje značnou výpočetní infrastrukturu. - **Zaujatost dat**: Nedostatečné zastoupení demografických skupin, jazyků a kultur v trénovacích datech vede k systematickým chybám. ## Odkazy - A Comprehensive Guide to Multimodal LLMs (Encord Blog) - Multimodal LLMs: The Complete Guide (Viso.ai) ## Literatura - Radford, A. et al. (2021). *Learning Transferable Visual Models From Natural Language Supervision*. arXiv:2103.00020. - Alayrac, J.-B. et al. (2022). *Flamingo: a Visual Language Model for Few-Shot Learning*. arXiv:2204.14198. - Li, J. et al. (2022). *BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation*. arXiv:2201.12086. - Li, J. et al. (2023). *BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models*. arXiv:2301.12597. - Liu, H. et al. (2023). *Visual Instruction Tuning*. arXiv:2304.08485. - Driess, K. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378. - Brohan, A. et al. (2023). *RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control*. arXiv:2307.15818. - Yue, X. et al. (2023). *MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI*. arXiv:2311.16502. - Tsimpoukelli, M. et al. (2021). *Multimodal Few-Shot Learning with Frozen Language Models*. arXiv:2106.13884. - Singhal, K. et al. (2023). *Med-PaLM 2: Towards Expert-Level Medical Question Answering with Large Language Models*. arXiv:2305.09617. - Yin, S. et al. (2023). *A Survey on Multimodal Large Language Models*. arXiv:2306.13549. ## Poznámky 1. ↑ [1.0](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-encord_intro_1-0) [1.1](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-encord_intro_1-1) «A Comprehensive Guide to Multimodal LLMs». *Encord Blog*. [1] 2. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-acm_survey_2-0) «A Survey on Multimodal Large Language Models». *ACM Computing Surveys*. [2] 3. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-radford2021_3-0) Radford, A., et al. «Learning Transferable Visual Models From Natural Language Supervision». *arXiv:2103.00020*. [3] 4. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-deoldify2013_4-0) DeOldify, J. «Zero-Shot Learning by Predicting Attributes». *arXiv:1312.5650*. [4] 5. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-openai_fair_2016_5-0) «Learning from captions: A milestone in visual language understanding». *OpenAI Blog*. [5] 6. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-stanford_cs_clip_6-0) «Understanding CLIP». *Stanford CS231n*. [6] 7. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-viso_ai_mllm_7-0) «Multimodal LLMs: The Complete Guide». *Viso.ai*. [7] 8. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-determined_ai_arch_8-0) «The Architectures of Multimodal Language Models». *Determined AI*. [8] 9. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-clarifai_blip2_9-0) «Understanding BLIP-2: The New Vision-Language Model». *Clarifai Blog*. [9] 10. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-encord_mmmu_perf_10-0) «MMMU: A New Benchmark for Multimodal LLMs». *Encord Blog*. [10] 11. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-daveai_gemini_11-0) «Google Gemini: A Deep Dive». *DaveAI Blog*. [11] 12. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-anthropic_claude3_12-0) «Introducing the Claude 3 Family». *Anthropic*. [12] 13. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-llava_paper_13-0) Liu, H., et al. «Visual Instruction Tuning». *arXiv:2304.08485*. [13] 14. [↑](https://systems-analysis.info/int/Multimodal_large_language_models_(CS)#cite_ref-arxiv_hallucinations_14-0) «Hallucinations in Multimodal Large Language Models». *arXiv:2308.08726*. [14]