Multimodal large language models (CS)

From Systems analysis Wiki
Jump to navigation Jump to search

Multimodální velké jazykové modely (angl. Multimodal Large Language Models, MLLMs) — jsou třídou modelů umělé inteligence schopných zpracovávat a generovat informace v různých modalitách, včetně textu, obrazu, zvuku a videa[1]. Na rozdíl od unimodálních jazykových modelů pracujících výhradně s textem integrují MLLM informace z různých zdrojů za účelem řešení komplexních úloh porozumění a generování obsahu.

Základní koncept MLLM spočívá ve vytvoření jednotného vektorového reprezentace (embedding) pro různé modality. To umožňuje modelu navazovat sémantické vazby například mezi obrazem a jeho textovým popisem[2]. Klíčovým průlomem, který položil základy moderních MLLM, bylo využití kontrastivního učení pro zarovnání vizuálních a textových reprezentací ve společném prostoru příznaků, jak bylo realizováno v modelu CLIP[3].

Historie vývoje

Rané období (2013–2020)

Konceptuální základy multimodální umělé inteligence byly položeny v roce 2013, kdy výzkumníci ze Stanfordu demonstrovali možnost učení s nulovou ukázkou (zero-shot learning) pomocí vektorových reprezentací slov[4]. V roce 2016 tým FAIR (Meta AI) prokázal účinnost využití přirozenojazykových popisů pro trénování modelů počítačového vidění, přičemž dosáhl přesnosti 11,5 % na datasetu ImageNet bez přímého trénování[5].

Éra CLIP (2021)

Revoluční okamžik nastal vydáním modelu CLIP (Contrastive Language-Image Pre-training) společností OpenAI v lednu 2021. Model, trénovaný na 400 milionech párů obraz–text, prokázal schopnost klasifikovat obrázky bez specializovaného trénování na konkrétních úlohách. CLIP se stal základem pro mnoho následných MLLM[6].

Škálování a inovace (2022–2024)

Po úspěchu CLIP se objevila řada klíčových modelů:

  • Flamingo (DeepMind, 2022) — model s 80 miliardami parametrů, který prokázal vynikající schopnosti učení s malým počtem příkladů.
  • BLIP (Salesforce, 2022) — unifikovaná architektura pro porozumění a generování.
  • GPT-4V (OpenAI, 2023) — první komerční multimodální model takového rozsahu.
  • LLaVA (Microsoft, 2023) — populární otevřená alternativa k GPT-4V.
  • Gemini (Google, 2023) — nativně multimodální architektura, původně navržená pro práci s různými typy dat.
  • GPT-4o (OpenAI, 2024) — model schopný zpracovávat text, zvuk a video v reálném čase s nízkou latencí[1].
  • Claude 3.5 Sonnet (Anthropic, 2024) — model se zdokonalenými schopnostmi analýzy vizuálních informací.

Architektonické přístupy

Dvou-enkodérová architektura (Dual-Encoder)

Využívá samostatné enkodéry pro každou modalitu, které projektují data do společného prostoru reprezentací. Typickým představitelem je CLIP, kde vizuální transformer zpracovává obrázky a textový transformer zpracovává jazyková data. Výhodami jsou modularita a výpočetní efektivita, nevýhodou je omezená kross-modální interakce[7].

Architektura enkodér-dekodér

Jednotný enkodér zpracovává multimodální vstup a dekodér generuje textový výstup. Model Flamingo využívá mechanismus Perceiver Resampler pro zpracování vizuálních vstupů proměnné délky a kross-modální vrstvy pozornosti. Tento přístup zajišťuje bohatou mezimodální interakci, ale vyžaduje větší výpočetní zdroje[8].

Architektura zarovnání (Alignment)

Tento přístup využívá zmrazené předtrénované enkodéry propojené prostřednictvím malého trénovatelného modulu zarovnání. Například BLIP-2 využívá Q-Former (Querying Transformer) jako lehký spojovací prvek mezi zmrazeným vizuálním enkodérem a jazykovým modelem, přičemž vyžaduje výrazně méně trénovatelných parametrů[9].

Hlavní modely

GPT-4V / GPT-4o (OpenAI)

Rodina modelů GPT-4 má dle odhadů až 1,8 bilionu parametrů (v architektuře směsi expertů). Model GPT-4o, vydaný v květnu 2024, podporuje zpracování textu, obrázků, zvuku a videa v reálném čase. Na benchmarku MMMU dosahuje přesnosti 69,1 %[10].

Gemini (Google)

Nativně multimodální architektura trénovaná od základu na textu, obrázcích, zvuku a videu. Gemini 1.5 Pro podporuje kontextové okno až 10 milionů tokenů a překonává GPT-4 na 30 z 32 oblíbených benchmarků[11].

Claude 3 (Anthropic)

Rodina modelů (Haiku, Sonnet, Opus) s kontextovým oknem až 200 000 tokenů. Claude 3 Opus dosahuje 58,5 % na benchmarku MMMU. Pro zvýšení bezpečnosti modelů je využíván přístup Constitutional AI[12].

LLaVA (otevřený model)

Kombinuje vizuální enkodér CLIP s jazykovým modelem Vicuna. Jsou dostupné varianty se 7, 13 a 34 miliardami parametrů. Model dosahuje 85,1 % relativního výkonu GPT-4 na syntetických úlohách[13].

Oblasti použití

  • Vizuální otázky a odpovědi (VQA): Umožňují uživatelům klást otázky týkající se vizuálního obsahu.
  • Analýza dokumentů: Moderní MLLM jsou schopny zpracovávat až 2 000 stránek za minutu.
  • Lékařské zobrazování: Modely jako Med-PaLM M (Google) analyzují lékařské snímky a klinická data.
  • Robotika: Modely jako RT-2 (Google DeepMind) umožňují robotům rozumět vizuálnímu prostředí a plnit příkazy v přirozeném jazyce.

Současná omezení

  • Halucinace: Míra halucinací v generovaném obsahu je odhadována na 27–46 %. Modely mohou popisovat neexistující objekty nebo nesprávně interpretovat vizuální informace[14].
  • Vysoké výpočetní nároky: Trénování a používání MLLM vyžaduje značnou výpočetní infrastrukturu.
  • Zaujatost dat: Nedostatečné zastoupení demografických skupin, jazyků a kultur v trénovacích datech vede k systematickým chybám.

Odkazy

  • A Comprehensive Guide to Multimodal LLMs (Encord Blog)
  • Multimodal LLMs: The Complete Guide (Viso.ai)

Literatura

  • Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. arXiv:2103.00020.
  • Alayrac, J.-B. et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
  • Li, J. et al. (2022). BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation. arXiv:2201.12086.
  • Li, J. et al. (2023). BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. arXiv:2301.12597.
  • Liu, H. et al. (2023). Visual Instruction Tuning. arXiv:2304.08485.
  • Driess, K. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
  • Brohan, A. et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. arXiv:2307.15818.
  • Yue, X. et al. (2023). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. arXiv:2311.16502.
  • Tsimpoukelli, M. et al. (2021). Multimodal Few-Shot Learning with Frozen Language Models. arXiv:2106.13884.
  • Singhal, K. et al. (2023). Med-PaLM 2: Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
  • Yin, S. et al. (2023). A Survey on Multimodal Large Language Models. arXiv:2306.13549.

Poznámky

  1. ↑ 1.0 1.1 «A Comprehensive Guide to Multimodal LLMs». Encord Blog. [1]
  2. ↑ «A Survey on Multimodal Large Language Models». ACM Computing Surveys. [2]
  3. ↑ Radford, A., et al. «Learning Transferable Visual Models From Natural Language Supervision». arXiv:2103.00020. [3]
  4. ↑ DeOldify, J. «Zero-Shot Learning by Predicting Attributes». arXiv:1312.5650. [4]
  5. ↑ «Learning from captions: A milestone in visual language understanding». OpenAI Blog. [5]
  6. ↑ «Understanding CLIP». Stanford CS231n. [6]
  7. ↑ «Multimodal LLMs: The Complete Guide». Viso.ai. [7]
  8. ↑ «The Architectures of Multimodal Language Models». Determined AI. [8]
  9. ↑ «Understanding BLIP-2: The New Vision-Language Model». Clarifai Blog. [9]
  10. ↑ «MMMU: A New Benchmark for Multimodal LLMs». Encord Blog. [10]
  11. ↑ «Google Gemini: A Deep Dive». DaveAI Blog. [11]
  12. ↑ «Introducing the Claude 3 Family». Anthropic. [12]
  13. ↑ Liu, H., et al. «Visual Instruction Tuning». arXiv:2304.08485. [13]
  14. ↑ «Hallucinations in Multimodal Large Language Models». arXiv:2308.08726. [14]
Retrieved from "https://systems-analysis.info/int/index.php?title=Multimodal_large_language_models_(CS)&oldid=4748"