Multimodal large language models (HU)

From Systems analysis Wiki
Jump to navigation Jump to search

Multimodális nagy nyelvi modellek (angol Multimodal Large Language Models, MLLMs) — a mesterséges intelligencia modellek olyan osztálya, amelyek képesek különböző modalitásokban információt feldolgozni és generálni, beleértve a szöveget, képeket, hangot és videót[1]. Az egymodalitású, kizárólag szöveggel dolgozó nyelvi modellekkel ellentétben az MLLM-ek különböző forrásokból integrálnak információt összetett megértési és tartalomgenerálási feladatok megoldásához.

Az MLLM-ek alapkoncepciója a különböző modalitások egységes vektoros reprezentációjának (embedding) létrehozása. Ez lehetővé teszi a modell számára, hogy szemantikai kapcsolatokat állapítson meg például egy kép és annak szöveges leírása között[2]. A modern MLLM-ek alapját megteremtő áttörést a kontasztív tanulás alkalmazása jelentette, amellyel a vizuális és szöveges reprezentációkat egy közös jellemzőtérbe igazítják össze, ahogyan azt a CLIP modellben megvalósították[3].

Fejlődéstörténet

Korai időszak (2013–2020)

A multimodális mesterséges intelligencia fogalmi alapjait 2013-ban fektették le, amikor a Stanford kutatói bemutatták a zero-shot learning lehetőségét szóvektoros reprezentációk segítségével[4]. 2016-ban a FAIR (Meta AI) csapata megmutatta, hogy a természetes nyelvű leírások hatékonyan alkalmazhatók számítógépes látási modellek betanítására, és közvetlen betanítás nélkül 11,5%-os pontosságot értek el az ImageNet adathalmazon[5].

A CLIP korszaka (2021)

Forradalmi mérföldkövet jelentett a CLIP (Contrastive Language-Image Pre-training) modell kiadása az OpenAI által 2021 januárjában. A 400 millió kép-szöveg páron betanított modell képes volt képeket osztályozni anélkül, hogy konkrét feladatokra specializáltan tanították volna. A CLIP számos későbbi MLLM alapjává vált[6].

Méretezés és innováció (2022–2024)

A CLIP sikere után számos kulcsfontosságú modell jelent meg:

  • Flamingo (DeepMind, 2022) — 80 milliárd paraméteres modell, amely kiemelkedő few-shot tanulási képességeket mutatott.
  • BLIP (Salesforce, 2022) — egységesített architektúra megértéshez és generáláshoz.
  • GPT-4V (OpenAI, 2023) — az első ilyen léptékű kereskedelmi multimodális modell.
  • LLaVA (Microsoft, 2023) — a GPT-4V népszerű nyílt forráskódú alternatívája.
  • Gemini (Google, 2023) — natívan multimodális architektúra, amelyet eleve különböző adattípusok kezelésére terveztek.
  • GPT-4o (OpenAI, 2024) — modell, amely valós időben, alacsony késleltetéssel képes szöveget, hangot és videót feldolgozni[1].
  • Claude 3.5 Sonnet (Anthropic, 2024) — modell fejlettebb vizuális információelemzési képességekkel.

Architekturális megközelítések

Kétenkóderes architektúra (Dual-Encoder)

Az egyes modalitásokhoz külön enkódereket alkalmaz, amelyek az adatokat egy közös reprezentációs térbe vetítik. Jellegzetes képviselője a CLIP, amelyben egy vizuális transformer dolgozza fel a képeket, egy szöveges transformer pedig a nyelvi adatokat. Előnyei a modularitás és a számítási hatékonyság, hátránya a korlátozott kereszt-modális interakció[7].

Enkóder-dekóder architektúra

Egységes enkóder dolgozza fel a multimodális bemenetet, a dekóder pedig szöveges kimenetet generál. A Flamingo modell Perceiver Resampler mechanizmust alkalmaz a változó hosszúságú vizuális bemenetek feldolgozásához, valamint kereszt-modális attention rétegeket. Ez a megközelítés gazdag modalitások közötti interakciót biztosít, ám nagyobb számítási erőforrást igényel[8].

Igazítási architektúra (Alignment)

Ez a megközelítés lefagyasztott, előre betanított enkódereket alkalmaz, amelyeket egy kis méretű, betanítható igazítási modulon keresztül kapcsol össze. Például a BLIP-2 a Q-Former-t (Querying Transformer) használja könnyűsúlyú összekötő elemként a lefagyasztott vizuális enkóder és a nyelvi modell között, lényegesen kevesebb betanítható paramétert igényelve[9].

Főbb modellek

GPT-4V / GPT-4o (OpenAI)

A GPT-4 modellek családja becslések szerint akár 1,8 billió paramétert tartalmaz (szakértők keveréke architektúrában). A 2024 májusában kiadott GPT-4o modell valós időben támogatja szöveg, kép, hang és videó feldolgozását. A MMMU benchmarkon 69,1%-os pontosságot ér el[10].

Gemini (Google)

Natívan multimodális architektúra, amelyet szöveggel, képekkel, hanggal és videóval elölről kezdve tanítottak be. A Gemini 1.5 Pro akár 10 millió token méretű kontextusablakot támogat, és a GPT-4-et 32 népszerű benchmark közül 30-on felülmúlja[11].

Claude 3 (Anthropic)

Modellek családja (Haiku, Sonnet, Opus) akár 200 000 tokenes kontextusablakkal. A Claude 3 Opus az MMMU benchmarkon 58,5%-ot ér el. A modellek biztonságának növelésére a Constitutional AI megközelítést alkalmazzák[12].

LLaVA (nyílt modell)

A CLIP vizuális enkódert kombinálja a Vicuna nyelvi modellel. 7, 13 és 34 milliárd paraméteres változatokban érhető el. A modell szintetikus feladatokon a GPT-4 relatív teljesítményének 85,1%-át éri el[13].

Alkalmazási területek

  • Vizuális kérdés-válasz (VQA): Lehetővé teszi a felhasználók számára, hogy vizuális tartalommal kapcsolatos kérdéseket tegyenek fel.
  • Dokumentumelemzés: A modern MLLM-ek percenként akár 2000 oldalt is képesek feldolgozni.
  • Orvosi képalkotás: Az olyan modellek, mint a Med-PaLM M (Google), orvosi képeket és klinikai adatokat elemeznek.
  • Robotika: Az olyan modellek, mint az RT-2 (Google DeepMind), lehetővé teszik a robotok számára a vizuális környezet megértését és természetes nyelvi parancsok végrehajtását.

Jelenlegi korlátok

  • Hallucinációk: A generált tartalomban előforduló hallucinációk aránya 27–46%-ra becsülhető. A modellek nem létező objektumokat írhatnak le, vagy helytelenül értelmezhetik a vizuális információt[14].
  • Magas számítási igények: Az MLLM-ek betanítása és használata jelentős számítási infrastruktúrát igényel.
  • Adatelőítéletek: A betanítási adatokban alulreprezentált demográfiai csoportok, nyelvek és kultúrák szisztematikus hibákhoz vezetnek.

Hivatkozások

  • A Comprehensive Guide to Multimodal LLMs (Encord Blog)
  • Multimodal LLMs: The Complete Guide (Viso.ai)

Irodalom

  • Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. arXiv:2103.00020.
  • Alayrac, J.-B. et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
  • Li, J. et al. (2022). BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation. arXiv:2201.12086.
  • Li, J. et al. (2023). BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. arXiv:2301.12597.
  • Liu, H. et al. (2023). Visual Instruction Tuning. arXiv:2304.08485.
  • Driess, K. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
  • Brohan, A. et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. arXiv:2307.15818.
  • Yue, X. et al. (2023). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. arXiv:2311.16502.
  • Tsimpoukelli, M. et al. (2021). Multimodal Few-Shot Learning with Frozen Language Models. arXiv:2106.13884.
  • Singhal, K. et al. (2023). Med-PaLM 2: Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
  • Yin, S. et al. (2023). A Survey on Multimodal Large Language Models. arXiv:2306.13549.

Jegyzetek

  1. ↑ 1.0 1.1 «A Comprehensive Guide to Multimodal LLMs». Encord Blog. [1]
  2. ↑ «A Survey on Multimodal Large Language Models». ACM Computing Surveys. [2]
  3. ↑ Radford, A., et al. «Learning Transferable Visual Models From Natural Language Supervision». arXiv:2103.00020. [3]
  4. ↑ DeOldify, J. «Zero-Shot Learning by Predicting Attributes». arXiv:1312.5650. [4]
  5. ↑ «Learning from captions: A milestone in visual language understanding». OpenAI Blog. [5]
  6. ↑ «Understanding CLIP». Stanford CS231n. [6]
  7. ↑ «Multimodal LLMs: The Complete Guide». Viso.ai. [7]
  8. ↑ «The Architectures of Multimodal Language Models». Determined AI. [8]
  9. ↑ «Understanding BLIP-2: The New Vision-Language Model». Clarifai Blog. [9]
  10. ↑ «MMMU: A New Benchmark for Multimodal LLMs». Encord Blog. [10]
  11. ↑ «Google Gemini: A Deep Dive». DaveAI Blog. [11]
  12. ↑ «Introducing the Claude 3 Family». Anthropic. [12]
  13. ↑ Liu, H., et al. «Visual Instruction Tuning». arXiv:2304.08485. [13]
  14. ↑ «Hallucinations in Multimodal Large Language Models». arXiv:2308.08726. [14]
Retrieved from "https://systems-analysis.info/int/index.php?title=Multimodal_large_language_models_(HU)&oldid=4749"