Multimodal large language models (SV)

From Systems analysis Wiki
Jump to navigation Jump to search

Multimodala stora språkmodeller (eng. Multimodal Large Language Models, MLLMs) — är en klass av modeller för artificiell intelligens som kan bearbeta och generera information i olika modaliteter, inklusive text, bilder, ljud och video[1]. Till skillnad från unimodala språkmodeller som uteslutande arbetar med text, integrerar MLLM information från olika källor för att lösa komplexa uppgifter inom innehållsförståelse och innehållsgenerering.

Grundkonceptet för MLLM är att skapa en enhetlig vektorrepresentation (embedding) för olika modaliteter. Detta gör det möjligt för modellen att etablera semantiska kopplingar mellan exempelvis en bild och dess textbeskrivning[2]. Det avgörande genombrott som lade grunden för moderna MLLM var användningen av kontrastivt lärande för att anpassa visuella och textuella representationer i ett gemensamt featureutrymme, som det implementerades i modellen CLIP[3].

Utvecklingshistoria

Tidig period (2013–2020)

De konceptuella grunderna för multimodal AI lades 2013, när forskare från Stanford demonstrerade möjligheten till zero-shot learning med hjälp av vektorrepresentationer av ord[4]. År 2016 visade teamet FAIR (Meta AI) hur effektivt det var att använda naturliga språkbeskrivningar för att träna modeller för datorseende, och uppnådde 11,5% noggrannhet på ImageNet utan direkt träning[5].

CLIP-eran (2021)

Ett revolutionerande ögonblick var lanseringen av modellen CLIP (Contrastive Language-Image Pre-training) av OpenAI i januari 2021. Modellen, tränad på 400 miljoner bild-textpar, visade förmågan att klassificera bilder utan specialiserad träning på specifika uppgifter. CLIP blev grunden för många efterföljande MLLM[6].

Skalning och innovation (2022–2024)

Efter CLIP:s framgång uppstod ett flertal viktiga modeller:

  • Flamingo (DeepMind, 2022) — en modell med 80 miljarder parametrar som visade enastående förmåga till few-shot learning.
  • BLIP (Salesforce, 2022) — en enhetlig arkitektur för förståelse och generering.
  • GPT-4V (OpenAI, 2023) — den första kommersiella multimodala modellen i denna skala.
  • LLaVA (Microsoft, 2023) — ett populärt öppet alternativ till GPT-4V.
  • Gemini (Google, 2023) — en nativt multimodal arkitektur, ursprungligen utformad för att arbeta med olika datatyper.
  • GPT-4o (OpenAI, 2024) — en modell som kan bearbeta text, ljud och video i realtid med låg latens[1].
  • Claude 3.5 Sonnet (Anthropic, 2024) — en modell med förbättrade förmågor för analys av visuell information.

Arkitektoniska tillvägagångssätt

Dual-Encoder-arkitektur

Använder separata encoders för varje modalitet, som projicerar data till ett gemensamt representationsutrymme. Ett tydligt exempel är CLIP, där en visuell transformer bearbetar bilder och en textuell transformer bearbetar språkdata. Fördelarna är modularitet och beräkningseffektivitet, nackdelen är begränsad korsmodal interaktion[7].

Encoder-decoder-arkitektur

En gemensam encoder bearbetar multimodal indata, medan en decoder genererar textuell utdata. Modellen Flamingo använder mekanismen Perceiver Resampler för att bearbeta visuella indata med variabel längd samt korsmodala attentionslager. Detta tillvägagångssätt ger rik intermodalinteraktion men kräver stora beräkningsresurser[8].

Alignment-arkitektur

Detta tillvägagångssätt använder frysta förtränade encoders som kopplas samman via en liten träningsbar alignment-modul. Till exempel använder BLIP-2 Q-Former (Querying Transformer) som ett lättviktigt bindande element mellan den frysta visuella encodern och språkmodellen, vilket kräver betydligt färre träningsbara parametrar[9].

Huvudsakliga modeller

GPT-4V / GPT-4o (OpenAI)

GPT-4-modellfamiljen beräknas ha upp till 1,8 biljoner parametrar (i en mixture-of-experts-arkitektur). Modellen GPT-4o, lanserad i maj 2024, stöder bearbetning av text, bilder, ljud och video i realtid. På benchmark MMMU uppnår den 69,1% noggrannhet[10].

Gemini (Google)

En nativt multimodal arkitektur, tränad från grunden på text, bilder, ljud och video. Gemini 1.5 Pro stöder ett kontextfönster på upp till 10 miljoner token och överträffar GPT-4 på 30 av 32 populära benchmark[11].

Claude 3 (Anthropic)

En modellfamilj (Haiku, Sonnet, Opus) med ett kontextfönster på upp till 200 000 token. Claude 3 Opus uppnår 58,5% på benchmark MMMU. För att öka säkerheten används tillvägagångssättet Constitutional AI[12].

LLaVA (öppen modell)

Kombinerar CLIP:s visuella encoder med språkmodellen Vicuna. Finns i varianter med 7, 13 och 34 miljarder parametrar. Modellen uppnår 85,1% av GPT-4:s relativa prestanda på syntetiska uppgifter[13].

Tillämpningsområden

  • Visuella frågor och svar (VQA): Gör det möjligt för användare att ställa frågor om visuellt innehåll.
  • Dokumentanalys: Moderna MLLM kan bearbeta upp till 2 000 sidor per minut.
  • Medicinsk bildanalys: Modeller som Med-PaLM M (Google) analyserar medicinska bilder och kliniska data.
  • Robotteknik: Modeller som RT-2 (Google DeepMind) gör det möjligt för robotar att förstå den visuella miljön och utföra kommandon på naturligt språk.

Aktuella begränsningar

  • Hallucinationer: Hallucinationsnivån i genererat innehåll uppskattas till 27–46%. Modeller kan beskriva icke-existerande objekt eller feltolka visuell information[14].
  • Höga beräkningskrav: Träning och användning av MLLM kräver betydande beräkningsinfrastruktur.
  • Dataskevhet: Otillräcklig representation av demografiska grupper, språk och kulturer i träningsdata leder till systematiska fel.

Externa länkar

  • A Comprehensive Guide to Multimodal LLMs (Encord Blog)
  • Multimodal LLMs: The Complete Guide (Viso.ai)

Litteratur

  • Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. arXiv:2103.00020.
  • Alayrac, J.-B. et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
  • Li, J. et al. (2022). BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation. arXiv:2201.12086.
  • Li, J. et al. (2023). BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. arXiv:2301.12597.
  • Liu, H. et al. (2023). Visual Instruction Tuning. arXiv:2304.08485.
  • Driess, K. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
  • Brohan, A. et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. arXiv:2307.15818.
  • Yue, X. et al. (2023). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. arXiv:2311.16502.
  • Tsimpoukelli, M. et al. (2021). Multimodal Few-Shot Learning with Frozen Language Models. arXiv:2106.13884.
  • Singhal, K. et al. (2023). Med-PaLM 2: Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
  • Yin, S. et al. (2023). A Survey on Multimodal Large Language Models. arXiv:2306.13549.

Noter

  1. ↑ 1.0 1.1 «A Comprehensive Guide to Multimodal LLMs». Encord Blog. [1]
  2. ↑ «A Survey on Multimodal Large Language Models». ACM Computing Surveys. [2]
  3. ↑ Radford, A., et al. «Learning Transferable Visual Models From Natural Language Supervision». arXiv:2103.00020. [3]
  4. ↑ DeOldify, J. «Zero-Shot Learning by Predicting Attributes». arXiv:1312.5650. [4]
  5. ↑ «Learning from captions: A milestone in visual language understanding». OpenAI Blog. [5]
  6. ↑ «Understanding CLIP». Stanford CS231n. [6]
  7. ↑ «Multimodal LLMs: The Complete Guide». Viso.ai. [7]
  8. ↑ «The Architectures of Multimodal Language Models». Determined AI. [8]
  9. ↑ «Understanding BLIP-2: The New Vision-Language Model». Clarifai Blog. [9]
  10. ↑ «MMMU: A New Benchmark for Multimodal LLMs». Encord Blog. [10]
  11. ↑ «Google Gemini: A Deep Dive». DaveAI Blog. [11]
  12. ↑ «Introducing the Claude 3 Family». Anthropic. [12]
  13. ↑ Liu, H., et al. «Visual Instruction Tuning». arXiv:2304.08485. [13]
  14. ↑ «Hallucinations in Multimodal Large Language Models». arXiv:2308.08726. [14]
Retrieved from "https://systems-analysis.info/int/index.php?title=Multimodal_large_language_models_(SV)&oldid=4754"