Multimodal large language models (PL)

From Systems analysis Wiki
Jump to navigation Jump to search

Multimodalne duże modele językowe (ang. Multimodal Large Language Models, MLLMs) — to klasa modeli sztucznej inteligencji zdolnych do przetwarzania i generowania informacji w różnych modalnościach, w tym tekstu, obrazów, dźwięku i wideo[1]. W odróżnieniu od unimodalnych modeli językowych operujących wyłącznie na tekście, MLLM integrują informacje z różnych źródeł w celu rozwiązywania złożonych zadań rozumienia i generowania treści.

Podstawowa koncepcja MLLM polega na tworzeniu jednolitej reprezentacji wektorowej (embedding) dla różnych modalności. Pozwala to modelowi ustalać powiązania semantyczne między, na przykład, obrazem a jego opisem tekstowym[2]. Kluczowym przełomem, który położył podwaliny pod współczesne MLLM, było zastosowanie uczenia kontrastywnego do wyrównywania reprezentacji wizualnych i tekstowych we wspólnej przestrzeni cech, co zostało zrealizowane w modelu CLIP[3].

Historia rozwoju

Wczesny okres (2013–2020)

Koncepcyjne podstawy multimodalnego AI zostały zaложone w 2013 roku, gdy badacze ze Stanforda zademonstrali możliwość uczenia z zerową próbką (zero-shot learning) z wykorzystaniem wektorowych reprezentacji słów[4]. W 2016 roku zespół FAIR (Meta AI) wykazał skuteczność wykorzystania opisów w języku naturalnym do uczenia modeli widzenia komputerowego, osiągając 11,5% dokładności na ImageNet bez bezpośredniego uczenia[5].

Era CLIP (2021)

Przełomowym momentem było wydanie modelu CLIP (Contrastive Language-Image Pre-training) przez OpenAI w styczniu 2021 roku. Model, wytrenowany na 400 milionach par obraz–tekst, zademonstrował zdolność do klasyfikowania obrazów bez specjalistycznego uczenia na konkretnych zadaniach. CLIP stał się podstawą dla wielu kolejnych MLLM[6].

Skalowanie i innowacje (2022–2024)

Po sukcesie CLIP pojawiło się wiele kluczowych modeli:

  • Flamingo (DeepMind, 2022) — model 80-miliardowy, wykazujący wybitne zdolności do uczenia przy małej liczbie przykładów.
  • BLIP (Salesforce, 2022) — ujednolicona architektura do rozumienia i generowania.
  • GPT-4V (OpenAI, 2023) — pierwszy komercyjny multimodalny model tej skali.
  • LLaVA (Microsoft, 2023) — popularna otwarta alternatywa dla GPT-4V.
  • Gemini (Google, 2023) — natywnie multimodalna architektura, pierwotnie zaprojektowana do pracy z różnymi typami danych.
  • GPT-4o (OpenAI, 2024) — model zdolny do przetwarzania tekstu, dźwięku i wideo w czasie rzeczywistym z niskim opóźnieniem[1].
  • Claude 3.5 Sonnet (Anthropic, 2024) — model z ulepszonymi możliwościami analizy informacji wizualnej.

Podejścia architektoniczne

Architektura dwuenkoderowa (Dual-Encoder)

Wykorzystuje oddzielne enkodery dla każdej modalności, które rzutują dane na wspólną przestrzeń reprezentacji. Wybitnym przykładem jest CLIP, gdzie wizualny transformer przetwarza obrazy, a tekstowy — dane językowe. Zaletami są modularność i wydajność obliczeniowa, wadą — ograniczona interakcja krzyżowo-modalna[7].

Architektura enkoder-dekoder

Jednolity enkoder przetwarza wejście multimodalne, a dekoder generuje wyjście tekstowe. Model Flamingo wykorzystuje mechanizm Perceiver Resampler do przetwarzania wizualnych wejść o zmiennej długości oraz krzyżowo-modalne warstwy uwagi. Podejście to zapewnia bogate interakcje między modalnościami, lecz wymaga większych zasobów obliczeniowych[8].

Architektura wyrównywania (Alignment)

Podejście to wykorzystuje zamrożone wstępnie wytrenowane enkodery połączone przez niewielki, uczący się moduł wyrównujący. Na przykład BLIP-2 używa Q-Former (Querying Transformer) jako lekkiego elementu łączącego zamrożony enkoder wizualny z modelem językowym, wymagając znacznie mniejszej liczby uczących się parametrów[9].

Główne modele

GPT-4V / GPT-4o (OpenAI)

Rodzina modeli GPT-4 liczy według szacunków do 1,8 biliona parametrów (w architekturze mieszaniny ekspertów). Model GPT-4o, wydany w maju 2024, obsługuje przetwarzanie tekstu, obrazów, dźwięku i wideo w czasie rzeczywistym. Na benchmarku MMMU osiąga 69,1% dokładności[10].

Gemini (Google)

Natywnie multimodalna architektura, wytrenowana od podstaw na tekście, obrazach, dźwięku i wideo. Gemini 1.5 Pro obsługuje okno kontekstowe do 10 milionów tokenów i przewyższa GPT-4 w 30 spośród 32 popularnych benchmarków[11].

Claude 3 (Anthropic)

Rodzina modeli (Haiku, Sonnet, Opus) z oknem kontekstowym do 200 000 tokenów. Claude 3 Opus osiąga 58,5% na benchmarku MMMU. W celu zwiększenia bezpieczeństwa modeli stosowane jest podejście Constitutional AI[12].

LLaVA (model otwarty)

Łączy wizualny enkoder CLIP z modelem językowym Vicuna. Dostępne są warianty z 7, 13 i 34 miliardami parametrów. Model osiąga 85,1% względnej wydajności GPT-4 na zadaniach syntetycznych[13].

Obszary zastosowań

  • Wizualne pytania i odpowiedzi (VQA): Umożliwiają użytkownikom zadawanie pytań dotyczących treści wizualnych.
  • Analiza dokumentów: Współczesne MLLM są zdolne do przetwarzania do 2000 stron na minutę.
  • Obrazowanie medyczne: Modele takie jak Med-PaLM M (Google) analizują obrazy medyczne i dane kliniczne.
  • Robotyka: Modele takie jak RT-2 (Google DeepMind) pozwalają robotom rozumieć środowisko wizualne i wykonywać polecenia w języku naturalnym.

Aktualne ograniczenia

  • Halucynacje: Poziom halucynacji w generowanych treściach szacowany jest na 27–46%. Modele mogą opisywać nieistniejące obiekty lub błędnie interpretować informacje wizualne[14].
  • Wysokie wymagania obliczeniowe: Uczenie i wykorzystanie MLLM wymaga znacznej infrastruktury obliczeniowej.
  • Stronniczość danych: Niedostateczna reprezentacja grup demograficznych, języków i kultur w danych treningowych prowadzi do systematycznych błędów.

Odnośniki

  • A Comprehensive Guide to Multimodal LLMs (Encord Blog)
  • Multimodal LLMs: The Complete Guide (Viso.ai)

Literatura

  • Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. arXiv:2103.00020.
  • Alayrac, J.-B. et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
  • Li, J. et al. (2022). BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation. arXiv:2201.12086.
  • Li, J. et al. (2023). BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. arXiv:2301.12597.
  • Liu, H. et al. (2023). Visual Instruction Tuning. arXiv:2304.08485.
  • Driess, K. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
  • Brohan, A. et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. arXiv:2307.15818.
  • Yue, X. et al. (2023). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. arXiv:2311.16502.
  • Tsimpoukelli, M. et al. (2021). Multimodal Few-Shot Learning with Frozen Language Models. arXiv:2106.13884.
  • Singhal, K. et al. (2023). Med-PaLM 2: Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
  • Yin, S. et al. (2023). A Survey on Multimodal Large Language Models. arXiv:2306.13549.

Przypisy

  1. ↑ 1.0 1.1 «A Comprehensive Guide to Multimodal LLMs». Encord Blog. [1]
  2. ↑ «A Survey on Multimodal Large Language Models». ACM Computing Surveys. [2]
  3. ↑ Radford, A., et al. «Learning Transferable Visual Models From Natural Language Supervision». arXiv:2103.00020. [3]
  4. ↑ DeOldify, J. «Zero-Shot Learning by Predicting Attributes». arXiv:1312.5650. [4]
  5. ↑ «Learning from captions: A milestone in visual language understanding». OpenAI Blog. [5]
  6. ↑ «Understanding CLIP». Stanford CS231n. [6]
  7. ↑ «Multimodal LLMs: The Complete Guide». Viso.ai. [7]
  8. ↑ «The Architectures of Multimodal Language Models». Determined AI. [8]
  9. ↑ «Understanding BLIP-2: The New Vision-Language Model». Clarifai Blog. [9]
  10. ↑ «MMMU: A New Benchmark for Multimodal LLMs». Encord Blog. [10]
  11. ↑ «Google Gemini: A Deep Dive». DaveAI Blog. [11]
  12. ↑ «Introducing the Claude 3 Family». Anthropic. [12]
  13. ↑ Liu, H., et al. «Visual Instruction Tuning». arXiv:2304.08485. [13]
  14. ↑ «Hallucinations in Multimodal Large Language Models». arXiv:2308.08726. [14]
Retrieved from "https://systems-analysis.info/int/index.php?title=Multimodal_large_language_models_(PL)&oldid=4752"