Мултимодални големи езикови модели

From Systems analysis Wiki
Jump to navigation Jump to search

Мултимодални големи езикови модели (англ. Multimodal Large Language Models, MLLMs) — това е клас модели на изкуствен интелект, способни да обработват и генерират информация в различни модалности, включително текст, изображения, аудио и видео[1]. За разлика от унимодалните езикови модели, работещи единствено с текст, MLLM интегрират информация от различни източници за решаване на комплексни задачи за разбиране и генериране на съдържание.

Основната концепция на MLLM се състои в създаването на единно векторно представяне (embedding) за различни модалности. Това позволява на модела да установява семантични връзки между, например, изображение и неговото текстово описание[2]. Ключов пробив, положил основата на съвременните MLLM, беше използването на контрастивно обучение за изравняване на визуалните и текстовите представяния в общо пространство от признаци, както беше реализирано в модела CLIP[3].

История на развитието

Ранен период (2013–2020)

Концептуалните основи на мултимодалния ИИ бяха положени през 2013 година, когато изследователи от Станфорд демонстрираха възможността за обучение с нулева извадка (zero-shot learning) с използване на векторни представяния на думи[4]. През 2016 година екипът FAIR (Meta AI) показа ефективността на използването на описания на естествен език за обучение на модели за компютърно зрение, постигайки 11,5% точност на ImageNet без пряко обучение[5].

Ерата на CLIP (2021)

Революционен момент стана пускането на модела CLIP (Contrastive Language-Image Pre-training) от компанията OpenAI през януари 2021 година. Моделът, обучен върху 400 милиона двойки изображение-текст, демонстрира способност да класифицира изображения без специализирано обучение за конкретни задачи. CLIP се превърна в основа за много от следващите MLLM[6].

Мащабиране и иновации (2022–2024)

След успеха на CLIP се появиха множество ключови модели:

  • Flamingo (DeepMind, 2022) — 80-милиарден модел, показал изключителни способности за обучение с малко примери.
  • BLIP (Salesforce, 2022) — унифицирана архитектура за разбиране и генериране.
  • GPT-4V (OpenAI, 2023) — първият търговски мултимодален модел от такъв мащаб.
  • LLaVA (Microsoft, 2023) — популярна отворена алтернатива на GPT-4V.
  • Gemini (Google, 2023) — нативно мултимодална архитектура, първоначално проектирана за работа с различни типове данни.
  • GPT-4o (OpenAI, 2024) — модел, способен да обработва текст, аудио и видео в реално време с ниска латентност[1].
  • Claude 3.5 Sonnet (Anthropic, 2024) — модел с подобрени способности за анализ на визуална информация.

Архитектурни подходи

Двуенкодерна архитектура (Dual-Encoder)

Използва отделни енкодери за всяка модалност, които проектират данните в общо пространство от представяния. Ярък представител е CLIP, при който визуален transformer обработва изображенията, а текстов — езиковите данни. Предимствата са модулност и изчислителна ефективност, а недостатъкът — ограничено крос-модално взаимодействие[7].

Архитектура енкодер-декодер

Единен енкодер обработва мултимодалния вход, а декодерът генерира текстов изход. Моделът Flamingo използва механизъм Perceiver Resampler за обработка на визуални входове с променлива дължина и крос-модални слоеве на attention. Този подход осигурява богато междумодално взаимодействие, но изисква по-големи изчислителни ресурси[8].

Архитектура на изравняване (Alignment)

Този подход използва замразени предобучени енкодери, свързани чрез малък обучаем модул за изравняване. Например, BLIP-2 използва Q-Former (Querying Transformer) като лек свързващ елемент между замразения визуален енкодер и езиковия модел, изисквайки значително по-малко обучаеми параметри[9].

Основни модели

GPT-4V / GPT-4o (OpenAI)

Семейството модели GPT-4, по оценки, наброява до 1,8 трилиона параметъра (в архитектура на смес от експерти). Моделът GPT-4o, пуснат през май 2024, поддържа обработка на текст, изображения, аудио и видео в реално време. На benchmark-а MMMU той постига 69,1% точност[10].

Gemini (Google)

Нативно мултимодална архитектура, обучена от нулата върху текст, изображения, аудио и видео. Gemini 1.5 Pro поддържа контекстен прозорец до 10 милиона токена и превъзхожда GPT-4 на 30 от 32 популярни benchmark-а[11].

Claude 3 (Anthropic)

Семейство модели (Haiku, Sonnet, Opus) с контекстен прозорец до 200 000 токена. Claude 3 Opus показва 58,5% на benchmark-а MMMU. За повишаване на безопасността на моделите се използва подходът Constitutional AI[12].

LLaVA (отворен модел)

Комбинира визуален енкодер CLIP с езиков модел Vicuna. Налични са варианти с 7, 13 и 34 милиарда параметъра. Моделът постига 85,1% относителна производителност спрямо GPT-4 на синтетични задачи[13].

Области на приложение

  • Визуални въпроси-отговори (VQA): Позволяват на потребителите да задават въпроси за визуално съдържание.
  • Анализ на документи: Съвременните MLLM са способни да обработват до 2000 страници в минута.
  • Медицинска визуализация: Модели като Med-PaLM M (Google) анализират медицински изображения и клинични данни.
  • Роботика: Модели като RT-2 (Google DeepMind) позволяват на роботите да разбират визуалната среда и да изпълняват команди на естествен език.

Текущи ограничения

  • Халюцинации: Нивото на халюцинациите в генерираното съдържание се оценява на 27–46%. Моделите могат да описват несъществуващи обекти или неправилно да интерпретират визуална информация[14].
  • Високи изчислителни изисквания: Обучението и използването на MLLM изисква значителна изчислителна инфраструктура.
  • Предубеденост на данните: Недостатъчното представяне на демографски групи, езици и култури в обучаващите данни води до систематични грешки.

Препратки

  • A Comprehensive Guide to Multimodal LLMs (Encord Blog)
  • Multimodal LLMs: The Complete Guide (Viso.ai)

Литература

  • Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. arXiv:2103.00020.
  • Alayrac, J.-B. et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
  • Li, J. et al. (2022). BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation. arXiv:2201.12086.
  • Li, J. et al. (2023). BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. arXiv:2301.12597.
  • Liu, H. et al. (2023). Visual Instruction Tuning. arXiv:2304.08485.
  • Driess, K. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
  • Brohan, A. et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. arXiv:2307.15818.
  • Yue, X. et al. (2023). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. arXiv:2311.16502.
  • Tsimpoukelli, M. et al. (2021). Multimodal Few-Shot Learning with Frozen Language Models. arXiv:2106.13884.
  • Singhal, K. et al. (2023). Med-PaLM 2: Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
  • Yin, S. et al. (2023). A Survey on Multimodal Large Language Models. arXiv:2306.13549.

Бележки

  1. ↑ 1.0 1.1 «A Comprehensive Guide to Multimodal LLMs». Encord Blog. [1]
  2. ↑ «A Survey on Multimodal Large Language Models». ACM Computing Surveys. [2]
  3. ↑ Radford, A., et al. «Learning Transferable Visual Models From Natural Language Supervision». arXiv:2103.00020. [3]
  4. ↑ DeOldify, J. «Zero-Shot Learning by Predicting Attributes». arXiv:1312.5650. [4]
  5. ↑ «Learning from captions: A milestone in visual language understanding». OpenAI Blog. [5]
  6. ↑ «Understanding CLIP». Stanford CS231n. [6]
  7. ↑ «Multimodal LLMs: The Complete Guide». Viso.ai. [7]
  8. ↑ «The Architectures of Multimodal Language Models». Determined AI. [8]
  9. ↑ «Understanding BLIP-2: The New Vision-Language Model». Clarifai Blog. [9]
  10. ↑ «MMMU: A New Benchmark for Multimodal LLMs». Encord Blog. [10]
  11. ↑ «Google Gemini: A Deep Dive». DaveAI Blog. [11]
  12. ↑ «Introducing the Claude 3 Family». Anthropic. [12]
  13. ↑ Liu, H., et al. «Visual Instruction Tuning». arXiv:2304.08485. [13]
  14. ↑ «Hallucinations in Multimodal Large Language Models». arXiv:2308.08726. [14]
Retrieved from "https://systems-analysis.info/int/index.php?title=Мултимодални_големи_езикови_модели&oldid=8715"