Multimodal large language models (VI)

From Systems analysis Wiki
Jump to navigation Jump to search

Mô hình ngôn ngữ lớn đa phương thức (tiếng Anh: Multimodal Large Language Models, MLLMs) — là một lớp mô hình trí tuệ nhân tạo có khả năng xử lý và tạo ra thông tin ở nhiều phương thức khác nhau, bao gồm văn bản, hình ảnh, âm thanh và video[1]. Khác với các mô hình ngôn ngữ đơn phương thức chỉ làm việc với văn bản, MLLM tích hợp thông tin từ nhiều nguồn khác nhau để giải quyết các bài toán phức tạp về hiểu và tạo nội dung.

Khái niệm cốt lõi của MLLM là tạo ra một biểu diễn vector thống nhất (embedding) cho các phương thức khác nhau. Điều này cho phép mô hình thiết lập các liên kết ngữ nghĩa giữa, ví dụ, một hình ảnh và mô tả văn bản của nó[2]. Bước đột phá then chốt đặt nền tảng cho các MLLM hiện đại là việc sử dụng học tương phản (contrastive learning) để căn chỉnh các biểu diễn thị giác và văn bản trong không gian đặc trưng chung, như đã được thực hiện trong mô hình CLIP[3].

Lịch sử phát triển

Giai đoạn đầu (2013–2020)

Nền tảng khái niệm của AI đa phương thức được đặt ra vào năm 2013, khi các nhà nghiên cứu từ Stanford chứng minh khả năng học với mẫu bằng không (zero-shot learning) sử dụng biểu diễn vector của các từ[4]. Năm 2016, nhóm FAIR (Meta AI) cho thấy hiệu quả của việc sử dụng mô tả ngôn ngữ tự nhiên để huấn luyện các mô hình thị giác máy tính, đạt độ chính xác 11,5% trên ImageNet mà không cần huấn luyện trực tiếp[5].

Kỷ nguyên CLIP (2021)

Một khoảnh khắc mang tính cách mạng là sự ra mắt của mô hình CLIP (Contrastive Language-Image Pre-training) bởi OpenAI vào tháng 1 năm 2021. Mô hình được huấn luyện trên 400 triệu cặp hình ảnh–văn bản, thể hiện khả năng phân loại hình ảnh mà không cần huấn luyện chuyên biệt cho các tác vụ cụ thể. CLIP đã trở thành nền tảng cho nhiều MLLM về sau[6].

Mở rộng quy mô và đổi mới (2022–2024)

Sau thành công của CLIP, nhiều mô hình quan trọng đã xuất hiện:

  • Flamingo (DeepMind, 2022) — mô hình 80 tỷ tham số, thể hiện năng lực học với ít mẫu vượt trội.
  • BLIP (Salesforce, 2022) — kiến trúc thống nhất cho hiểu và tạo nội dung.
  • GPT-4V (OpenAI, 2023) — mô hình đa phương thức thương mại đầu tiên ở quy mô này.
  • LLaVA (Microsoft, 2023) — lựa chọn mã nguồn mở phổ biến thay thế GPT-4V.
  • Gemini (Google, 2023) — kiến trúc đa phương thức bản địa, được thiết kế ngay từ đầu để làm việc với nhiều loại dữ liệu khác nhau.
  • GPT-4o (OpenAI, 2024) — mô hình có khả năng xử lý văn bản, âm thanh và video theo thời gian thực với độ trễ thấp[1].
  • Claude 3.5 Sonnet (Anthropic, 2024) — mô hình với năng lực phân tích thông tin trực quan được cải thiện.

Các cách tiếp cận kiến trúc

Kiến trúc hai encoder (Dual-Encoder)

Sử dụng các encoder riêng biệt cho từng phương thức, chiếu dữ liệu vào không gian biểu diễn chung. Đại diện tiêu biểu là CLIP, trong đó transformer thị giác xử lý hình ảnh còn transformer văn bản xử lý dữ liệu ngôn ngữ. Ưu điểm là tính mô-đun và hiệu quả tính toán, nhược điểm là tương tác xuyên phương thức bị hạn chế[7].

Kiến trúc encoder-decoder

Một encoder duy nhất xử lý đầu vào đa phương thức, trong khi decoder tạo ra đầu ra văn bản. Mô hình Flamingo sử dụng cơ chế Perceiver Resampler để xử lý các đầu vào thị giác có độ dài thay đổi và các lớp attention xuyên phương thức. Cách tiếp cận này cung cấp sự tương tác liên phương thức phong phú nhưng đòi hỏi nhiều tài nguyên tính toán hơn[8].

Kiến trúc căn chỉnh (Alignment)

Cách tiếp cận này sử dụng các encoder được tiền huấn luyện đóng băng, kết nối thông qua một module căn chỉnh nhỏ có thể huấn luyện. Ví dụ, BLIP-2 sử dụng Q-Former (Querying Transformer) như một thành phần liên kết nhẹ giữa encoder thị giác đóng băng và mô hình ngôn ngữ, đòi hỏi ít tham số có thể huấn luyện hơn đáng kể[9].

Các mô hình chính

GPT-4V / GPT-4o (OpenAI)

Họ mô hình GPT-4 được ước tính có tới 1,8 nghìn tỷ tham số (theo kiến trúc mixture of experts). Mô hình GPT-4o, phát hành vào tháng 5 năm 2024, hỗ trợ xử lý văn bản, hình ảnh, âm thanh và video theo thời gian thực. Trên benchmark MMMU, mô hình đạt độ chính xác 69,1%[10].

Gemini (Google)

Kiến trúc đa phương thức bản địa, được huấn luyện từ đầu trên văn bản, hình ảnh, âm thanh và video. Gemini 1.5 Pro hỗ trợ cửa sổ ngữ cảnh lên tới 10 triệu token và vượt trội hơn GPT-4 trên 30 trong số 32 benchmark phổ biến[11].

Claude 3 (Anthropic)

Họ mô hình (Haiku, Sonnet, Opus) với cửa sổ ngữ cảnh lên tới 200.000 token. Claude 3 Opus đạt 58,5% trên benchmark MMMU. Để tăng cường độ an toàn, các mô hình sử dụng cách tiếp cận Constitutional AI[12].

LLaVA (mô hình mã nguồn mở)

Kết hợp encoder thị giác CLIP với mô hình ngôn ngữ Vicuna. Có sẵn các phiên bản với 7, 13 và 34 tỷ tham số. Mô hình đạt 85,1% hiệu suất tương đối so với GPT-4 trên các tác vụ tổng hợp[13].

Lĩnh vực ứng dụng

  • Hỏi đáp trực quan (VQA): Cho phép người dùng đặt câu hỏi về nội dung trực quan.
  • Phân tích tài liệu: Các MLLM hiện đại có khả năng xử lý tới 2000 trang mỗi phút.
  • Hình ảnh y tế: Các mô hình như Med-PaLM M (Google) phân tích hình ảnh y tế và dữ liệu lâm sàng.
  • Robot học: Các mô hình như RT-2 (Google DeepMind) cho phép robot hiểu môi trường trực quan và thực hiện các lệnh bằng ngôn ngữ tự nhiên.

Các hạn chế hiện tại

  • Ảo giác (Hallucination): Tỷ lệ ảo giác trong nội dung được tạo ra ước tính từ 27–46%. Các mô hình có thể mô tả các đối tượng không tồn tại hoặc diễn giải sai thông tin trực quan[14].
  • Yêu cầu tính toán cao: Việc huấn luyện và sử dụng MLLM đòi hỏi cơ sở hạ tầng tính toán đáng kể.
  • Độ lệch dữ liệu: Sự thiếu đại diện của các nhóm nhân khẩu học, ngôn ngữ và văn hóa trong dữ liệu huấn luyện dẫn đến các lỗi hệ thống.

Liên kết ngoài

  • A Comprehensive Guide to Multimodal LLMs (Encord Blog)
  • Multimodal LLMs: The Complete Guide (Viso.ai)

Tài liệu tham khảo

  • Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. arXiv:2103.00020.
  • Alayrac, J.-B. et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. arXiv:2204.14198.
  • Li, J. et al. (2022). BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation. arXiv:2201.12086.
  • Li, J. et al. (2023). BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models. arXiv:2301.12597.
  • Liu, H. et al. (2023). Visual Instruction Tuning. arXiv:2304.08485.
  • Driess, K. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
  • Brohan, A. et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. arXiv:2307.15818.
  • Yue, X. et al. (2023). MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI. arXiv:2311.16502.
  • Tsimpoukelli, M. et al. (2021). Multimodal Few-Shot Learning with Frozen Language Models. arXiv:2106.13884.
  • Singhal, K. et al. (2023). Med-PaLM 2: Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
  • Yin, S. et al. (2023). A Survey on Multimodal Large Language Models. arXiv:2306.13549.

Ghi chú

  1. ↑ 1.0 1.1 «A Comprehensive Guide to Multimodal LLMs». Encord Blog. [1]
  2. ↑ «A Survey on Multimodal Large Language Models». ACM Computing Surveys. [2]
  3. ↑ Radford, A., et al. «Learning Transferable Visual Models From Natural Language Supervision». arXiv:2103.00020. [3]
  4. ↑ DeOldify, J. «Zero-Shot Learning by Predicting Attributes». arXiv:1312.5650. [4]
  5. ↑ «Learning from captions: A milestone in visual language understanding». OpenAI Blog. [5]
  6. ↑ «Understanding CLIP». Stanford CS231n. [6]
  7. ↑ «Multimodal LLMs: The Complete Guide». Viso.ai. [7]
  8. ↑ «The Architectures of Multimodal Language Models». Determined AI. [8]
  9. ↑ «Understanding BLIP-2: The New Vision-Language Model». Clarifai Blog. [9]
  10. ↑ «MMMU: A New Benchmark for Multimodal LLMs». Encord Blog. [10]
  11. ↑ «Google Gemini: A Deep Dive». DaveAI Blog. [11]
  12. ↑ «Introducing the Claude 3 Family». Anthropic. [12]
  13. ↑ Liu, H., et al. «Visual Instruction Tuning». arXiv:2304.08485. [13]
  14. ↑ «Hallucinations in Multimodal Large Language Models». arXiv:2308.08726. [14]
Retrieved from "https://systems-analysis.info/int/index.php?title=Multimodal_large_language_models_(VI)&oldid=4757"