---
title: "MM-RAG (Multimodal RAG) (TH)"
source: "https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)"
wiki: "systems-analysis.info/int"
article: "MM-RAG_(Multimodal_RAG)_(TH)"
language: "th"
categories:
  - "Category:Large language models"
  - "Category:Prompt engineering"
  - "Category:Thai"
revision_id: 4059
wiki_created_at: 2026-09-06T23:29:54Z
wiki_modified_at: 2026-09-06T23:29:54Z
downloaded_at: 2026-09-07T23:00:38Z
---

# MM-RAG (Multimodal RAG) (TH)

**MM-RAG** (อังกฤษ: *Multimodal Retrieval-Augmented Generation*) — คือการขยายกระบวนทัศน์ RAG แบบดั้งเดิม โดยที่ LLM ใช้ไม่เพียงแค่ข้อความในการตอบคำถาม แต่ยังใช้ข้อมูลเชิงภาพด้วย (รูปภาพ แผนภาพ ตาราง กราฟ) การค้นคืนแบบมัลติโมดัลช่วยให้สามารถค้นหาและเชื่อมโยงหลักฐานในรูปแบบต่าง ๆ ได้ ลดความเสี่ยงของการเกิดภาพหลอนโดยอาศัยแหล่งข้อมูลภายนอกที่มีการอ้างอิงแม่นยำถึงส่วนของหน้าและพื้นที่ (*bounding boxes*)<sup>[\[1\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-lewis2020-1)[\[2\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-visrag2024-2)</sup>.

MM-RAG มีประโยชน์เป็นพิเศษสำหรับเอกสารที่ส่วนสำคัญของความหมายถูกนำเสนอในรูปแบบที่ไม่ใช่ข้อความ (โครงร่างหน้า แผนภาพ โครงสร้างตาราง) ในกรณีเช่นนี้ RAG แบบข้อความดั้งเดิมมักสูญเสียองค์ประกอบบริบทที่สำคัญไป<sup>[\[3\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-docvqa2021-3)[\[4\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-textvqa2019-4)</sup>.

## บริบทและปัญหาที่แก้ไข

RAG แบบดั้งเดิมทำงานกับข้อความและไม่สามารถมองเห็นโครงสร้างเชิงภาพได้ (การจัดวางองค์ประกอบ คำอธิบายรูป แกนกราฟ) MM-RAG ปิดช่องว่างเหล่านี้: ดึงองค์ประกอบที่มีโครงสร้าง (ข้อความ ตาราง รูปภาพพร้อมพิกัด) จัดทำดัชนีในปริภูมิเวกเตอร์ และรวมหลักฐานจากโมดาลิตีต่าง ๆ<sup>[\[5\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-layoutlm2020-5)[\[6\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-clip2021-6)</sup>.

## สถาปัตยกรรมของ MM-RAG

ไปป์ไลน์ MM-RAG เพิ่มขั้นตอนการประมวลผลข้อมูลเชิงภาพและการจัดแนวโมดาลิตีให้กับ RAG แบบดั้งเดิม ได้แก่: **การนำเข้า → การจัดทำดัชนี → การค้นคืนมัลติโมดัล → การรวมและการจัดอันดับใหม่ → การสร้างข้อความพร้อมการติดตาม**.

1.  **การรวบรวมและการประมวลผลเบื้องต้น (Ingestion).** ข้อมูลนำเข้าคือ PDF/สแกน/รูปภาพ ดำเนินการ OCR และ **การวิเคราะห์โครงร่าง** หน้าเพื่อแบ่งโซน ได้แก่ ย่อหน้า หัวเรื่อง ตาราง รูปภาพและพิกัดของสิ่งเหล่านี้ เครื่องมือทั่วไปได้แก่โมเดลในตระกูล LayoutLM และไลบรารีเครื่องมือ LayoutParser; การตรวจสอบและการฝึกอบรมมักอาศัย dataset PubLayNet และ DocLayNet<sup>[\[7\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-publaynet2019-7)[\[8\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-doclaynet2022-8)[\[9\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-layoutparser2021-9)</sup>.
2.  **การแบ่งส่วนเป็นภูมิภาค.** ดึงวัตถุเชิงภาพออกมา (แผนภาพ ตาราง ภาพประกอบ คำอธิบายภาพ) เพื่อความทนทานสูงขึ้นจึงใช้โมเดล OCR-free (เช่น Donut) หรือไปป์ไลน์แบบผสม OCR+VLM<sup>[\[10\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-donut2021-10)</sup>.
3.  **การจัดทำดัชนี (Vector Index).** ข้อความเป็นชิ้น ๆ และองค์ประกอบเชิงภาพ (รูปภาพหรือคำอธิบายของรูปภาพ) ถูกแปลงเป็นเวกเตอร์และบันทึกลงในฐานข้อมูลเวกเตอร์ สำหรับปริภูมิรวม *text↔image* จะใช้ CLIP หรือ SigLIP; สำหรับการผลิตจริงนิยมใช้ดัชนีมัลติโมดัล/มัลติเวกเตอร์ (หนึ่งวัตถุ — หลายเวกเตอร์)<sup>[\[6\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-clip2021-6)[\[11\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-siglip2023-11)[\[12\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-milvus-mv-12)</sup>.
4.  **การค้นคืนมัลติโมดัลและการจัดอันดับใหม่.** ดำเนินการค้นหาข้อความและการค้นหาเชิงภาพแบบผสม; ผู้สมัคร (ย่อหน้า ตาราง รูปภาพ/ภูมิภาค) ถูกรวมกันและจัดอันดับใหม่ด้วยโมเดลที่ "หนักกว่า" (cross-encoder/LLM-reranker) เพื่อเพิ่มความแม่นยำ<sup>[\[13\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-cohere-rerank-13)</sup>.
5.  **การบรรจุบริบทและการสร้างข้อความ.** ส่วนที่คัดเลือกแล้วถูกป้อนให้กับ LLM/VLM หากโมเดลเป็นมัลติโมดัล (เช่น GPT-4V/4o) รูปภาพสามารถป้อนได้โดยตรง; สำหรับ LLM แบบข้อความรูปภาพจะถูกแปลงเป็นคำอธิบายโดยละเอียดล่วงหน้า<sup>[\[14\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-gpt4v-14)[\[15\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-gpt4o-15)</sup>.
6.  **การติดตามและการอ้างอิง.** คำตอบมาพร้อมกับการอ้างอิงแบบคลิกได้ที่เชื่อมโยงไม่เพียงแค่กับเอกสาร/หน้า แต่ยังกับภูมิภาค (พิกัด) ด้วย ซึ่งช่วยเพิ่มระดับ *grounding* และความไว้วางใจของผู้ใช้<sup>[\[2\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-visrag2024-2)</sup>.

## การประเมินคุณภาพและเมตริก

ประสิทธิภาพของ MM-RAG ได้รับการประเมินในระดับการดึงข้อมูล การค้นคืน และการสร้างข้อความ

- **คุณภาพการดึงข้อมูลเชิงภาพ.** ความแม่นยำ OCR (WER/CER) คุณภาพการวิเคราะห์โครงร่าง (mAP/Precision/Recall) บน dataset DocLayNet/PubLayNet<sup>[\[8\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-doclaynet2022-8)[\[7\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-publaynet2019-7)</sup>.
- **คุณภาพการค้นคืน.** เมตริกมาตรฐานของการค้นคืนสารสนเทศ: Recall@K, Precision@K, MRR; สำหรับมัลติโมดัล — แยกตามโมดาลิตีและในการรวมกัน
- **คุณภาพคำตอบ (end-to-end).** เมตริกอัตโนมัติ *faithfulness*/*groundedness* และการประเมินโดยมนุษย์ ในทางปฏิบัติใช้เฟรมเวิร์ก RAGAS/TruLens/DeepEval<sup>[\[16\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-ragas-16)</sup>.
- **Benchmark.**
  - **DocVQA**: คำถามเกี่ยวกับรูปภาพเอกสาร<sup>[\[3\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-docvqa2021-3)</sup>.
  - **TextVQA**: คำถามที่ต้องอ่านข้อความในรูปภาพ<sup>[\[4\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-textvqa2019-4)</sup>.
  - **InfographicVQA**: คำถามเกี่ยวกับอินโฟกราฟิก<sup>[\[17\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-infographicvqa2021-17)</sup>.
  - **ChartQA**: คำถามเกี่ยวกับแผนภูมิที่ต้องใช้การใช้เหตุผลเชิงตรรกะ<sup>[\[18\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-chartqa2022-18)</sup>.
  - **MMDocRAG**: benchmark มัลติโมดัล RAG สำหรับ DocQA (เอกสารหลายหน้า ห่วงโซ่หลักฐานข้ามโมดาลิตี)<sup>[\[19\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-mmdocrag2025-19)</sup>.

## ตารางเปรียบเทียบส่วนประกอบ

| ส่วนประกอบ                 | รูปแบบการใช้งาน                                               | ข้อดี                                                                 | ข้อเสีย / ความเสี่ยง                                                      | เมื่อใดควรเลือก                                                      |
|---------------------------|-------------------------------------------------------------|---------------------------------------------------------------------|-----------------------------------------------------------------------|-------------------------------------------------------------------|
| OCR                       | Tesseract / PaddleOCR / API บนคลาวด์                         | แบบท้องถิ่น — ความเป็นส่วนตัวและการควบคุม; แบบคลาวด์ — ความแม่นยำสูงพร้อมใช้งาน | ข้อผิดพลาดในโครงร่างที่ซับซ้อน; API — ค่าใช้จ่ายและข้อกำหนดด้านการปฏิบัติตามกฎระเบียบ | ข้อมูลส่วนตัว — OCR ท้องถิ่น; ความแม่นยำสูงสุด — คลาวด์ (หากอนุญาต)           |
| การวิเคราะห์โครงร่าง         | กฎ / โมเดล ML (LayoutLM, LayoutParser)                      | กฎเรียบง่ายสำหรับเทมเพลตที่เป็นแบบเดียวกัน; ML — ทนทานต่อความหลากหลาย        | กฎพังกับโครงร่างใหม่; ML ต้องการทรัพยากร/ข้อมูล                               | แบบฟอร์มเดิม — กฎ; คลังข้อมูลหลากหลาย — ML                             |
| การแปลงเป็นเวกเตอร์ (รูปภาพ) | CLIP / SigLIP / คำอธิบาย OCR-free (Donut/Pix2Struct)         | พื้นที่แฝงร่วม *text↔image* (CLIP/SigLIP); OCR-free ขจัดการพึ่งพา OCR       | CLIP ไม่อ่านข้อความภายในรูปภาพ; คำอธิบายอาจบิดเบือนความหมาย                  | CLIP/SigLIP — การค้นหามัลติโมดัลพื้นฐาน; OCR-free สำหรับสแกนที่มีคุณภาพซับซ้อน |
| การรวมผลลัพธ์               | การเรียงลำดับตามคะแนน / โควตาตามโมดาลิตี / LLM-reranker         | Reranker ช่วยเพิ่มความแม่นยำของการคัดเลือกบริบทอย่างเห็นได้ชัด                 | เพิ่มความหน่วงและค่าใช้จ่าย                                                 | สถานการณ์ที่ต้องการความแม่นยำสูง; วิธีการง่าย ๆ — สำหรับ PoC                |
| พื้นที่เก็บข้อมูล/ดัชนี            | เวกเตอร์เดี่ยว / มัลติเวกเตอร์ (text+image) / ไฮบริด (BM25+vector) | มัลติเวกเตอร์ครอบคลุมการแสดงผลต่าง ๆ ของวัตถุเดียว; ไฮบริดช่วยคำหลัก/รหัส       | ความซับซ้อนของสคีมาและการอัปเดต                                           | ระบบการผลิตที่มีข้อมูลผสมและ SLA เข้มงวด                                 |

การเปรียบเทียบส่วนประกอบและแนวทางสำคัญใน MM-RAG

## ข้อสังเกตเชิงปฏิบัติ

- **การค้นหาแบบไฮบริด** (BM25 + เวกเตอร์) — มาตรฐาน de-facto สำหรับการเพิ่มความครบถ้วนและความแม่นยำในคำศัพท์/รหัสเฉพาะทาง<sup>[\[20\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-weaviate-hybrid-20)</sup>.
- **การจัดอันดับใหม่** ด้วย cross-encoder/LLM ช่วยประหยัด token โดยคัดทิ้งผู้สมัครที่ "ไม่มีประโยชน์" ก่อนการสร้างข้อความ<sup>[\[13\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-cohere-rerank-13)</sup>.
- **VLM-retriever รุ่นใหม่** (เช่น ColPali) แสดงข้อได้เปรียบในเอกสารที่มีภาพมากโดยการจัดทำดัชนีหน้าในรูปแบบรูปภาพโดยตรง<sup>[\[21\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_note-colpali2024-21)</sup>.

## เอกสารอ้างอิง

- Lewis, P. et al. (2020). *Retrieval‑Augmented Generation for Knowledge‑Intensive NLP Tasks*. NeurIPS. arXiv:2005.11401.
- Gao, L. et al. (2023). *Precise Zero‑Shot Dense Retrieval without Relevance Labels (HyDE)*. ACL 2023. arXiv:2212.10496.
- Mei, L., Mo, S., Yang, Z., Chen, C. (2025). *A Survey of Multimodal Retrieval‑Augmented Generation*. arXiv:2504.08748.
- Abootorabi, M.M. et al. (2025). *Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval‑Augmented Generation*. Findings of ACL 2025. ACL Anthology.
- Yu, S. et al. (2024). *VisRAG: Vision‑based Retrieval‑augmented Generation on Multi‑modality Documents*. arXiv:2410.10594.
- Cho, J. et al. (2024). *M3DocRAG: Multi‑modal Retrieval is What You Need for Multi‑document QA*. arXiv:2411.04952.
- Tanaka, R. et al. (2025). *VDocRAG: Retrieval‑Augmented Generation over Visually‑Rich Documents*. CVPR 2025. arXiv:2504.09795 • CVF Open Access.
- Dong, K. et al. (2025). *MMDocRAG: Benchmarking Retrieval‑Augmented Multimodal Generation for Document Question Answering*. arXiv:2505.16470.
- Wasserman, N. et al. (2025). *REAL‑MM‑RAG: A Real‑World Multi‑Modal Retrieval Benchmark*. arXiv:2502.12342.
- Faysse, M. et al. (2024). *ColPali: Efficient Document Retrieval with Vision Language Models*. arXiv:2407.01449.
- Radford, A. et al. (2021). *Learning Transferable Visual Models From Natural Language Supervision (CLIP)*. ICML 2021. arXiv:2103.00020.
- Tschannen, M. et al. (2025). *SigLIP 2: Multilingual Vision‑Language Encoders with Improved Semantic Understanding, Localization, and Dense Features*. arXiv:2502.14786.
- Xu, Y. et al. (2020). *LayoutLM: Pre‑training of Text and Layout for Document Image Understanding*. KDD 2020. DOI • arXiv:1912.13318.
- Huang, Y. et al. (2022). *LayoutLMv3: Pre‑training for Document AI with Unified Text and Image Masking*. arXiv:2204.08387.
- Zhong, X., Tang, J., Jimeno‑Yepes, A.J. (2019). *PubLayNet: Largest Dataset Ever for Document Layout Analysis*. arXiv:1908.07836.
- Pfitzmann, B. et al. (2022). *DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis*. arXiv:2206.01062.
- Kim, G. et al. (2021). *OCR‑free Document Understanding Transformer (Donut)*. arXiv:2111.15664.
- Shen, Z. et al. (2021). *LayoutParser: A Unified Toolkit for Deep Learning Based Document Image Analysis*. arXiv:2103.15348.
- Singh, A. et al. (2019). *Towards VQA Models That Can Read (TextVQA)*. CVPR 2019. arXiv:1904.08920.
- Mathew, M. et al. (2021/2022). *DocVQA / InfographicVQA: Datasets for VQA on Document Images and Infographics*. WACV 2021 / WACV 2022. CVF • arXiv:2104.12756.
- Masry, A. et al. (2022). *ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning*. Findings of ACL 2022. ACL • arXiv:2203.10244.
- Liu, F. et al. (2022). *DePlot: One‑shot Visual Language Reasoning by Plot‑to‑Table Translation*. arXiv:2212.10505.
- Wang, P. et al. (2024). *Qwen2‑VL: Enhancing Vision‑Language Model's Capabilities in OCR and Chart QA*. arXiv:2409.12191.
- Es, S. et al. (2023). *RAGAS: Automated Evaluation of Retrieval‑Augmented Generation*. arXiv:2309.15217.

## ดูเพิ่มเติม

- Retrieval-Augmented Generation
- ฐานข้อมูลเวกเตอร์
- Embedding
- GraphRAG

## หมายเหตุ

1.  <span id="cite_note-lewis2020-1">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-lewis2020_1-0) Lewis, P., Perez, E., et al. (2020). *Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks*. NeurIPS. <a href="https://arxiv.org/abs/2005.11401" class="external text" rel="nofollow">arXiv:2005.11401</a>.</span>
2.  <span id="cite_note-visrag2024-2">↑ <sup>[2.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-visrag2024_2-0)</sup> <sup>[2.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-visrag2024_2-1)</sup> Yu, S. et al. (2024). *VisRAG: Vision-based Retrieval-Augmented Generation on Multi-modality Documents*. <a href="https://arxiv.org/abs/2407.06437" class="external text" rel="nofollow">arXiv:2407.06437</a>.</span>
3.  <span id="cite_note-docvqa2021-3">↑ <sup>[3.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-docvqa2021_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-docvqa2021_3-1)</sup> Mathew, M. et al. (2021). *DocVQA: A Dataset for VQA on Document Images*. WACV. <a href="https://arxiv.org/abs/2007.00398" class="external text" rel="nofollow">arXiv:2007.00398</a>.</span>
4.  <span id="cite_note-textvqa2019-4">↑ <sup>[4.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-textvqa2019_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-textvqa2019_4-1)</sup> Singh, A. et al. (2019). *TextVQA: Towards VQA Models That Can Read*. CVPR. <a href="https://arxiv.org/abs/1904.08920" class="external text" rel="nofollow">arXiv:1904.08920</a>.</span>
5.  <span id="cite_note-layoutlm2020-5">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-layoutlm2020_5-0) Xu, Y. et al. (2020). *LayoutLM: Pre-training of Text and Layout for Document Image Understanding*. KDD. <a href="https://dl.acm.org/doi/10.1145/3394486.3403172" class="external text" rel="nofollow">DOI</a>.</span>
6.  <span id="cite_note-clip2021-6">↑ <sup>[6.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-clip2021_6-0)</sup> <sup>[6.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-clip2021_6-1)</sup> Radford, A. et al. (2021). *Learning Transferable Visual Models From Natural Language Supervision (CLIP)*. ICML. <a href="https://arxiv.org/abs/2103.00020" class="external text" rel="nofollow">arXiv:2103.00020</a>.</span>
7.  <span id="cite_note-publaynet2019-7">↑ <sup>[7.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-publaynet2019_7-0)</sup> <sup>[7.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-publaynet2019_7-1)</sup> Zhong, X., Tang, J., Yepes, A. J. (2019). *PubLayNet: Largest Dataset for Document Layout Analysis*. ICDAR. <a href="https://arxiv.org/abs/1908.07836" class="external text" rel="nofollow">arXiv:1908.07836</a>.</span>
8.  <span id="cite_note-doclaynet2022-8">↑ <sup>[8.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-doclaynet2022_8-0)</sup> <sup>[8.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-doclaynet2022_8-1)</sup> Pfitzmann, B. et al. (2022). *DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis*. KDD. <a href="https://dl.acm.org/doi/10.1145/3534678.3539043" class="external text" rel="nofollow">DOI</a> / <a href="https://arxiv.org/abs/2206.01062" class="external text" rel="nofollow">arXiv:2206.01062</a>.</span>
9.  <span id="cite_note-layoutparser2021-9">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-layoutparser2021_9-0) Shen, Z. et al. (2021). *LayoutParser: A Unified Toolkit for DL‑based Document Image Analysis*. <a href="https://arxiv.org/abs/2103.15348" class="external text" rel="nofollow">arXiv:2103.15348</a>.</span>
10. <span id="cite_note-donut2021-10">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-donut2021_10-0) Kim, G. et al. (2021). *Donut: OCR‑free Document Understanding Transformer*. <a href="https://arxiv.org/abs/2111.15664" class="external text" rel="nofollow">arXiv:2111.15664</a>.</span>
11. <span id="cite_note-siglip2023-11">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-siglip2023_11-0) Zhai, X. et al. (2023). *Sigmoid Loss for Language‑Image Pre‑Training (SigLIP)*. ICCV. <a href="https://arxiv.org/abs/2303.15343" class="external text" rel="nofollow">arXiv:2303.15343</a>.</span>
12. <span id="cite_note-milvus-mv-12">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-milvus-mv_12-0) Milvus Docs. *Multi‑Vector Hybrid Search*. <a href="https://milvus.io/docs/multi-vector-search.md" class="external text" rel="nofollow">milvus.io/docs/multi-vector-search.md</a>.</span>
13. <span id="cite_note-cohere-rerank-13">↑ <sup>[13.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-cohere-rerank_13-0)</sup> <sup>[13.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-cohere-rerank_13-1)</sup> Cohere Docs. *Rerank API*. <a href="https://docs.cohere.com/reference/rerank" class="external text" rel="nofollow">docs.cohere.com/reference/rerank</a>.</span>
14. <span id="cite_note-gpt4v-14">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-gpt4v_14-0) OpenAI. *GPT‑4V(ision) System Card*. (2023). <a href="https://cdn.openai.com/papers/GPTV_System_Card.pdf" class="external text" rel="nofollow">PDF</a>.</span>
15. <span id="cite_note-gpt4o-15">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-gpt4o_15-0) OpenAI. *Hello GPT‑4o*. (2024). <a href="https://openai.com/index/hello-gpt-4o/" class="external text" rel="nofollow">openai.com/index/hello-gpt-4o/</a>.</span>
16. <span id="cite_note-ragas-16">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-ragas_16-0) Es, S. et al. (2023). *RAGAS: Automated Evaluation of Retrieval Augmented Generation*. <a href="https://arxiv.org/abs/2309.15217" class="external text" rel="nofollow">arXiv:2309.15217</a>.</span>
17. <span id="cite_note-infographicvqa2021-17">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-infographicvqa2021_17-0) Mathew, M. et al. (2021). *InfographicVQA: Understanding Infographics via Question Answering*. ICDAR. <a href="https://arxiv.org/abs/2104.12756" class="external text" rel="nofollow">arXiv:2104.12756</a>.</span>
18. <span id="cite_note-chartqa2022-18">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-chartqa2022_18-0) Masry, A. et al. (2022). *ChartQA: A Benchmark for Question Answering about Charts*. ACL (Findings). <a href="https://arxiv.org/abs/2103.16435" class="external text" rel="nofollow">arXiv:2103.16435</a>.</span>
19. <span id="cite_note-mmdocrag2025-19">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-mmdocrag2025_19-0) Dong, K. et al. (2025). *Benchmarking Retrieval‑Augmented Multimodal Generation for Document QA (MMDocRAG)*. <a href="https://arxiv.org/abs/2505.16470" class="external text" rel="nofollow">arXiv:2505.16470</a>.</span>
20. <span id="cite_note-weaviate-hybrid-20">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-weaviate-hybrid_20-0) Weaviate Docs. *Hybrid search*. <a href="https://docs.weaviate.io/weaviate/concepts/search/hybrid-search" class="external text" rel="nofollow">docs.weaviate.io/.../hybrid-search</a>.</span>
21. <span id="cite_note-colpali2024-21">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(TH)#cite_ref-colpali2024_21-0) Faysse, M. et al. (2024). *ColPali: Efficient Document Retrieval with Vision‑Language Models*. <a href="https://arxiv.org/abs/2407.01449" class="external text" rel="nofollow">arXiv:2407.01449</a>.</span>
