---
title: "MM-RAG (Multimodal RAG) (HI)"
source: "https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)"
wiki: "systems-analysis.info/int"
article: "MM-RAG_(Multimodal_RAG)_(HI)"
language: "hi"
categories:
  - "Category:Hindi"
  - "Category:Large language models"
  - "Category:Prompt engineering"
revision_id: 4049
wiki_created_at: 2026-09-06T23:29:45Z
wiki_modified_at: 2026-09-06T23:29:45Z
downloaded_at: 2026-09-07T23:00:34Z
---

# MM-RAG (Multimodal RAG) (HI)

**MM-RAG** (अंग्रेज़ी: *Multimodal Retrieval-Augmented Generation*) — यह क्लासिक RAG पैराडाइम का विस्तार है, जिसमें LLM उत्तर देने के लिए न केवल टेक्स्ट, बल्कि दृश्य डेटा (चित्र, आरेख, तालिकाएँ, ग्राफ़) का भी उपयोग करता है। मल्टीमोडल रिट्रीव विभिन्न प्रस्तुतियों में साक्ष्य खोजने और जोड़ने की अनुमति देता है, तथा पृष्ठ-खंडों और क्षेत्रों (*bounding boxes*) से सटीक संबंध के साथ बाहरी स्रोतों पर निर्भरता के माध्यम से हैलुसिनेशन का जोखिम कम करता है<sup>[\[1\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-lewis2020-1)[\[2\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-visrag2024-2)</sup>।

MM-RAG विशेष रूप से उन दस्तावेज़ों के लिए उपयोगी है जहाँ अर्थ का महत्वपूर्ण हिस्सा गैर-पाठ्य रूप में प्रस्तुत होता है (पृष्ठ लेआउट, आरेख, तालिका संरचनाएँ)। ऐसे मामलों में क्लासिक टेक्स्ट RAG अक्सर संदर्भ के महत्वपूर्ण तत्वों को खो देता है<sup>[\[3\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-docvqa2021-3)[\[4\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-textvqa2019-4)</sup>।

## संदर्भ और हल की जाने वाली समस्या

क्लासिक RAG टेक्स्ट पैसेज पर काम करता है और दृश्य संरचनाओं को नहीं देख पाता (तत्वों की स्थिति, चित्रों के शीर्षक, ग्राफ़ की अक्ष)। MM-RAG इन अंतरालों को भरता है: संरचित तत्व (टेक्स्ट, तालिकाएँ, निर्देशांक सहित चित्र) निकालता है, उन्हें वेक्टर स्पेस में इंडेक्स करता है और विभिन्न modalities से साक्ष्य संयोजित करता है<sup>[\[5\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-layoutlm2020-5)[\[6\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-clip2021-6)</sup>।

## MM-RAG आर्किटेक्चर

MM-RAG pipeline क्लासिक RAG में दृश्य डेटा प्रोसेसिंग और modality संरेखण के चरण जोड़ता है: **इंजेस्ट → इंडेक्सिंग → मल्टीमोडल रिट्रीव → विलय और रीरैंकिंग → ट्रेसिंग के साथ जेनरेशन**।

1.  **संग्रह और प्रीप्रोसेसिंग (Ingestion)।** इनपुट के रूप में PDF/स्कैन/चित्र आते हैं। OCR और पृष्ठ के **लेआउट विश्लेषण** का निष्पादन क्षेत्रों को अलग करने के लिए किया जाता है: अनुच्छेद, शीर्षक, तालिकाएँ, चित्र और उनके निर्देशांक। विशिष्ट साधन — LayoutLM परिवार के मॉडल और LayoutParser इंस्ट्रूमेंटल लाइब्रेरी; सत्यापन और प्रशिक्षण अक्सर PubLayNet और DocLayNet dataset पर निर्भर करते हैं<sup>[\[7\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-publaynet2019-7)[\[8\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-doclaynet2022-8)[\[9\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-layoutparser2021-9)</sup>।
2.  **क्षेत्रों में विभाजन।** दृश्य वस्तुएँ (आरेख, तालिकाएँ, चित्र, शीर्षक) निकाली जाती हैं। बढ़ी हुई स्थिरता के लिए OCR‑free मॉडल (जैसे Donut) या संयुक्त OCR+VLM pipeline का उपयोग किया जाता है<sup>[\[10\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-donut2021-10)</sup>।
3.  **इंडेक्सिंग (Vector Index)।** टेक्स्ट chunk और दृश्य तत्व (चित्र या उनके विवरण) वेक्टर प्रस्तुतियों में परिवर्तित होते हैं और वेक्टर DB में दर्ज किए जाते हैं। संयुक्त *text↔image* स्पेस के लिए CLIP या SigLIP का उपयोग किया जाता है; प्रोडक्शन के लिए मल्टीमोडल/मल्टीवेक्टर इंडेक्स सुविधाजनक हैं (एक वस्तु — कई वेक्टर)<sup>[\[6\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-clip2021-6)[\[11\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-siglip2023-11)[\[12\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-milvus-mv-12)</sup>।
4.  **मल्टीमोडल रिट्रीव और रीरैंकिंग।** टेक्स्ट और दृश्य खोज का संयोजन किया जाता है; उम्मीदवार (अनुच्छेद, तालिकाएँ, चित्र/क्षेत्र) एकत्रित होते हैं और सटीकता बढ़ाने के लिए अधिक «भारी» मॉडल (क्रॉस‑एन्कोडर/LLM‑reranker) द्वारा रीरैंक किए जाते हैं<sup>[\[13\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-cohere-rerank-13)</sup>।
5.  **संदर्भ पैकेजिंग और जेनरेशन।** चयनित खंड LLM/VLM को दिए जाते हैं। यदि मॉडल मल्टीमोडल है (जैसे GPT‑4V/4o), तो चित्र सीधे दिए जा सकते हैं; टेक्स्ट LLM के साथ चित्र पहले से विस्तृत विवरणों में परिवर्तित किए जाते हैं<sup>[\[14\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-gpt4v-14)[\[15\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-gpt4o-15)</sup>।
6.  **ट्रेसिंग और उद्धरण।** उत्तर में क्लिक करने योग्य उद्धरण होते हैं जो न केवल दस्तावेज़/पृष्ठ से, बल्कि क्षेत्र (निर्देशांक) से भी संबद्ध होते हैं। इससे *grounding* का स्तर और उपयोगकर्ताओं का विश्वास बढ़ता है<sup>[\[2\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-visrag2024-2)</sup>।

## गुणवत्ता मूल्यांकन और मेट्रिक्स

MM‑RAG की प्रभावशीलता निष्कर्षण, रिट्रीव और जेनरेशन के स्तरों पर आँकी जाती है।

- **दृश्य डेटा निष्कर्षण की गुणवत्ता।** OCR सटीकता (WER/CER), DocLayNet/PubLayNet संग्रहों पर लेआउट विश्लेषण की गुणवत्ता (mAP/Precision/Recall)<sup>[\[8\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-doclaynet2022-8)[\[7\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-publaynet2019-7)</sup>।
- **रिट्रीव की गुणवत्ता।** सूचना पुनर्प्राप्ति के मानक मेट्रिक्स: Recall@K, Precision@K, MRR; मल्टीमोडलिटी के लिए — modalities के अनुसार अलग-अलग और संयोजन में।
- **उत्तर की गुणवत्ता (end‑to‑end)।** स्वचालित *faithfulness*/*groundedness* मेट्रिक्स और मानवीय मूल्यांकन। व्यवहार में RAGAS/TruLens/DeepEval framework का उपयोग किया जाता है<sup>[\[16\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-ragas-16)</sup>।
- **Benchmark।**
  - **DocVQA**: दस्तावेज़ चित्रों से संबंधित प्रश्न<sup>[\[3\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-docvqa2021-3)</sup>।
  - **TextVQA**: चित्रों पर टेक्स्ट पढ़ने की आवश्यकता वाले प्रश्न<sup>[\[4\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-textvqa2019-4)</sup>।
  - **InfographicVQA**: इन्फोग्राफिक्स से संबंधित प्रश्न<sup>[\[17\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-infographicvqa2021-17)</sup>।
  - **ChartQA**: तार्किक तर्क की आवश्यकता वाले आरेखों से संबंधित प्रश्न<sup>[\[18\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-chartqa2022-18)</sup>।
  - **MMDocRAG**: DocQA के लिए मल्टीमोडल RAG benchmark (बहु-पृष्ठ दस्तावेज़, क्रॉस‑मोडल साक्ष्य श्रृंखलाएँ)<sup>[\[19\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-mmdocrag2025-19)</sup>।

## घटकों की तुलनात्मक तालिका

| घटक             | कार्यान्वयन विकल्प                                                | लाभ                                                                              | कमियाँ / जोखिम                                                | कब चुनें                                                                 |
|-----------------|----------------------------------------------------------------|----------------------------------------------------------------------------------|--------------------------------------------------------------|-----------------------------------------------------------------------|
| OCR             | Tesseract / PaddleOCR / क्लाउड API                              | स्थानीय — गोपनीयता और नियंत्रण; क्लाउड — बॉक्स से उच्च सटीकता।                          | जटिल लेआउट पर त्रुटियाँ; API — लागत और अनुपालन आवश्यकताएँ।          | निजी डेटा — स्थानीय OCR; अधिकतम सटीकता — क्लाउड (यदि अनुमत हो)।           |
| लेआउट विश्लेषण     | नियम / ML‑मॉडल (LayoutLM, LayoutParser)                        | नियम एकसमान टेम्पलेट के लिए सरल; ML — विविधता के प्रति स्थिर।                           | नए लेआउट पर नियम टूटते हैं; ML के लिए संसाधन/डेटा आवश्यक।             | एकसमान फ़ॉर्म — नियम; विविध कोष — ML।                                   |
| वेक्टरीकरण (चित्र) | CLIP / SigLIP / OCR‑free विवरण (Donut/Pix2Struct)              | *text↔image* का साझा latent स्थान (CLIP/SigLIP); OCR‑free OCR पर निर्भरता हटाता है। | CLIP चित्रों के भीतर टेक्स्ट नहीं पढ़ता; विवरण अर्थ को विकृत कर सकते हैं। | CLIP/SigLIP — बुनियादी मल्टीमोडल खोज; जटिल गुणवत्ता के स्कैन के लिए OCR‑free। |
| परिणामों का विलय | स्कोर के अनुसार क्रमबद्धता / modalities के अनुसार कोटा / LLM‑reranker | रीरैंकर संदर्भ चयन की सटीकता को उल्लेखनीय रूप से बढ़ाता है।                                | विलंबता और लागत में वृद्धि।                                       | High‑precision परिदृश्य; PoC के लिए सरल विधियाँ।                          |
| भंडारण/इंडेक्स      | एकल वेक्टर / मल्टीवेक्टर (text+image) / हाइब्रिड (BM25+vector)       | मल्टीवेक्टर एक वस्तु के विभिन्न प्रस्तुतियों को कवर करता है; हाइब्रिड कीवर्ड/कोड बचाता है।      | स्कीमा और अपडेट की जटिलता।                                     | मिश्रित डेटा और कठोर SLA वाले उत्पादन प्रणालियाँ।                           |

MM‑RAG में प्रमुख घटकों और दृष्टिकोणों की तुलना

## व्यावहारिक टिप्पणियाँ

- **हाइब्रिड खोज** (BM25 + वेक्टर) — विशिष्ट शब्दावली/कोड पर पूर्णता और सटीकता बढ़ाने के लिए वास्तविक मानक<sup>[\[20\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-weaviate-hybrid-20)</sup>।
- क्रॉस‑एन्कोडर/LLM द्वारा **रीरैंकिंग** जेनरेशन से पहले «अनुपयोगी» उम्मीदवारों को हटाकर token बचाती है<sup>[\[13\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-cohere-rerank-13)</sup>।
- **आधुनिक VLM रिट्रीवर** (जैसे ColPali) पृष्ठ-चित्रों की सीधी इंडेक्सिंग के कारण दृश्य रूप से समृद्ध दस्तावेज़ों पर लाभ दिखाते हैं<sup>[\[21\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_note-colpali2024-21)</sup>।

## साहित्य

- Lewis, P. et al. (2020). *Retrieval‑Augmented Generation for Knowledge‑Intensive NLP Tasks*. NeurIPS. arXiv:2005.11401.
- Gao, L. et al. (2023). *Precise Zero‑Shot Dense Retrieval without Relevance Labels (HyDE)*. ACL 2023. arXiv:2212.10496.
- Mei, L., Mo, S., Yang, Z., Chen, C. (2025). *A Survey of Multimodal Retrieval‑Augmented Generation*. arXiv:2504.08748.
- Abootorabi, M.M. et al. (2025). *Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval‑Augmented Generation*. Findings of ACL 2025. ACL Anthology.
- Yu, S. et al. (2024). *VisRAG: Vision‑based Retrieval‑augmented Generation on Multi‑modality Documents*. arXiv:2410.10594.
- Cho, J. et al. (2024). *M3DocRAG: Multi‑modal Retrieval is What You Need for Multi‑document QA*. arXiv:2411.04952.
- Tanaka, R. et al. (2025). *VDocRAG: Retrieval‑Augmented Generation over Visually‑Rich Documents*. CVPR 2025. arXiv:2504.09795 • CVF Open Access.
- Dong, K. et al. (2025). *MMDocRAG: Benchmarking Retrieval‑Augmented Multimodal Generation for Document Question Answering*. arXiv:2505.16470.
- Wasserman, N. et al. (2025). *REAL‑MM‑RAG: A Real‑World Multi‑Modal Retrieval Benchmark*. arXiv:2502.12342.
- Faysse, M. et al. (2024). *ColPali: Efficient Document Retrieval with Vision Language Models*. arXiv:2407.01449.
- Radford, A. et al. (2021). *Learning Transferable Visual Models From Natural Language Supervision (CLIP)*. ICML 2021. arXiv:2103.00020.
- Tschannen, M. et al. (2025). *SigLIP 2: Multilingual Vision‑Language Encoders with Improved Semantic Understanding, Localization, and Dense Features*. arXiv:2502.14786.
- Xu, Y. et al. (2020). *LayoutLM: Pre‑training of Text and Layout for Document Image Understanding*. KDD 2020. DOI • arXiv:1912.13318.
- Huang, Y. et al. (2022). *LayoutLMv3: Pre‑training for Document AI with Unified Text and Image Masking*. arXiv:2204.08387.
- Zhong, X., Tang, J., Jimeno‑Yepes, A.J. (2019). *PubLayNet: Largest Dataset Ever for Document Layout Analysis*. arXiv:1908.07836.
- Pfitzmann, B. et al. (2022). *DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis*. arXiv:2206.01062.
- Kim, G. et al. (2021). *OCR‑free Document Understanding Transformer (Donut)*. arXiv:2111.15664.
- Shen, Z. et al. (2021). *LayoutParser: A Unified Toolkit for Deep Learning Based Document Image Analysis*. arXiv:2103.15348.
- Singh, A. et al. (2019). *Towards VQA Models That Can Read (TextVQA)*. CVPR 2019. arXiv:1904.08920.
- Mathew, M. et al. (2021/2022). *DocVQA / InfographicVQA: Datasets for VQA on Document Images and Infographics*. WACV 2021 / WACV 2022. CVF • arXiv:2104.12756.
- Masry, A. et al. (2022). *ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning*. Findings of ACL 2022. ACL • arXiv:2203.10244.
- Liu, F. et al. (2022). *DePlot: One‑shot Visual Language Reasoning by Plot‑to‑Table Translation*. arXiv:2212.10505.
- Wang, P. et al. (2024). *Qwen2‑VL: Enhancing Vision‑Language Model's Capabilities in OCR and Chart QA*. arXiv:2409.12191.
- Es, S. et al. (2023). *RAGAS: Automated Evaluation of Retrieval‑Augmented Generation*. arXiv:2309.15217.

## यह भी देखें

- Retrieval-Augmented Generation
- वेक्टर डेटाबेस
- Embedding
- GraphRAG

## टिप्पणियाँ

1.  <span id="cite_note-lewis2020-1">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-lewis2020_1-0) Lewis, P., Perez, E., et al. (2020). *Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks*. NeurIPS. <a href="https://arxiv.org/abs/2005.11401" class="external text" rel="nofollow">arXiv:2005.11401</a>.</span>
2.  <span id="cite_note-visrag2024-2">↑ <sup>[2.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-visrag2024_2-0)</sup> <sup>[2.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-visrag2024_2-1)</sup> Yu, S. et al. (2024). *VisRAG: Vision-based Retrieval-Augmented Generation on Multi-modality Documents*. <a href="https://arxiv.org/abs/2407.06437" class="external text" rel="nofollow">arXiv:2407.06437</a>.</span>
3.  <span id="cite_note-docvqa2021-3">↑ <sup>[3.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-docvqa2021_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-docvqa2021_3-1)</sup> Mathew, M. et al. (2021). *DocVQA: A Dataset for VQA on Document Images*. WACV. <a href="https://arxiv.org/abs/2007.00398" class="external text" rel="nofollow">arXiv:2007.00398</a>.</span>
4.  <span id="cite_note-textvqa2019-4">↑ <sup>[4.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-textvqa2019_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-textvqa2019_4-1)</sup> Singh, A. et al. (2019). *TextVQA: Towards VQA Models That Can Read*. CVPR. <a href="https://arxiv.org/abs/1904.08920" class="external text" rel="nofollow">arXiv:1904.08920</a>.</span>
5.  <span id="cite_note-layoutlm2020-5">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-layoutlm2020_5-0) Xu, Y. et al. (2020). *LayoutLM: Pre-training of Text and Layout for Document Image Understanding*. KDD. <a href="https://dl.acm.org/doi/10.1145/3394486.3403172" class="external text" rel="nofollow">DOI</a>.</span>
6.  <span id="cite_note-clip2021-6">↑ <sup>[6.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-clip2021_6-0)</sup> <sup>[6.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-clip2021_6-1)</sup> Radford, A. et al. (2021). *Learning Transferable Visual Models From Natural Language Supervision (CLIP)*. ICML. <a href="https://arxiv.org/abs/2103.00020" class="external text" rel="nofollow">arXiv:2103.00020</a>.</span>
7.  <span id="cite_note-publaynet2019-7">↑ <sup>[7.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-publaynet2019_7-0)</sup> <sup>[7.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-publaynet2019_7-1)</sup> Zhong, X., Tang, J., Yepes, A. J. (2019). *PubLayNet: Largest Dataset for Document Layout Analysis*. ICDAR. <a href="https://arxiv.org/abs/1908.07836" class="external text" rel="nofollow">arXiv:1908.07836</a>.</span>
8.  <span id="cite_note-doclaynet2022-8">↑ <sup>[8.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-doclaynet2022_8-0)</sup> <sup>[8.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-doclaynet2022_8-1)</sup> Pfitzmann, B. et al. (2022). *DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis*. KDD. <a href="https://dl.acm.org/doi/10.1145/3534678.3539043" class="external text" rel="nofollow">DOI</a> / <a href="https://arxiv.org/abs/2206.01062" class="external text" rel="nofollow">arXiv:2206.01062</a>.</span>
9.  <span id="cite_note-layoutparser2021-9">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-layoutparser2021_9-0) Shen, Z. et al. (2021). *LayoutParser: A Unified Toolkit for DL‑based Document Image Analysis*. <a href="https://arxiv.org/abs/2103.15348" class="external text" rel="nofollow">arXiv:2103.15348</a>.</span>
10. <span id="cite_note-donut2021-10">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-donut2021_10-0) Kim, G. et al. (2021). *Donut: OCR‑free Document Understanding Transformer*. <a href="https://arxiv.org/abs/2111.15664" class="external text" rel="nofollow">arXiv:2111.15664</a>.</span>
11. <span id="cite_note-siglip2023-11">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-siglip2023_11-0) Zhai, X. et al. (2023). *Sigmoid Loss for Language‑Image Pre‑Training (SigLIP)*. ICCV. <a href="https://arxiv.org/abs/2303.15343" class="external text" rel="nofollow">arXiv:2303.15343</a>.</span>
12. <span id="cite_note-milvus-mv-12">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-milvus-mv_12-0) Milvus Docs. *Multi‑Vector Hybrid Search*. <a href="https://milvus.io/docs/multi-vector-search.md" class="external text" rel="nofollow">milvus.io/docs/multi-vector-search.md</a>.</span>
13. <span id="cite_note-cohere-rerank-13">↑ <sup>[13.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-cohere-rerank_13-0)</sup> <sup>[13.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-cohere-rerank_13-1)</sup> Cohere Docs. *Rerank API*. <a href="https://docs.cohere.com/reference/rerank" class="external text" rel="nofollow">docs.cohere.com/reference/rerank</a>.</span>
14. <span id="cite_note-gpt4v-14">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-gpt4v_14-0) OpenAI. *GPT‑4V(ision) System Card*. (2023). <a href="https://cdn.openai.com/papers/GPTV_System_Card.pdf" class="external text" rel="nofollow">PDF</a>.</span>
15. <span id="cite_note-gpt4o-15">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-gpt4o_15-0) OpenAI. *Hello GPT‑4o*. (2024). <a href="https://openai.com/index/hello-gpt-4o/" class="external text" rel="nofollow">openai.com/index/hello-gpt-4o/</a>.</span>
16. <span id="cite_note-ragas-16">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-ragas_16-0) Es, S. et al. (2023). *RAGAS: Automated Evaluation of Retrieval Augmented Generation*. <a href="https://arxiv.org/abs/2309.15217" class="external text" rel="nofollow">arXiv:2309.15217</a>.</span>
17. <span id="cite_note-infographicvqa2021-17">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-infographicvqa2021_17-0) Mathew, M. et al. (2021). *InfographicVQA: Understanding Infographics via Question Answering*. ICDAR. <a href="https://arxiv.org/abs/2104.12756" class="external text" rel="nofollow">arXiv:2104.12756</a>.</span>
18. <span id="cite_note-chartqa2022-18">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-chartqa2022_18-0) Masry, A. et al. (2022). *ChartQA: A Benchmark for Question Answering about Charts*. ACL (Findings). <a href="https://arxiv.org/abs/2103.16435" class="external text" rel="nofollow">arXiv:2103.16435</a>.</span>
19. <span id="cite_note-mmdocrag2025-19">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-mmdocrag2025_19-0) Dong, K. et al. (2025). *Benchmarking Retrieval‑Augmented Multimodal Generation for Document QA (MMDocRAG)*. <a href="https://arxiv.org/abs/2505.16470" class="external text" rel="nofollow">arXiv:2505.16470</a>.</span>
20. <span id="cite_note-weaviate-hybrid-20">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-weaviate-hybrid_20-0) Weaviate Docs. *Hybrid search*. <a href="https://docs.weaviate.io/weaviate/concepts/search/hybrid-search" class="external text" rel="nofollow">docs.weaviate.io/.../hybrid-search</a>.</span>
21. <span id="cite_note-colpali2024-21">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(HI)#cite_ref-colpali2024_21-0) Faysse, M. et al. (2024). *ColPali: Efficient Document Retrieval with Vision‑Language Models*. <a href="https://arxiv.org/abs/2407.01449" class="external text" rel="nofollow">arXiv:2407.01449</a>.</span>
