MM-RAG (Multimodal RAG) (HI)

From Systems analysis Wiki
Jump to navigation Jump to search

MM-RAG (अंग्रेज़ी: Multimodal Retrieval-Augmented Generation) — यह क्लासिक RAG पैराडाइम का विस्तार है, जिसमें LLM उत्तर देने के लिए न केवल टेक्स्ट, बल्कि दृश्य डेटा (चित्र, आरेख, तालिकाएँ, ग्राफ़) का भी उपयोग करता है। मल्टीमोडल रिट्रीव विभिन्न प्रस्तुतियों में साक्ष्य खोजने और जोड़ने की अनुमति देता है, तथा पृष्ठ-खंडों और क्षेत्रों (bounding boxes) से सटीक संबंध के साथ बाहरी स्रोतों पर निर्भरता के माध्यम से हैलुसिनेशन का जोखिम कम करता है[1][2]।

MM-RAG विशेष रूप से उन दस्तावेज़ों के लिए उपयोगी है जहाँ अर्थ का महत्वपूर्ण हिस्सा गैर-पाठ्य रूप में प्रस्तुत होता है (पृष्ठ लेआउट, आरेख, तालिका संरचनाएँ)। ऐसे मामलों में क्लासिक टेक्स्ट RAG अक्सर संदर्भ के महत्वपूर्ण तत्वों को खो देता है[3][4]।

संदर्भ और हल की जाने वाली समस्या

क्लासिक RAG टेक्स्ट पैसेज पर काम करता है और दृश्य संरचनाओं को नहीं देख पाता (तत्वों की स्थिति, चित्रों के शीर्षक, ग्राफ़ की अक्ष)। MM-RAG इन अंतरालों को भरता है: संरचित तत्व (टेक्स्ट, तालिकाएँ, निर्देशांक सहित चित्र) निकालता है, उन्हें वेक्टर स्पेस में इंडेक्स करता है और विभिन्न modalities से साक्ष्य संयोजित करता है[5][6]।

MM-RAG आर्किटेक्चर

MM-RAG pipeline क्लासिक RAG में दृश्य डेटा प्रोसेसिंग और modality संरेखण के चरण जोड़ता है: इंजेस्ट → इंडेक्सिंग → मल्टीमोडल रिट्रीव → विलय और रीरैंकिंग → ट्रेसिंग के साथ जेनरेशन।

  1. संग्रह और प्रीप्रोसेसिंग (Ingestion)। इनपुट के रूप में PDF/स्कैन/चित्र आते हैं। OCR और पृष्ठ के लेआउट विश्लेषण का निष्पादन क्षेत्रों को अलग करने के लिए किया जाता है: अनुच्छेद, शीर्षक, तालिकाएँ, चित्र और उनके निर्देशांक। विशिष्ट साधन — LayoutLM परिवार के मॉडल और LayoutParser इंस्ट्रूमेंटल लाइब्रेरी; सत्यापन और प्रशिक्षण अक्सर PubLayNet और DocLayNet dataset पर निर्भर करते हैं[7][8][9]।
  2. क्षेत्रों में विभाजन। दृश्य वस्तुएँ (आरेख, तालिकाएँ, चित्र, शीर्षक) निकाली जाती हैं। बढ़ी हुई स्थिरता के लिए OCR‑free मॉडल (जैसे Donut) या संयुक्त OCR+VLM pipeline का उपयोग किया जाता है[10]।
  3. इंडेक्सिंग (Vector Index)। टेक्स्ट chunk और दृश्य तत्व (चित्र या उनके विवरण) वेक्टर प्रस्तुतियों में परिवर्तित होते हैं और वेक्टर DB में दर्ज किए जाते हैं। संयुक्त text↔image स्पेस के लिए CLIP या SigLIP का उपयोग किया जाता है; प्रोडक्शन के लिए मल्टीमोडल/मल्टीवेक्टर इंडेक्स सुविधाजनक हैं (एक वस्तु — कई वेक्टर)[6][11][12]।
  4. मल्टीमोडल रिट्रीव और रीरैंकिंग। टेक्स्ट और दृश्य खोज का संयोजन किया जाता है; उम्मीदवार (अनुच्छेद, तालिकाएँ, चित्र/क्षेत्र) एकत्रित होते हैं और सटीकता बढ़ाने के लिए अधिक «भारी» मॉडल (क्रॉस‑एन्कोडर/LLM‑reranker) द्वारा रीरैंक किए जाते हैं[13]।
  5. संदर्भ पैकेजिंग और जेनरेशन। चयनित खंड LLM/VLM को दिए जाते हैं। यदि मॉडल मल्टीमोडल है (जैसे GPT‑4V/4o), तो चित्र सीधे दिए जा सकते हैं; टेक्स्ट LLM के साथ चित्र पहले से विस्तृत विवरणों में परिवर्तित किए जाते हैं[14][15]।
  6. ट्रेसिंग और उद्धरण। उत्तर में क्लिक करने योग्य उद्धरण होते हैं जो न केवल दस्तावेज़/पृष्ठ से, बल्कि क्षेत्र (निर्देशांक) से भी संबद्ध होते हैं। इससे grounding का स्तर और उपयोगकर्ताओं का विश्वास बढ़ता है[2]।

गुणवत्ता मूल्यांकन और मेट्रिक्स

MM‑RAG की प्रभावशीलता निष्कर्षण, रिट्रीव और जेनरेशन के स्तरों पर आँकी जाती है।

  • दृश्य डेटा निष्कर्षण की गुणवत्ता। OCR सटीकता (WER/CER), DocLayNet/PubLayNet संग्रहों पर लेआउट विश्लेषण की गुणवत्ता (mAP/Precision/Recall)[8][7]।
  • रिट्रीव की गुणवत्ता। सूचना पुनर्प्राप्ति के मानक मेट्रिक्स: Recall@K, Precision@K, MRR; मल्टीमोडलिटी के लिए — modalities के अनुसार अलग-अलग और संयोजन में।
  • उत्तर की गुणवत्ता (end‑to‑end)। स्वचालित faithfulness/groundedness मेट्रिक्स और मानवीय मूल्यांकन। व्यवहार में RAGAS/TruLens/DeepEval framework का उपयोग किया जाता है[16]।
  • Benchmark।
    • DocVQA: दस्तावेज़ चित्रों से संबंधित प्रश्न[3]।
    • TextVQA: चित्रों पर टेक्स्ट पढ़ने की आवश्यकता वाले प्रश्न[4]।
    • InfographicVQA: इन्फोग्राफिक्स से संबंधित प्रश्न[17]।
    • ChartQA: तार्किक तर्क की आवश्यकता वाले आरेखों से संबंधित प्रश्न[18]।
    • MMDocRAG: DocQA के लिए मल्टीमोडल RAG benchmark (बहु-पृष्ठ दस्तावेज़, क्रॉस‑मोडल साक्ष्य श्रृंखलाएँ)[19]।

घटकों की तुलनात्मक तालिका

MM‑RAG में प्रमुख घटकों और दृष्टिकोणों की तुलना
घटक कार्यान्वयन विकल्प लाभ कमियाँ / जोखिम कब चुनें
OCR Tesseract / PaddleOCR / क्लाउड API स्थानीय — गोपनीयता और नियंत्रण; क्लाउड — बॉक्स से उच्च सटीकता। जटिल लेआउट पर त्रुटियाँ; API — लागत और अनुपालन आवश्यकताएँ। निजी डेटा — स्थानीय OCR; अधिकतम सटीकता — क्लाउड (यदि अनुमत हो)।
लेआउट विश्लेषण नियम / ML‑मॉडल (LayoutLM, LayoutParser) नियम एकसमान टेम्पलेट के लिए सरल; ML — विविधता के प्रति स्थिर। नए लेआउट पर नियम टूटते हैं; ML के लिए संसाधन/डेटा आवश्यक। एकसमान फ़ॉर्म — नियम; विविध कोष — ML।
वेक्टरीकरण (चित्र) CLIP / SigLIP / OCR‑free विवरण (Donut/Pix2Struct) text↔image का साझा latent स्थान (CLIP/SigLIP); OCR‑free OCR पर निर्भरता हटाता है। CLIP चित्रों के भीतर टेक्स्ट नहीं पढ़ता; विवरण अर्थ को विकृत कर सकते हैं। CLIP/SigLIP — बुनियादी मल्टीमोडल खोज; जटिल गुणवत्ता के स्कैन के लिए OCR‑free।
परिणामों का विलय स्कोर के अनुसार क्रमबद्धता / modalities के अनुसार कोटा / LLM‑reranker रीरैंकर संदर्भ चयन की सटीकता को उल्लेखनीय रूप से बढ़ाता है। विलंबता और लागत में वृद्धि। High‑precision परिदृश्य; PoC के लिए सरल विधियाँ।
भंडारण/इंडेक्स एकल वेक्टर / मल्टीवेक्टर (text+image) / हाइब्रिड (BM25+vector) मल्टीवेक्टर एक वस्तु के विभिन्न प्रस्तुतियों को कवर करता है; हाइब्रिड कीवर्ड/कोड बचाता है। स्कीमा और अपडेट की जटिलता। मिश्रित डेटा और कठोर SLA वाले उत्पादन प्रणालियाँ।

व्यावहारिक टिप्पणियाँ

  • हाइब्रिड खोज (BM25 + वेक्टर) — विशिष्ट शब्दावली/कोड पर पूर्णता और सटीकता बढ़ाने के लिए वास्तविक मानक[20]।
  • क्रॉस‑एन्कोडर/LLM द्वारा रीरैंकिंग जेनरेशन से पहले «अनुपयोगी» उम्मीदवारों को हटाकर token बचाती है[13]।
  • आधुनिक VLM रिट्रीवर (जैसे ColPali) पृष्ठ-चित्रों की सीधी इंडेक्सिंग के कारण दृश्य रूप से समृद्ध दस्तावेज़ों पर लाभ दिखाते हैं[21]।

साहित्य

  • Lewis, P. et al. (2020). Retrieval‑Augmented Generation for Knowledge‑Intensive NLP Tasks. NeurIPS. arXiv:2005.11401.
  • Gao, L. et al. (2023). Precise Zero‑Shot Dense Retrieval without Relevance Labels (HyDE). ACL 2023. arXiv:2212.10496.
  • Mei, L., Mo, S., Yang, Z., Chen, C. (2025). A Survey of Multimodal Retrieval‑Augmented Generation. arXiv:2504.08748.
  • Abootorabi, M.M. et al. (2025). Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval‑Augmented Generation. Findings of ACL 2025. ACL Anthology.
  • Yu, S. et al. (2024). VisRAG: Vision‑based Retrieval‑augmented Generation on Multi‑modality Documents. arXiv:2410.10594.
  • Cho, J. et al. (2024). M3DocRAG: Multi‑modal Retrieval is What You Need for Multi‑document QA. arXiv:2411.04952.
  • Tanaka, R. et al. (2025). VDocRAG: Retrieval‑Augmented Generation over Visually‑Rich Documents. CVPR 2025. arXiv:2504.09795 • CVF Open Access.
  • Dong, K. et al. (2025). MMDocRAG: Benchmarking Retrieval‑Augmented Multimodal Generation for Document Question Answering. arXiv:2505.16470.
  • Wasserman, N. et al. (2025). REAL‑MM‑RAG: A Real‑World Multi‑Modal Retrieval Benchmark. arXiv:2502.12342.
  • Faysse, M. et al. (2024). ColPali: Efficient Document Retrieval with Vision Language Models. arXiv:2407.01449.
  • Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP). ICML 2021. arXiv:2103.00020.
  • Tschannen, M. et al. (2025). SigLIP 2: Multilingual Vision‑Language Encoders with Improved Semantic Understanding, Localization, and Dense Features. arXiv:2502.14786.
  • Xu, Y. et al. (2020). LayoutLM: Pre‑training of Text and Layout for Document Image Understanding. KDD 2020. DOI • arXiv:1912.13318.
  • Huang, Y. et al. (2022). LayoutLMv3: Pre‑training for Document AI with Unified Text and Image Masking. arXiv:2204.08387.
  • Zhong, X., Tang, J., Jimeno‑Yepes, A.J. (2019). PubLayNet: Largest Dataset Ever for Document Layout Analysis. arXiv:1908.07836.
  • Pfitzmann, B. et al. (2022). DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis. arXiv:2206.01062.
  • Kim, G. et al. (2021). OCR‑free Document Understanding Transformer (Donut). arXiv:2111.15664.
  • Shen, Z. et al. (2021). LayoutParser: A Unified Toolkit for Deep Learning Based Document Image Analysis. arXiv:2103.15348.
  • Singh, A. et al. (2019). Towards VQA Models That Can Read (TextVQA). CVPR 2019. arXiv:1904.08920.
  • Mathew, M. et al. (2021/2022). DocVQA / InfographicVQA: Datasets for VQA on Document Images and Infographics. WACV 2021 / WACV 2022. CVF • arXiv:2104.12756.
  • Masry, A. et al. (2022). ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning. Findings of ACL 2022. ACL • arXiv:2203.10244.
  • Liu, F. et al. (2022). DePlot: One‑shot Visual Language Reasoning by Plot‑to‑Table Translation. arXiv:2212.10505.
  • Wang, P. et al. (2024). Qwen2‑VL: Enhancing Vision‑Language Model's Capabilities in OCR and Chart QA. arXiv:2409.12191.
  • Es, S. et al. (2023). RAGAS: Automated Evaluation of Retrieval‑Augmented Generation. arXiv:2309.15217.

यह भी देखें

  • Retrieval-Augmented Generation
  • वेक्टर डेटाबेस
  • Embedding
  • GraphRAG

टिप्पणियाँ

  1. ↑ Lewis, P., Perez, E., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS. arXiv:2005.11401.
  2. ↑ 2.0 2.1 Yu, S. et al. (2024). VisRAG: Vision-based Retrieval-Augmented Generation on Multi-modality Documents. arXiv:2407.06437.
  3. ↑ 3.0 3.1 Mathew, M. et al. (2021). DocVQA: A Dataset for VQA on Document Images. WACV. arXiv:2007.00398.
  4. ↑ 4.0 4.1 Singh, A. et al. (2019). TextVQA: Towards VQA Models That Can Read. CVPR. arXiv:1904.08920.
  5. ↑ Xu, Y. et al. (2020). LayoutLM: Pre-training of Text and Layout for Document Image Understanding. KDD. DOI.
  6. ↑ 6.0 6.1 Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP). ICML. arXiv:2103.00020.
  7. ↑ 7.0 7.1 Zhong, X., Tang, J., Yepes, A. J. (2019). PubLayNet: Largest Dataset for Document Layout Analysis. ICDAR. arXiv:1908.07836.
  8. ↑ 8.0 8.1 Pfitzmann, B. et al. (2022). DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis. KDD. DOI / arXiv:2206.01062.
  9. ↑ Shen, Z. et al. (2021). LayoutParser: A Unified Toolkit for DL‑based Document Image Analysis. arXiv:2103.15348.
  10. ↑ Kim, G. et al. (2021). Donut: OCR‑free Document Understanding Transformer. arXiv:2111.15664.
  11. ↑ Zhai, X. et al. (2023). Sigmoid Loss for Language‑Image Pre‑Training (SigLIP). ICCV. arXiv:2303.15343.
  12. ↑ Milvus Docs. Multi‑Vector Hybrid Search. milvus.io/docs/multi-vector-search.md.
  13. ↑ 13.0 13.1 Cohere Docs. Rerank API. docs.cohere.com/reference/rerank.
  14. ↑ OpenAI. GPT‑4V(ision) System Card. (2023). PDF.
  15. ↑ OpenAI. Hello GPT‑4o. (2024). openai.com/index/hello-gpt-4o/.
  16. ↑ Es, S. et al. (2023). RAGAS: Automated Evaluation of Retrieval Augmented Generation. arXiv:2309.15217.
  17. ↑ Mathew, M. et al. (2021). InfographicVQA: Understanding Infographics via Question Answering. ICDAR. arXiv:2104.12756.
  18. ↑ Masry, A. et al. (2022). ChartQA: A Benchmark for Question Answering about Charts. ACL (Findings). arXiv:2103.16435.
  19. ↑ Dong, K. et al. (2025). Benchmarking Retrieval‑Augmented Multimodal Generation for Document QA (MMDocRAG). arXiv:2505.16470.
  20. ↑ Weaviate Docs. Hybrid search. docs.weaviate.io/.../hybrid-search.
  21. ↑ Faysse, M. et al. (2024). ColPali: Efficient Document Retrieval with Vision‑Language Models. arXiv:2407.01449.
Retrieved from "https://systems-analysis.info/int/index.php?title=MM-RAG_(Multimodal_RAG)_(HI)&oldid=4049"