---
title: "MM-RAG (Multimodal RAG) (PT)"
source: "https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)"
wiki: "systems-analysis.info/int"
article: "MM-RAG_(Multimodal_RAG)_(PT)"
language: "pt"
categories:
  - "Category:Large language models"
  - "Category:Portuguese"
  - "Category:Prompt engineering"
revision_id: 4056
wiki_created_at: 2026-09-06T23:29:52Z
wiki_modified_at: 2026-09-06T23:29:52Z
downloaded_at: 2026-09-07T23:00:37Z
---

# MM-RAG (Multimodal RAG) (PT)

**MM-RAG** (do inglês *Multimodal Retrieval-Augmented Generation*) é uma extensão do paradigma clássico de RAG, na qual os LLMs utilizam para gerar respostas não apenas texto, mas também dados visuais (imagens, diagramas, tabelas, gráficos). A recuperação multimodal permite encontrar e conectar evidências em diferentes representações, reduzindo o risco de alucinações ao se basear em fontes externas com vinculação precisa a fragmentos de páginas e áreas específicas (*bounding boxes*)<sup>[\[1\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-lewis2020-1)[\[2\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-visrag2024-2)</sup>.

O MM-RAG é especialmente útil para documentos onde uma parte significativa do significado é apresentada de forma não textual (layout da página, diagramas, estruturas de tabelas). Nesses casos, o RAG textual clássico frequentemente perde elementos importantes do contexto<sup>[\[3\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-docvqa2021-3)[\[4\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-textvqa2019-4)</sup>.

## Contexto e problema abordado

O RAG clássico opera com passagens de texto e não "enxerga" as estruturas visuais (disposição de elementos, legendas de figuras, eixos de gráficos). O MM-RAG preenche essas lacunas: ele extrai elementos estruturados (texto, tabelas, imagens com coordenadas), indexa-os em um espaço vetorial e combina evidências de diferentes modalidades<sup>[\[5\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-layoutlm2020-5)[\[6\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-clip2021-6)</sup>.

## Arquitetura do MM-RAG

O pipeline do MM-RAG adiciona ao RAG clássico etapas de processamento de dados visuais e alinhamento de modalidades: **ingestão → indexação → recuperação multimodal → fusão e reclassificação → geração com rastreabilidade**.

1.  **Coleta e pré-processamento (Ingestion).** A entrada consiste em PDFs/scans/imagens. São executados OCR e a **análise de layout** da página para identificar zonas: parágrafos, títulos, tabelas, imagens e suas coordenadas. Ferramentas típicas incluem modelos da família LayoutLM e bibliotecas como LayoutParser; a validação e o treinamento frequentemente se baseiam nos datasets PubLayNet e DocLayNet<sup>[\[7\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-publaynet2019-7)[\[8\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-doclaynet2022-8)[\[9\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-layoutparser2021-9)</sup>.
2.  **Segmentação em regiões.** Objetos visuais (diagramas, tabelas, ilustrações, legendas) são extraídos. Para maior robustez, são utilizados modelos OCR‑free (ex., Donut) ou pipelines combinados OCR+VLM<sup>[\[10\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-donut2021-10)</sup>.
3.  **Indexação (Vector Index).** Chunks de texto e elementos visuais (imagens ou suas descrições) são convertidos em representações vetoriais e armazenados em um banco de dados vetorial. Para o espaço unificado *text↔image*, são aplicados modelos como CLIP ou SigLIP; para produção, são convenientes índices multimodais/multivetoriais (um objeto — múltiplos vetores)<sup>[\[6\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-clip2021-6)[\[11\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-siglip2023-11)[\[12\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-milvus-mv-12)</sup>.
4.  **Recuperação multimodal e reclassificação.** É realizada uma combinação de busca textual e visual; os candidatos (parágrafos, tabelas, imagens/regiões) são unidos e reclassificados por um modelo mais "pesado" (cross‑encoder/LLM‑reranker) para aumentar a precisão<sup>[\[13\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-cohere-rerank-13)</sup>.
5.  **Empacotamento de contexto e geração.** Os fragmentos selecionados são fornecidos a um LLM/VLM. Se o modelo for multimodal (ex., GPT‑4V/4o), as imagens podem ser passadas diretamente; com um LLM textual, as imagens são previamente convertidas em descrições detalhadas<sup>[\[14\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-gpt4v-14)[\[15\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-gpt4o-15)</sup>.
6.  **Rastreabilidade e citação.** A resposta é acompanhada por citações clicáveis, vinculadas não apenas ao documento/página, mas também à região (coordenadas). Isso aumenta o nível de *grounding* e a confiança do usuário<sup>[\[2\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-visrag2024-2)</sup>.

## Avaliação de qualidade e métricas

A eficácia do MM‑RAG é avaliada nos níveis de extração, recuperação e geração.

- **Qualidade da extração de dados visuais.** Precisão do OCR (WER/CER), qualidade da análise de layout (mAP/Precision/Recall) nos conjuntos de dados DocLayNet/PubLayNet<sup>[\[8\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-doclaynet2022-8)[\[7\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-publaynet2019-7)</sup>.
- **Qualidade da recuperação.** Métricas padrão de recuperação de informação: Recall@K, Precision@K, MRR; para multimodalidade, avaliadas separadamente por modalidade e em conjunto.
- **Qualidade da resposta (end‑to‑end).** Métricas automáticas de *faithfulness*/*groundedness* e avaliação humana. Na prática, são utilizados frameworks como RAGAS/TruLens/DeepEval<sup>[\[16\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-ragas-16)</sup>.
- **Benchmarks.**
  - **DocVQA**: perguntas sobre imagens de documentos<sup>[\[3\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-docvqa2021-3)</sup>.
  - **TextVQA**: perguntas que exigem a leitura de texto em imagens<sup>[\[4\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-textvqa2019-4)</sup>.
  - **InfographicVQA**: perguntas sobre infográficos<sup>[\[17\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-infographicvqa2021-17)</sup>.
  - **ChartQA**: perguntas sobre diagramas que exigem raciocínio lógico<sup>[\[18\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-chartqa2022-18)</sup>.
  - **MMDocRAG**: benchmark de RAG multimodal para DocQA (documentos de múltiplas páginas, cadeias de evidências cross-modais)<sup>[\[19\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-mmdocrag2025-19)</sup>.

## Tabela comparativa de componentes

| Componente            | Opções de implementação                                        | Prós                                                                                                           | Contras / Riscos                                                                    | Quando escolher                                                                   |
|-----------------------|----------------------------------------------------------------|----------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------|
| OCR                   | Tesseract / PaddleOCR / APIs na nuvem                          | Locais: privacidade e controle; Nuvem: alta precisão "out-of-the-box".                                         | Erros em layouts complexos; APIs: custo e requisitos de conformidade.               | Dados privados: OCR local; Precisão máxima: nuvem (se permitido).                 |
| Análise de layout     | Regras / Modelo de ML (LayoutLM, LayoutParser)                 | Regras são simples para templates uniformes; ML é robusto à diversidade.                                       | Regras falham em novos layouts; ML requer recursos/dados.                           | Formulários padronizados: regras; Corpus heterogêneo: ML.                         |
| Vetorização (imagens) | CLIP / SigLIP / Descrições OCR‑free (Donut/Pix2Struct)         | Espaço latente comum *text↔image* (CLIP/SigLIP); OCR‑free elimina a dependência de OCR.                        | O CLIP não lê o texto dentro das imagens; descrições podem distorcer o significado. | CLIP/SigLIP para busca multimodal básica; OCR‑free para scans de baixa qualidade. |
| Fusão de resultados   | Ordenação por score / Cotas por modalidade / LLM‑reranker      | O reclassificador aumenta notavelmente a precisão da seleção de contexto.                                      | Aumento da latência e do custo.                                                     | Cenários de alta precisão; métodos simples para PoC.                              |
| Armazenamento/Índice  | Vetor único / Multivetor (texto+imagem) / Híbrido (BM25+vetor) | O multivetor cobre diferentes representações de um mesmo objeto; o híbrido é útil para palavras-chave/códigos. | Complexidade do esquema e das atualizações.                                         | Sistemas de produção com dados mistos e SLAs rigorosos.                           |

Comparação de componentes e abordagens chave no MM‑RAG

## Observações práticas

- **Busca híbrida** (BM25 + vetor) é o padrão de fato para aumentar a abrangência e a precisão em termos/códigos específicos<sup>[\[20\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-weaviate-hybrid-20)</sup>.
- **Reclassificação** com cross-encoder/LLM economiza tokens ao descartar candidatos "lixo" antes da geração<sup>[\[13\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-cohere-rerank-13)</sup>.
- **Recuperadores VLM modernos** (ex., ColPali) demonstram vantagens em documentos visualmente ricos devido à indexação direta de páginas como imagens<sup>[\[21\]](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_note-colpali2024-21)</sup>.

## Ver também

- Retrieval-Augmented Generation
- Banco de dados vetorial
- Embedding
- GraphRAG

## Literatura

- Lewis, P. et al. (2020). *Retrieval‑Augmented Generation for Knowledge‑Intensive NLP Tasks*. NeurIPS. <a href="https://arxiv.org/abs/2005.11401" class="external text" rel="nofollow">arXiv:2005.11401</a>.
- Gao, L. et al. (2023). *Precise Zero‑Shot Dense Retrieval without Relevance Labels (HyDE)*. ACL 2023. <a href="https://arxiv.org/abs/2212.10496" class="external text" rel="nofollow">arXiv:2212.10496</a>.
- Mei, L., Mo, S., Yang, Z., Chen, C. (2025). *A Survey of Multimodal Retrieval‑Augmented Generation*. <a href="https://arxiv.org/abs/2504.08748" class="external text" rel="nofollow">arXiv:2504.08748</a>.
- Abootorabi, M.M. et al. (2025). *Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval‑Augmented Generation*. Findings of ACL 2025. <a href="https://aclanthology.org/2025.findings-acl.861/" class="external text" rel="nofollow">ACL Anthology</a>.
- Yu, S. et al. (2024). *VisRAG: Vision‑based Retrieval‑augmented Generation on Multi‑modality Documents*. <a href="https://arxiv.org/abs/2410.10594" class="external text" rel="nofollow">arXiv:2410.10594</a>.
- Cho, J. et al. (2024). *M3DocRAG: Multi‑modal Retrieval is What You Need for Multi‑document QA*. <a href="https://arxiv.org/abs/2411.04952" class="external text" rel="nofollow">arXiv:2411.04952</a>.
- Tanaka, R. et al. (2025). *VDocRAG: Retrieval‑Augmented Generation over Visually‑Rich Documents*. CVPR 2025. <a href="https://arxiv.org/abs/2504.09795" class="external text" rel="nofollow">arXiv:2504.09795</a> • <a href="https://openaccess.thecvf.com/content/CVPR2025/papers/Tanaka_VDocRAG_Retrieval-Augmented_Generation_over_Visually-Rich_Documents_CVPR_2025_paper.pdf" class="external text" rel="nofollow">CVF Open Access</a>.
- Dong, K. et al. (2025). *MMDocRAG: Benchmarking Retrieval‑Augmented Multimodal Generation for Document Question Answering*. <a href="https://arxiv.org/abs/2505.16470" class="external text" rel="nofollow">arXiv:2505.16470</a>.
- Wasserman, N. et al. (2025). *REAL‑MM‑RAG: A Real‑World Multi‑Modal Retrieval Benchmark*. <a href="https://arxiv.org/abs/2502.12342" class="external text" rel="nofollow">arXiv:2502.12342</a>.
- Faysse, M. et al. (2024). *ColPali: Efficient Document Retrieval with Vision Language Models*. <a href="https://arxiv.org/abs/2407.01449" class="external text" rel="nofollow">arXiv:2407.01449</a>.
- Radford, A. et al. (2021). *Learning Transferable Visual Models From Natural Language Supervision (CLIP)*. ICML 2021. <a href="https://arxiv.org/abs/2103.00020" class="external text" rel="nofollow">arXiv:2103.00020</a>.
- Tschannen, M. et al. (2025). *SigLIP 2: Multilingual Vision‑Language Encoders with Improved Semantic Understanding, Localization, and Dense Features*. <a href="https://arxiv.org/abs/2502.14786" class="external text" rel="nofollow">arXiv:2502.14786</a>.
- Xu, Y. et al. (2020). *LayoutLM: Pre‑training of Text and Layout for Document Image Understanding*. KDD 2020. <a href="https://dl.acm.org/doi/10.1145/3394486.3403172" class="external text" rel="nofollow">DOI</a> • <a href="https://arxiv.org/abs/1912.13318" class="external text" rel="nofollow">arXiv:1912.13318</a>.
- Huang, Y. et al. (2022). *LayoutLMv3: Pre‑training for Document AI with Unified Text and Image Masking*. <a href="https://arxiv.org/abs/2204.08387" class="external text" rel="nofollow">arXiv:2204.08387</a>.
- Zhong, X., Tang, J., Jimeno‑Yepes, A.J. (2019). *PubLayNet: Largest Dataset Ever for Document Layout Analysis*. <a href="https://arxiv.org/abs/1908.07836" class="external text" rel="nofollow">arXiv:1908.07836</a>.
- Pfitzmann, B. et al. (2022). *DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis*. <a href="https://arxiv.org/abs/2206.01062" class="external text" rel="nofollow">arXiv:2206.01062</a>.
- Kim, G. et al. (2021). *OCR‑free Document Understanding Transformer (Donut)*. <a href="https://arxiv.org/abs/2111.15664" class="external text" rel="nofollow">arXiv:2111.15664</a>.
- Shen, Z. et al. (2021). *LayoutParser: A Unified Toolkit for Deep Learning Based Document Image Analysis*. <a href="https://arxiv.org/abs/2103.15348" class="external text" rel="nofollow">arXiv:2103.15348</a>.
- Singh, A. et al. (2019). *Towards VQA Models That Can Read (TextVQA)*. CVPR 2019. <a href="https://arxiv.org/abs/1904.08920" class="external text" rel="nofollow">arXiv:1904.08920</a>.
- Mathew, M. et al. (2021/2022). *DocVQA / InfographicVQA: Datasets for VQA on Document Images and Infographics*. WACV 2021 / WACV 2022. <a href="https://openaccess.thecvf.com/content/WACV2021/html/Mathew_DocVQA_A_Dataset_for_VQA_on_Document_Images_WACV_2021_paper.html" class="external text" rel="nofollow">CVF</a> • <a href="https://arxiv.org/abs/2104.12756" class="external text" rel="nofollow">arXiv:2104.12756</a>.
- Masry, A. et al. (2022). *ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning*. Findings of ACL 2022. <a href="https://aclanthology.org/2022.findings-acl.177/" class="external text" rel="nofollow">ACL</a> • <a href="https://arxiv.org/abs/2203.10244" class="external text" rel="nofollow">arXiv:2203.10244</a>.
- Liu, F. et al. (2022). *DePlot: One‑shot Visual Language Reasoning by Plot‑to‑Table Translation*. <a href="https://arxiv.org/abs/2212.10505" class="external text" rel="nofollow">arXiv:2212.10505</a>.
- Wang, P. et al. (2024). *Qwen2‑VL: Enhancing Vision‑Language Model’s Capabilities in OCR and Chart QA*. <a href="https://arxiv.org/abs/2409.12191" class="external text" rel="nofollow">arXiv:2409.12191</a>.
- Es, S. et al. (2023). *RAGAS: Automated Evaluation of Retrieval‑Augmented Generation*. <a href="https://arxiv.org/abs/2309.15217" class="external text" rel="nofollow">arXiv:2309.15217</a>.

## Notas

1.  <span id="cite_note-lewis2020-1">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-lewis2020_1-0) Lewis, P., Perez, E., et al. (2020). *Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks*. NeurIPS. <a href="https://arxiv.org/abs/2005.11401" class="external text" rel="nofollow">arXiv:2005.11401</a>.</span>
2.  <span id="cite_note-visrag2024-2">↑ <sup>[2.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-visrag2024_2-0)</sup> <sup>[2.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-visrag2024_2-1)</sup> Yu, S. et al. (2024). *VisRAG: Vision-based Retrieval-Augmented Generation on Multi-modality Documents*. <a href="https://arxiv.org/abs/2407.06437" class="external text" rel="nofollow">arXiv:2407.06437</a>.</span>
3.  <span id="cite_note-docvqa2021-3">↑ <sup>[3.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-docvqa2021_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-docvqa2021_3-1)</sup> Mathew, M. et al. (2021). *DocVQA: A Dataset for VQA on Document Images*. WACV. <a href="https://arxiv.org/abs/2007.00398" class="external text" rel="nofollow">arXiv:2007.00398</a>.</span>
4.  <span id="cite_note-textvqa2019-4">↑ <sup>[4.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-textvqa2019_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-textvqa2019_4-1)</sup> Singh, A. et al. (2019). *TextVQA: Towards VQA Models That Can Read*. CVPR. <a href="https://arxiv.org/abs/1904.08920" class="external text" rel="nofollow">arXiv:1904.08920</a>.</span>
5.  <span id="cite_note-layoutlm2020-5">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-layoutlm2020_5-0) Xu, Y. et al. (2020). *LayoutLM: Pre-training of Text and Layout for Document Image Understanding*. KDD. <a href="https://dl.acm.org/doi/10.1145/3394486.3403172" class="external text" rel="nofollow">DOI</a>.</span>
6.  <span id="cite_note-clip2021-6">↑ <sup>[6.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-clip2021_6-0)</sup> <sup>[6.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-clip2021_6-1)</sup> Radford, A. et al. (2021). *Learning Transferable Visual Models From Natural Language Supervision (CLIP)*. ICML. <a href="https://arxiv.org/abs/2103.00020" class="external text" rel="nofollow">arXiv:2103.00020</a>.</span>
7.  <span id="cite_note-publaynet2019-7">↑ <sup>[7.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-publaynet2019_7-0)</sup> <sup>[7.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-publaynet2019_7-1)</sup> Zhong, X., Tang, J., Yepes, A. J. (2019). *PubLayNet: Largest Dataset for Document Layout Analysis*. ICDAR. <a href="https://arxiv.org/abs/1908.07836" class="external text" rel="nofollow">arXiv:1908.07836</a>.</span>
8.  <span id="cite_note-doclaynet2022-8">↑ <sup>[8.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-doclaynet2022_8-0)</sup> <sup>[8.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-doclaynet2022_8-1)</sup> Pfitzmann, B. et al. (2022). *DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis*. KDD. <a href="https://dl.acm.org/doi/10.1145/3534678.3539043" class="external text" rel="nofollow">DOI</a> / <a href="https://arxiv.org/abs/2206.01062" class="external text" rel="nofollow">arXiv:2206.01062</a>.</span>
9.  <span id="cite_note-layoutparser2021-9">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-layoutparser2021_9-0) Shen, Z. et al. (2021). *LayoutParser: A Unified Toolkit for DL‑based Document Image Analysis*. <a href="https://arxiv.org/abs/2103.15348" class="external text" rel="nofollow">arXiv:2103.15348</a>.</span>
10. <span id="cite_note-donut2021-10">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-donut2021_10-0) Kim, G. et al. (2021). *Donut: OCR‑free Document Understanding Transformer*. <a href="https://arxiv.org/abs/2111.15664" class="external text" rel="nofollow">arXiv:2111.15664</a>.</span>
11. <span id="cite_note-siglip2023-11">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-siglip2023_11-0) Zhai, X. et al. (2023). *Sigmoid Loss for Language‑Image Pre‑Training (SigLIP)*. ICCV. <a href="https://arxiv.org/abs/2303.15343" class="external text" rel="nofollow">arXiv:2303.15343</a>.</span>
12. <span id="cite_note-milvus-mv-12">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-milvus-mv_12-0) Milvus Docs. *Multi‑Vector Hybrid Search*. <a href="https://milvus.io/docs/multi-vector-search.md" class="external text" rel="nofollow">milvus.io/docs/multi-vector-search.md</a>.</span>
13. <span id="cite_note-cohere-rerank-13">↑ <sup>[13.0](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-cohere-rerank_13-0)</sup> <sup>[13.1](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-cohere-rerank_13-1)</sup> Cohere Docs. *Rerank API*. <a href="https://docs.cohere.com/reference/rerank" class="external text" rel="nofollow">docs.cohere.com/reference/rerank</a>.</span>
14. <span id="cite_note-gpt4v-14">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-gpt4v_14-0) OpenAI. *GPT‑4V(ision) System Card*. (2023). <a href="https://cdn.openai.com/papers/GPTV_System_Card.pdf" class="external text" rel="nofollow">PDF</a>.</span>
15. <span id="cite_note-gpt4o-15">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-gpt4o_15-0) OpenAI. *Hello GPT‑4o*. (2024). <a href="https://openai.com/index/hello-gpt-4o/" class="external text" rel="nofollow">openai.com/index/hello-gpt-4o/</a>.</span>
16. <span id="cite_note-ragas-16">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-ragas_16-0) Es, S. et al. (2023). *RAGAS: Automated Evaluation of Retrieval Augmented Generation*. <a href="https://arxiv.org/abs/2309.15217" class="external text" rel="nofollow">arXiv:2309.15217</a>.</span>
17. <span id="cite_note-infographicvqa2021-17">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-infographicvqa2021_17-0) Mathew, M. et al. (2021). *InfographicVQA: Understanding Infographics via Question Answering*. ICDAR. <a href="https://arxiv.org/abs/2104.12756" class="external text" rel="nofollow">arXiv:2104.12756</a>.</span>
18. <span id="cite_note-chartqa2022-18">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-chartqa2022_18-0) Masry, A. et al. (2022). *ChartQA: A Benchmark for Question Answering about Charts*. ACL (Findings). <a href="https://arxiv.org/abs/2103.16435" class="external text" rel="nofollow">arXiv:2103.16435</a>.</span>
19. <span id="cite_note-mmdocrag2025-19">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-mmdocrag2025_19-0) Dong, K. et al. (2025). *Benchmarking Retrieval‑Augmented Multimodal Generation for Document QA (MMDocRAG)*. <a href="https://arxiv.org/abs/2505.16470" class="external text" rel="nofollow">arXiv:2505.16470</a>.</span>
20. <span id="cite_note-weaviate-hybrid-20">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-weaviate-hybrid_20-0) Weaviate Docs. *Hybrid search*. <a href="https://docs.weaviate.io/weaviate/concepts/search/hybrid-search" class="external text" rel="nofollow">docs.weaviate.io/.../hybrid-search</a>.</span>
21. <span id="cite_note-colpali2024-21">[↑](https://systems-analysis.info/int/MM-RAG_(Multimodal_RAG)_(PT)#cite_ref-colpali2024_21-0) Faysse, M. et al. (2024). *ColPali: Efficient Document Retrieval with Vision‑Language Models*. <a href="https://arxiv.org/abs/2407.01449" class="external text" rel="nofollow">arXiv:2407.01449</a>.</span>