MM-RAG (Multimodal RAG) (PL)

From Systems analysis Wiki
Jump to navigation Jump to search

MM-RAG (ang. Multimodal Retrieval-Augmented Generation) — rozszerzenie klasycznego paradygmatu RAG, w którym LLM wykorzystują do odpowiedzi nie tylko tekst, lecz także dane wizualne (obrazy, schematy, tabele, wykresy). Multimodalny retrieval umożliwia znajdowanie i łączenie dowodów w różnych reprezentacjach, zmniejszając ryzyko halucynacji dzięki oparciu na zewnętrznych źródłach z precyzyjnym powiązaniem z fragmentami stron i obszarami (bounding boxes)[1][2].

MM-RAG jest szczególnie przydatny w przypadku dokumentów, w których znaczna część sensu zawarta jest w formie nietekstowej (układ strony, diagramy, struktury tabel). W takich przypadkach klasyczny tekstowy RAG często traci ważne elementy kontekstu[3][4].

Kontekst i rozwiązywany problem

Klasyczny RAG operuje na fragmentach tekstowych i nie widzi struktur wizualnych (rozmieszczenie elementów, podpisy pod rysunkami, osie wykresów). MM-RAG wypełnia te luki: ekstrahuje elementy strukturalne (tekst, tabele, obrazy ze współrzędnymi), indeksuje je w przestrzeni wektorowej i łączy dowody z różnych modalności[5][6].

Architektura MM-RAG

Potok MM-RAG dodaje do klasycznego RAG etapy przetwarzania danych wizualnych i wyrównywania modalności: ingest → indeksowanie → multimodalny retrieval → łączenie i reranking → generacja z śledzeniem.

  1. Zbieranie i preprocessing (Ingestion). Na wejściu pojawiają się pliki PDF/skany/obrazy. Wykonywane jest OCR oraz analiza układu strony w celu wyodrębnienia stref: akapity, nagłówki, tabele, obrazy i ich współrzędne. Typowe narzędzia to modele z rodziny LayoutLM oraz biblioteki narzędziowe LayoutParser; walidacja i trenowanie często opierają się na datasetach PubLayNet i DocLayNet[7][8][9].
  2. Segmentacja na regiony. Ekstrahowane są obiekty wizualne (diagramy, tabele, ilustracje, podpisy). Dla zwiększonej odporności stosowane są modele OCR‑free (np. Donut) lub kombinowane pipeline'y OCR+VLM[10].
  3. Indeksowanie (Vector Index). Fragmenty tekstowe i elementy wizualne (obrazy lub ich opisy) przekształcane są w reprezentacje wektorowe i zapisywane w wektorowej bazie danych. Do ujednoliconej przestrzeni text↔image stosowane są CLIP lub SigLIP; w środowiskach produkcyjnych wygodne są multimodalne/multiwekotrowe indeksy (jeden obiekt — kilka wektorów)[6][11][12].
  4. Multimodalny retrieval i reranking. Wykonywana jest kombinacja wyszukiwania tekstowego i wizualnego; kandydaci (akapity, tabele, obrazy/regiony) są łączeni i rerankingowani przez „cięższy" model (cross‑encoder/LLM‑reranker) w celu zwiększenia precyzji[13].
  5. Pakowanie kontekstu i generacja. Wybrane fragmenty są podawane do LLM/VLM. Jeśli model jest multimodalny (np. GPT‑4V/4o), obrazy mogą być podawane bezpośrednio; w przypadku tekstowego LLM obrazy są wcześniej konwertowane na szczegółowe opisy[14][15].
  6. Śledzenie i cytowanie. Odpowiedź opatrzona jest klikalnymi cytowaniami powiązanymi nie tylko z dokumentem/stroną, lecz także z regionem (współrzędnymi). Zwiększa to poziom grounding i zaufanie użytkowników[2].

Ocena jakości i metryki

Efektywność MM‑RAG oceniana jest na poziomach ekstrakcji, retrievalu i generacji.

  • Jakość ekstrakcji danych wizualnych. Dokładność OCR (WER/CER), jakość analizy układu (mAP/Precision/Recall) na zbiorach DocLayNet/PubLayNet[8][7].
  • Jakość retrievalu. Standardowe metryki IR: Recall@K, Precision@K, MRR; dla multimodalności — osobno według modalności i łącznie.
  • Jakość odpowiedzi (end‑to‑end). Automatyczne metryki faithfulness/groundedness oraz ocena ludzka. W praktyce stosowane są frameworki RAGAS/TruLens/DeepEval[16].
  • Benchmarki.
    • DocVQA: pytania do obrazów dokumentów[3].
    • TextVQA: pytania wymagające odczytania tekstu na obrazach[4].
    • InfographicVQA: pytania dotyczące infografik[17].
    • ChartQA: pytania dotyczące diagramów wymagające rozumowania logicznego[18].
    • MMDocRAG: benchmark multimodalnego RAG dla DocQA (wielostronicowe dokumenty, krosmodalne łańcuchy dowodów)[19].

Tabela porównawcza komponentów

Porównanie kluczowych komponentów i podejść w MM‑RAG
Komponent Warianty implementacji Zalety Wady / ryzyka Kiedy wybierać
OCR Tesseract / PaddleOCR / chmurowe API Lokalne — prywatność i kontrola; chmurowe — wysoka dokładność „z pudełka". Błędy na złożonych układach; API — koszty i wymagania compliance. Dane prywatne — lokalny OCR; maksymalna dokładność — chmura (jeśli dopuszczalne).
Analiza układu Reguły / model ML (LayoutLM, LayoutParser) Reguły proste dla jednorodnych szablonów; ML — odporny na różnorodność. Reguły zawodzą na nowych układach; ML wymaga zasobów/danych. Jednorodne formularze — reguły; niejednorodny korpus — ML.
Wektoryzacja (obraz.) CLIP / SigLIP / opisy OCR‑free (Donut/Pix2Struct) Wspólna przestrzeń latentna text↔image (CLIP/SigLIP); OCR‑free eliminuje zależność od OCR. CLIP nie odczytuje tekstu wewnątrz obrazów; opisy mogą zniekształcać sens. CLIP/SigLIP — podstawowe wyszukiwanie multimodalne; OCR‑free dla skanów trudnej jakości.
Łączenie wyników Sortowanie według score / limity według modalności / LLM‑reranker Reranker wyraźnie zwiększa precyzję doboru kontekstu. Wzrost opóźnienia i kosztów. Scenariusze wymagające wysokiej precyzji; proste metody — dla PoC.
Magazyn/indeks Jeden wektor / multiwektor (text+image) / hybrydowy (BM25+vector) Multiwektor pokrywa różne reprezentacje jednego obiektu; hybrydowy sprawdza się przy słowach kluczowych/kodach. Komplikacja schematu i aktualizacji. Systemy produkcyjne ze mieszanymi danymi i rygorystycznym SLA.

Uwagi praktyczne

  • Wyszukiwanie hybrydowe (BM25 + wektor) — de facto standard dla zwiększenia kompletności i precyzji na specyficznych terminach/kodach[20].
  • Reranking cross‑encoderem/LLM oszczędza tokeny, odrzucając „śmieciowych" kandydatów przed generacją[13].
  • Nowoczesne retrievery VLM (np. ColPali) wykazują przewagę na dokumentach bogatych wizualnie dzięki bezpośredniemu indeksowaniu stron jako obrazów[21].

Literatura

  • Lewis, P. et al. (2020). Retrieval‑Augmented Generation for Knowledge‑Intensive NLP Tasks. NeurIPS. arXiv:2005.11401.
  • Gao, L. et al. (2023). Precise Zero‑Shot Dense Retrieval without Relevance Labels (HyDE). ACL 2023. arXiv:2212.10496.
  • Mei, L., Mo, S., Yang, Z., Chen, C. (2025). A Survey of Multimodal Retrieval‑Augmented Generation. arXiv:2504.08748.
  • Abootorabi, M.M. et al. (2025). Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval‑Augmented Generation. Findings of ACL 2025. ACL Anthology.
  • Yu, S. et al. (2024). VisRAG: Vision‑based Retrieval‑augmented Generation on Multi‑modality Documents. arXiv:2410.10594.
  • Cho, J. et al. (2024). M3DocRAG: Multi‑modal Retrieval is What You Need for Multi‑document QA. arXiv:2411.04952.
  • Tanaka, R. et al. (2025). VDocRAG: Retrieval‑Augmented Generation over Visually‑Rich Documents. CVPR 2025. arXiv:2504.09795 • CVF Open Access.
  • Dong, K. et al. (2025). MMDocRAG: Benchmarking Retrieval‑Augmented Multimodal Generation for Document Question Answering. arXiv:2505.16470.
  • Wasserman, N. et al. (2025). REAL‑MM‑RAG: A Real‑World Multi‑Modal Retrieval Benchmark. arXiv:2502.12342.
  • Faysse, M. et al. (2024). ColPali: Efficient Document Retrieval with Vision Language Models. arXiv:2407.01449.
  • Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP). ICML 2021. arXiv:2103.00020.
  • Tschannen, M. et al. (2025). SigLIP 2: Multilingual Vision‑Language Encoders with Improved Semantic Understanding, Localization, and Dense Features. arXiv:2502.14786.
  • Xu, Y. et al. (2020). LayoutLM: Pre‑training of Text and Layout for Document Image Understanding. KDD 2020. DOI • arXiv:1912.13318.
  • Huang, Y. et al. (2022). LayoutLMv3: Pre‑training for Document AI with Unified Text and Image Masking. arXiv:2204.08387.
  • Zhong, X., Tang, J., Jimeno‑Yepes, A.J. (2019). PubLayNet: Largest Dataset Ever for Document Layout Analysis. arXiv:1908.07836.
  • Pfitzmann, B. et al. (2022). DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis. arXiv:2206.01062.
  • Kim, G. et al. (2021). OCR‑free Document Understanding Transformer (Donut). arXiv:2111.15664.
  • Shen, Z. et al. (2021). LayoutParser: A Unified Toolkit for Deep Learning Based Document Image Analysis. arXiv:2103.15348.
  • Singh, A. et al. (2019). Towards VQA Models That Can Read (TextVQA). CVPR 2019. arXiv:1904.08920.
  • Mathew, M. et al. (2021/2022). DocVQA / InfographicVQA: Datasets for VQA on Document Images and Infographics. WACV 2021 / WACV 2022. CVF • arXiv:2104.12756.
  • Masry, A. et al. (2022). ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning. Findings of ACL 2022. ACL • arXiv:2203.10244.
  • Liu, F. et al. (2022). DePlot: One‑shot Visual Language Reasoning by Plot‑to‑Table Translation. arXiv:2212.10505.
  • Wang, P. et al. (2024). Qwen2‑VL: Enhancing Vision‑Language Model's Capabilities in OCR and Chart QA. arXiv:2409.12191.
  • Es, S. et al. (2023). RAGAS: Automated Evaluation of Retrieval‑Augmented Generation. arXiv:2309.15217.

Zobacz też

  • Retrieval-Augmented Generation
  • Wektorowa baza danych
  • Embedding
  • GraphRAG

Przypisy

  1. ↑ Lewis, P., Perez, E., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS. arXiv:2005.11401.
  2. ↑ 2.0 2.1 Yu, S. et al. (2024). VisRAG: Vision-based Retrieval-Augmented Generation on Multi-modality Documents. arXiv:2407.06437.
  3. ↑ 3.0 3.1 Mathew, M. et al. (2021). DocVQA: A Dataset for VQA on Document Images. WACV. arXiv:2007.00398.
  4. ↑ 4.0 4.1 Singh, A. et al. (2019). TextVQA: Towards VQA Models That Can Read. CVPR. arXiv:1904.08920.
  5. ↑ Xu, Y. et al. (2020). LayoutLM: Pre-training of Text and Layout for Document Image Understanding. KDD. DOI.
  6. ↑ 6.0 6.1 Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP). ICML. arXiv:2103.00020.
  7. ↑ 7.0 7.1 Zhong, X., Tang, J., Yepes, A. J. (2019). PubLayNet: Largest Dataset for Document Layout Analysis. ICDAR. arXiv:1908.07836.
  8. ↑ 8.0 8.1 Pfitzmann, B. et al. (2022). DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis. KDD. DOI / arXiv:2206.01062.
  9. ↑ Shen, Z. et al. (2021). LayoutParser: A Unified Toolkit for DL‑based Document Image Analysis. arXiv:2103.15348.
  10. ↑ Kim, G. et al. (2021). Donut: OCR‑free Document Understanding Transformer. arXiv:2111.15664.
  11. ↑ Zhai, X. et al. (2023). Sigmoid Loss for Language‑Image Pre‑Training (SigLIP). ICCV. arXiv:2303.15343.
  12. ↑ Milvus Docs. Multi‑Vector Hybrid Search. milvus.io/docs/multi-vector-search.md.
  13. ↑ 13.0 13.1 Cohere Docs. Rerank API. docs.cohere.com/reference/rerank.
  14. ↑ OpenAI. GPT‑4V(ision) System Card. (2023). PDF.
  15. ↑ OpenAI. Hello GPT‑4o. (2024). openai.com/index/hello-gpt-4o/.
  16. ↑ Es, S. et al. (2023). RAGAS: Automated Evaluation of Retrieval Augmented Generation. arXiv:2309.15217.
  17. ↑ Mathew, M. et al. (2021). InfographicVQA: Understanding Infographics via Question Answering. ICDAR. arXiv:2104.12756.
  18. ↑ Masry, A. et al. (2022). ChartQA: A Benchmark for Question Answering about Charts. ACL (Findings). arXiv:2103.16435.
  19. ↑ Dong, K. et al. (2025). Benchmarking Retrieval‑Augmented Multimodal Generation for Document QA (MMDocRAG). arXiv:2505.16470.
  20. ↑ Weaviate Docs. Hybrid search. docs.weaviate.io/.../hybrid-search.
  21. ↑ Faysse, M. et al. (2024). ColPali: Efficient Document Retrieval with Vision‑Language Models. arXiv:2407.01449.
Retrieved from "https://systems-analysis.info/int/index.php?title=MM-RAG_(Multimodal_RAG)_(PL)&oldid=4055"