MM-RAG (Multimodal RAG) (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

MM-RAG (영어: Multimodal Retrieval-Augmented Generation) — 이는 고전적인 RAG 패러다임의 확장으로, LLM이 답변 생성 시 텍스트뿐만 아니라 시각적 데이터(이미지, 다이어그램, 표, 그래프)도 활용하는 방식입니다. 멀티모달 retrieval을 통해 다양한 표현 방식에서 증거를 탐색하고 연결하며, 페이지 단편 및 영역(bounding boxes)에 대한 정확한 참조를 갖춘 외부 출처에 의존함으로써 환각 위험을 줄입니다[1][2].

MM-RAG는 페이지 레이아웃, 다이어그램, 표 구조 등 비텍스트 형식으로 의미의 상당 부분이 표현되는 문서에 특히 유용합니다. 이러한 경우 고전적인 텍스트 RAG는 종종 중요한 맥락 요소를 놓치게 됩니다[3][4].

맥락 및 해결 과제

고전적인 RAG는 텍스트 단락을 처리하며 시각적 구조(요소 배치, 그림 캡션, 그래프 축)를 인식하지 못합니다. MM-RAG는 이러한 공백을 메웁니다: 구조화된 요소(텍스트, 표, 좌표가 포함된 이미지)를 추출하고, 이를 벡터 공간에 인덱싱하며, 서로 다른 모달리티의 증거를 결합합니다[5][6].

MM-RAG 아키텍처

MM-RAG 파이프라인은 고전적인 RAG에 시각 데이터 처리 및 모달리티 정렬 단계를 추가합니다: 수집(ingestion) → 인덱싱 → 멀티모달 retrieval → 병합 및 재순위화 → 추적을 포함한 생성.

  1. 수집 및 전처리(Ingestion). 입력으로 PDF/스캔본/이미지가 제공됩니다. OCR 및 페이지 레이아웃 분석을 수행하여 문단, 제목, 표, 이미지 및 해당 좌표 등의 영역을 구분합니다. 일반적인 도구로는 LayoutLM 계열 모델과 LayoutParser 라이브러리가 있으며, 검증 및 학습에는 PubLayNet 및 DocLayNet dataset이 자주 활용됩니다[7][8][9].
  2. 영역 분할(Segmentation). 시각적 객체(다이어그램, 표, 삽화, 캡션)가 추출됩니다. 향상된 견고성을 위해 OCR‑free 모델(예: Donut) 또는 OCR+VLM 복합 파이프라인이 활용됩니다[10].
  3. 인덱싱(Vector Index). 텍스트 청크와 시각적 요소(이미지 또는 그 설명)가 벡터 표현으로 변환되어 벡터 데이터베이스에 저장됩니다. text↔image 통합 공간을 위해 CLIP 또는 SigLIP이 사용되며, 프로덕션 환경에서는 멀티모달/멀티벡터 인덱스(객체 하나에 여러 벡터)가 편리합니다[6][11][12].
  4. 멀티모달 retrieval 및 재순위화. 텍스트 검색과 시각 검색이 결합되어 수행되며, 후보(문단, 표, 이미지/영역)가 통합된 후 더 '무거운' 모델(크로스 인코더/LLM reranker)에 의해 재순위화되어 정밀도가 향상됩니다[13].
  5. 컨텍스트 패킹 및 생성. 선별된 단편이 LLM/VLM에 입력됩니다. 멀티모달 모델(예: GPT‑4V/4o)의 경우 이미지를 직접 입력할 수 있으며, 텍스트 전용 LLM의 경우 이미지를 사전에 상세 설명으로 변환합니다[14][15].
  6. 추적 및 인용. 답변에는 문서/페이지뿐만 아니라 영역(좌표)까지 연결되는 클릭 가능한 인용이 포함됩니다. 이는 grounding 수준을 높이고 사용자 신뢰를 향상시킵니다[2].

품질 평가 및 지표

MM‑RAG의 효과는 추출, retrieval, 생성 수준에서 평가됩니다.

  • 시각 데이터 추출 품질. OCR 정확도(WER/CER), DocLayNet/PubLayNet 데이터셋에서의 레이아웃 분석 품질(mAP/Precision/Recall)[8][7].
  • Retrieval 품질. 정보 검색 표준 지표: Recall@K, Precision@K, MRR; 멀티모달의 경우 모달리티별 및 통합 기준으로 각각 측정.
  • 응답 품질(end‑to‑end). 자동화된 faithfulness/groundedness 지표 및 인간 평가. 실무에서는 RAGAS/TruLens/DeepEval 프레임워크가 활용됩니다[16].
  • Benchmark.
    • DocVQA: 문서 이미지에 대한 질문[3].
    • TextVQA: 이미지 내 텍스트 읽기가 필요한 질문[4].
    • InfographicVQA: 인포그래픽에 관한 질문[17].
    • ChartQA: 논리적 추론이 요구되는 다이어그램 관련 질문[18].
    • MMDocRAG: 문서 QA를 위한 멀티모달 RAG benchmark(다중 페이지 문서, 크로스 모달 증거 체인)[19].

구성 요소 비교표

MM‑RAG의 핵심 구성 요소 및 접근 방식 비교
구성 요소 구현 방식 장점 단점 / 위험 선택 기준
OCR Tesseract / PaddleOCR / 클라우드 API 로컬 — 프라이버시와 제어; 클라우드 — 즉시 사용 가능한 높은 정확도. 복잡한 레이아웃에서의 오류; API — 비용 및 컴플라이언스 요구사항. 비공개 데이터 — 로컬 OCR; 최고 정확도 — 클라우드(허용되는 경우).
레이아웃 분석 규칙 기반 / ML 모델(LayoutLM, LayoutParser) 규칙은 동일한 템플릿에 단순하게 적용; ML — 다양성에 대한 견고성. 규칙은 새로운 레이아웃에서 실패; ML은 리소스/데이터 필요. 동일한 양식 — 규칙; 다양한 코퍼스 — ML.
벡터화(이미지) CLIP / SigLIP / OCR‑free 설명(Donut/Pix2Struct) 통합된 text↔image 잠재 공간(CLIP/SigLIP); OCR‑free는 OCR 의존성 제거. CLIP은 이미지 내부 텍스트를 읽지 못함; 설명이 의미를 왜곡할 수 있음. CLIP/SigLIP — 기본 멀티모달 검색; 복잡한 품질의 스캔에는 OCR‑free.
결과 병합 점수 정렬 / 모달리티별 할당량 / LLM‑reranker Reranker는 컨텍스트 선택 정확도를 눈에 띄게 향상. 지연 시간 및 비용 증가. 고정밀 시나리오; 단순한 방법 — PoC용.
저장소/인덱스 단일 벡터 / 멀티벡터(text+image) / 하이브리드(BM25+vector) 멀티벡터는 동일 객체의 다양한 표현을 커버; 하이브리드는 키워드/코드를 보완. 스키마 및 업데이트의 복잡성 증가. 혼합 데이터와 엄격한 SLA를 갖춘 프로덕션 시스템.

실무적 고려사항

  • 하이브리드 검색(BM25 + 벡터) — 특정 용어/코드에서의 재현율과 정밀도 향상을 위한 사실상의 표준입니다[20].
  • 크로스 인코더/LLM을 활용한 재순위화는 생성 전에 '불필요한' 후보를 제거하여 token을 절약합니다[13].
  • 최신 VLM retriever(예: ColPali)는 페이지 이미지를 직접 인덱싱하는 방식으로 시각적으로 풍부한 문서에서 우수성을 보입니다[21].

참고 문헌

  • Lewis, P. et al. (2020). Retrieval‑Augmented Generation for Knowledge‑Intensive NLP Tasks. NeurIPS. arXiv:2005.11401.
  • Gao, L. et al. (2023). Precise Zero‑Shot Dense Retrieval without Relevance Labels (HyDE). ACL 2023. arXiv:2212.10496.
  • Mei, L., Mo, S., Yang, Z., Chen, C. (2025). A Survey of Multimodal Retrieval‑Augmented Generation. arXiv:2504.08748.
  • Abootorabi, M.M. et al. (2025). Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval‑Augmented Generation. Findings of ACL 2025. ACL Anthology.
  • Yu, S. et al. (2024). VisRAG: Vision‑based Retrieval‑augmented Generation on Multi‑modality Documents. arXiv:2410.10594.
  • Cho, J. et al. (2024). M3DocRAG: Multi‑modal Retrieval is What You Need for Multi‑document QA. arXiv:2411.04952.
  • Tanaka, R. et al. (2025). VDocRAG: Retrieval‑Augmented Generation over Visually‑Rich Documents. CVPR 2025. arXiv:2504.09795 • CVF Open Access.
  • Dong, K. et al. (2025). MMDocRAG: Benchmarking Retrieval‑Augmented Multimodal Generation for Document Question Answering. arXiv:2505.16470.
  • Wasserman, N. et al. (2025). REAL‑MM‑RAG: A Real‑World Multi‑Modal Retrieval Benchmark. arXiv:2502.12342.
  • Faysse, M. et al. (2024). ColPali: Efficient Document Retrieval with Vision Language Models. arXiv:2407.01449.
  • Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP). ICML 2021. arXiv:2103.00020.
  • Tschannen, M. et al. (2025). SigLIP 2: Multilingual Vision‑Language Encoders with Improved Semantic Understanding, Localization, and Dense Features. arXiv:2502.14786.
  • Xu, Y. et al. (2020). LayoutLM: Pre‑training of Text and Layout for Document Image Understanding. KDD 2020. DOI • arXiv:1912.13318.
  • Huang, Y. et al. (2022). LayoutLMv3: Pre‑training for Document AI with Unified Text and Image Masking. arXiv:2204.08387.
  • Zhong, X., Tang, J., Jimeno‑Yepes, A.J. (2019). PubLayNet: Largest Dataset Ever for Document Layout Analysis. arXiv:1908.07836.
  • Pfitzmann, B. et al. (2022). DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis. arXiv:2206.01062.
  • Kim, G. et al. (2021). OCR‑free Document Understanding Transformer (Donut). arXiv:2111.15664.
  • Shen, Z. et al. (2021). LayoutParser: A Unified Toolkit for Deep Learning Based Document Image Analysis. arXiv:2103.15348.
  • Singh, A. et al. (2019). Towards VQA Models That Can Read (TextVQA). CVPR 2019. arXiv:1904.08920.
  • Mathew, M. et al. (2021/2022). DocVQA / InfographicVQA: Datasets for VQA on Document Images and Infographics. WACV 2021 / WACV 2022. CVF • arXiv:2104.12756.
  • Masry, A. et al. (2022). ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning. Findings of ACL 2022. ACL • arXiv:2203.10244.
  • Liu, F. et al. (2022). DePlot: One‑shot Visual Language Reasoning by Plot‑to‑Table Translation. arXiv:2212.10505.
  • Wang, P. et al. (2024). Qwen2‑VL: Enhancing Vision‑Language Model's Capabilities in OCR and Chart QA. arXiv:2409.12191.
  • Es, S. et al. (2023). RAGAS: Automated Evaluation of Retrieval‑Augmented Generation. arXiv:2309.15217.

같이 보기

  • Retrieval-Augmented Generation
  • 벡터 데이터베이스
  • Embedding
  • GraphRAG

주석

  1. ↑ Lewis, P., Perez, E., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS. arXiv:2005.11401.
  2. ↑ 2.0 2.1 Yu, S. et al. (2024). VisRAG: Vision-based Retrieval-Augmented Generation on Multi-modality Documents. arXiv:2407.06437.
  3. ↑ 3.0 3.1 Mathew, M. et al. (2021). DocVQA: A Dataset for VQA on Document Images. WACV. arXiv:2007.00398.
  4. ↑ 4.0 4.1 Singh, A. et al. (2019). TextVQA: Towards VQA Models That Can Read. CVPR. arXiv:1904.08920.
  5. ↑ Xu, Y. et al. (2020). LayoutLM: Pre-training of Text and Layout for Document Image Understanding. KDD. DOI.
  6. ↑ 6.0 6.1 Radford, A. et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP). ICML. arXiv:2103.00020.
  7. ↑ 7.0 7.1 Zhong, X., Tang, J., Yepes, A. J. (2019). PubLayNet: Largest Dataset for Document Layout Analysis. ICDAR. arXiv:1908.07836.
  8. ↑ 8.0 8.1 Pfitzmann, B. et al. (2022). DocLayNet: A Large Human‑Annotated Dataset for Document‑Layout Analysis. KDD. DOI / arXiv:2206.01062.
  9. ↑ Shen, Z. et al. (2021). LayoutParser: A Unified Toolkit for DL‑based Document Image Analysis. arXiv:2103.15348.
  10. ↑ Kim, G. et al. (2021). Donut: OCR‑free Document Understanding Transformer. arXiv:2111.15664.
  11. ↑ Zhai, X. et al. (2023). Sigmoid Loss for Language‑Image Pre‑Training (SigLIP). ICCV. arXiv:2303.15343.
  12. ↑ Milvus Docs. Multi‑Vector Hybrid Search. milvus.io/docs/multi-vector-search.md.
  13. ↑ 13.0 13.1 Cohere Docs. Rerank API. docs.cohere.com/reference/rerank.
  14. ↑ OpenAI. GPT‑4V(ision) System Card. (2023). PDF.
  15. ↑ OpenAI. Hello GPT‑4o. (2024). openai.com/index/hello-gpt-4o/.
  16. ↑ Es, S. et al. (2023). RAGAS: Automated Evaluation of Retrieval Augmented Generation. arXiv:2309.15217.
  17. ↑ Mathew, M. et al. (2021). InfographicVQA: Understanding Infographics via Question Answering. ICDAR. arXiv:2104.12756.
  18. ↑ Masry, A. et al. (2022). ChartQA: A Benchmark for Question Answering about Charts. ACL (Findings). arXiv:2103.16435.
  19. ↑ Dong, K. et al. (2025). Benchmarking Retrieval‑Augmented Multimodal Generation for Document QA (MMDocRAG). arXiv:2505.16470.
  20. ↑ Weaviate Docs. Hybrid search. docs.weaviate.io/.../hybrid-search.
  21. ↑ Faysse, M. et al. (2024). ColPali: Efficient Document Retrieval with Vision‑Language Models. arXiv:2407.01449.
Retrieved from "https://systems-analysis.info/int/index.php?title=MM-RAG_(Multimodal_RAG)_(KO)&oldid=4053"