GraphRAG (HI)

From Systems analysis Wiki
Jump to navigation Jump to search

GraphRAG — यह Retrieval-Augmented Generation (RAG) का एक उन्नत प्रतिमान है, जिसमें पारंपरिक बिखरे हुए पाठ-खंडों (chunks) में खोज करने के बजाय एक ज्ञान ग्राफ (Knowledge Graph, KG) का उपयोग किया जाता है[1]। ग्राफ संरचना स्पष्ट रूप से सत्ताओं के बीच संबंधों और डोमेन अवधारणाओं की पदानुक्रमिता को दर्शाती है, जिससे LLM बहु-चरणीय तार्किक ज्ञान-निष्कर्षण कर सकता है और अधिक संदर्भ-सचेत एवं व्याख्येय उत्तर तैयार कर सकता है[2]

GraphRAG दृष्टिकोण जटिल, बहु-चरणीय (multi‑hop) प्रश्नों पर क्लासिक RAG की तुलना में उल्लेखनीय लाभ प्रदर्शित करता है, जहाँ उत्तर विभिन्न दस्तावेज़ों में बिखरे अनेक तथ्यों के संयोजन पर निर्भर होता है[3]

क्लासिक RAG की सीमाएँ और ग्राफ के लाभ

असंरचित पाठ पर वेक्टर खोज पर आधारित क्लासिक RAG कई मूलभूत सीमाओं से ग्रस्त है, जो जटिल कॉर्पोरेट परिदृश्यों में महत्वपूर्ण हो जाती हैं:

  • संरचनात्मक संबंधों का अभाव: पारंपरिक RAG पाठ-खंडों को पृथक इकाइयों के रूप में संसाधित करता है और उनके बीच स्पष्ट संबंध नहीं देख पाता। यह इसे multi‑hop प्रश्नों के लिए अप्रभावी बनाता है, जहाँ उत्तर देने के लिए तथ्यों की श्रृंखला (A→B→C) से गुज़रना आवश्यक होता है, जबकि खोज केवल प्रारंभिक और अंतिम कड़ी (A और C) ढूँढती है और बीच की कड़ियाँ छूट जाती हैं[1]
  • शब्दार्थ अस्पष्टता: संकीर्ण विशेषज्ञ क्षेत्रों (चिकित्सा, विधि, अभियांत्रिकी) में पदों के विशिष्ट अर्थ होते हैं। वेक्टर खोज, सामान्य विषय को पकड़ते हुए, किसी विशेष वस्तु की भूमिका की गलत व्याख्या कर सकती है, जिससे अप्रासंगिक संदर्भ का निष्कर्षण होता है।
  • सीमित व्याख्यता: क्लासिक RAG दस्तावेज़ के अंश प्रदान करता है, लेकिन यह स्पष्ट प्रमाण नहीं देता कि ये अंश तार्किक श्रृंखला में कैसे जुड़े हैं। GraphRAG, इसके विपरीत, इस प्रक्रिया को पारदर्शी बनाता है, ग्राफ में पथ को साक्ष्य के रूप में प्रस्तुत करता है और कथनों को स्रोतों (उद्धरण) से बाँधना अनिवार्य करता है[4]

GraphRAG इन समस्याओं को ज्ञान को संबंधित सत्ताओं और संबंधों के नेटवर्क के रूप में प्रस्तुत करके हल करता है, जो प्रणाली को केवल समान पाठ खोजने के बजाय विषय-क्षेत्र के औपचारिक मॉडल के आधार पर तार्किक निष्कर्ष निकालने में सक्षम बनाता है।

GraphRAG की वास्तुकला

GraphRAG की सामान्य पाइपलाइन क्लासिक RAG का विस्तार करती है, जिसमें ज्ञान ग्राफ के निर्माण और उपयोग के चरण जोड़े जाते हैं। यह दो मुख्य चरणों में विभाजित है: ऑफलाइन-तैयारी और ऑनलाइन-प्रश्न प्रसंस्करण।

चरण 1: अंतर्ग्रहण और अनुक्रमण (ऑफलाइन)

इस चरण में स्रोत डेटा (दस्तावेज़, डेटाबेस) को दो परस्पर पूरक प्रतिनिधित्वों में परिवर्तित किया जाता है: ग्राफ और वेक्टर।

  1. ज्ञान निष्कर्षण: NLP पाइपलाइन की सहायता से पाठों से संरचित तथ्य निकाले जाते हैं:
    • Named Entity Recognition (NER): सत्ताओं (व्यक्ति, संगठन, उत्पाद) के उल्लेखों की पहचान।
    • Entity Linking (EL): अस्पष्टता दूर करने के लिए उल्लेखों को ग्राफ में विहित पहचानकर्ताओं से जोड़ना (उदाहरण, "इवानोव आई.आई." और "आई. इवानोव" एक ही नोड बन जाते हैं)[5]
    • Relation Extraction (RE): सत्ताओं के बीच संबंधों की पहचान (उदाहरण, कंपनी Xने अधिग्रहित कियास्टार्टअप Y)।
  2. ग्राफ मॉडलिंग और भंडारण: निकाले गए त्रिक (विषय-विधेय-वस्तु) ग्राफ डेटाबेस में लोड किए जाते हैं। मॉडल का चुनाव (Property Graph या RDF) कार्य पर निर्भर करता है। प्रत्येक तथ्य का उद्भव (provenance) — स्रोत दस्तावेज़ और पाठ-खंड का संदर्भ — संग्रहीत करना अत्यंत महत्वपूर्ण है[3]। ग्राफ में समय (valid_from/valid_to) और विश्वसनीयता (confidence) के मेटाडेटा भी जोड़े जा सकते हैं।
  3. संकर अनुक्रमण: ग्राफ के साथ-साथ मूल पाठ-खंडों के लिए एक वेक्टर इंडेक्स भी बनाया जाता है। यह ग्राफ पर संरचनात्मक खोज को पाठ पर अर्थगत खोज के साथ संयोजित करने की अनुमति देता है।

चरण 2: प्रश्न प्रसंस्करण और उत्तर उत्पादन (ऑनलाइन)

  1. प्रश्न विश्लेषण: उपयोगकर्ता के प्रश्न का विश्लेषण प्रमुख सत्ताओं को पहचानने के लिए किया जाता है, जो ग्राफ में "प्रवेश बिंदु" के रूप में काम करती हैं।
  2. उपग्राफ निष्कर्षण: अलग-अलग चंक खोजने के बजाय GraphRAG प्रासंगिक उपग्राफ ढूँढता है — "प्रवेश बिंदुओं" के आसपास ग्राफ का एक संबद्ध भाग जिसमें उत्तर के लिए जानकारी होती है। इसके लिए k‑hop traversal या Personalized PageRank (PPR) जैसे एल्गोरिदम का उपयोग किया जाता है[6]
  3. संकर खोज और परिणामों का विलय: उपग्राफ निष्कर्षण के साथ-साथ वेक्टर और/या शाब्दिक (BM25) इंडेक्स पर खोज की जाती है। ग्राफ और पाठ के परिणाम एकत्रित किए जाते हैं और अगले चरण को सौंपे जाते हैं।
  4. पुनः-रैंकिंग (Re‑ranking): उम्मीदवारों की संयुक्त सूची (ग्राफ नोड और पाठ-खंड) को अधिक सटीक मॉडल (जैसे cross-encoder) से पुनः-रैंक किया जाता है ताकि सर्वाधिक प्रासंगिक जानकारी चुनी जा सके। इससे शोर फ़िल्टर होता है और सटीकता बढ़ती है[7]
  5. संदर्भ पैकेजिंग और उत्पादन: चयनित और रैंक किए गए संदर्भ (उपग्राफ और पाठ) को LLM के लिए समझने योग्य प्रारूप में परिवर्तित किया जाता है (उदाहरण, स्रोत संकेत के साथ कथनों की सूची)। यह समृद्ध संदर्भ अंतिम उत्तर उत्पन्न करने के लिए prompt में दिया जाता है।
  6. ट्रेसिंग और उद्धरण: ग्राफ में "तथ्य ↔ स्रोत" संबंध के कारण, उत्पन्न उत्तर में प्रत्येक थीसिस की पुष्टि करने वाले दस्तावेज़ों के सटीक संदर्भ होते हैं। यह उच्च आधारबद्धता और पारदर्शिता सुनिश्चित करता है।

घटकों की तुलनात्मक तालिका

GraphRAG वास्तुकला के प्रमुख घटकों का तुलनात्मक विश्लेषण
घटक/पहलू कार्यान्वयन के विकल्प लाभ हानि/जोखिम कब अधिक उपयुक्त
ज्ञान ग्राफ मॉडल RDF/OWL कठोर ऑन्टोलॉजी, तार्किक निष्कर्ष (reasoning), Linked Open Data के साथ अनुकूलता। अतिरिक्त सत्ताओं (reification) के बिना संबंधों की विशेषताएँ (समय, स्रोत) संग्रहीत करना कठिन। मौजूदा ऑन्टोलॉजी वाले अर्थगत रूप से समृद्ध डोमेन; जहाँ कटौती आवश्यक हो।
Property Graph (Neo4j, आदि) लचीलापन, नोड/किनारों पर स्वैच्छिक गुण, उच्च प्रदर्शन। मैन्युअल रूप से स्पष्ट योजना की आवश्यकता या "अव्यवस्था" का जोखिम; कोई एकल मानक नहीं। असंरचित डेटा के साथ त्वरित शुरुआत; दस्तावेज़ों के साथ एकीकरण (multi‑model DB)।
उपग्राफ निष्कर्षण k‑hop BFS / DFS गहराई k तक सभी नोड को कवर करता है, कार्यान्वयन सरल। ग्राफ "विस्फोट": नोड की संख्या में हिमस्खलन वृद्धि; अत्यधिक शोर लौटा सकता है। छोटे ग्राफ या 1–2 की गहराई तक अन्वेषण; पदानुक्रमिक संरचनाएँ।
Personalized PageRank (PPR) वास्तव में संबद्ध नोड पर केंद्रित, शोर छंटता है[6] दूर लेकिन महत्वपूर्ण नोड छूट सकता है (यदि मार्ग कम हैं लेकिन वह महत्वपूर्ण है)। अनेक मार्गों वाले जटिल नेटवर्क (सामाजिक ग्राफ, उद्धरण ग्राफ)।
संकर खोज संयुक्त सूची (भार λ के साथ scalar fusion) λ भार का समायोजन कार्य के अनुसार precision/recall को संतुलित करने की अनुमति देता है[8] निश्चित λ सभी प्रकार के प्रश्नों के लिए इष्टतम नहीं। प्रोटोटाइपिंग चरण में; जब यह ज्ञात हो कि एक स्रोत निश्चित रूप से अधिक महत्वपूर्ण है।
Cross‑encoder rerank सटीकता में उल्लेखनीय वृद्धि; जटिल परस्पर-संबंधों को ध्यान में रखने की संभावना। विलंबता बढ़ाता है; प्रशिक्षण डेटा या तैयार मॉडल के उपयोग की आवश्यकता[7] High‑precision परिदृश्य (विधि, चिकित्सा) जहाँ अत्यंत प्रासंगिक संदर्भ महत्वपूर्ण है।
डेटा सुरक्षा उपग्राफ फ़िल्टरिंग (RBAC/ABAC) विस्तृत नियंत्रण (नोड स्तर तक) रिसाव को समाप्त करता है। "अंध क्षेत्र": यदि महत्वपूर्ण नोड हटाया गया, तो उत्तर अधूरा हो सकता है। कड़ी पहुँच आवश्यकताओं (PII, GDPR, व्यापार रहस्य) वाले कॉर्पोरेट वातावरण में।

ट्रेसिंग, विश्वास और सुरक्षा

GraphRAG का एक प्रमुख लाभ पारदर्शी साक्ष्य श्रृंखलाएँ प्रस्तुत करने की क्षमता है। "ब्लैक बॉक्स" उत्तर के बजाय, प्रणाली तर्क का मार्ग दिखा सकती है: "तथ्य A का उल्लेख [doc1] में है। यह तथ्य B [doc2] से जुड़ा है, और [doc3] के अनुसार B, C की ओर ले जाता है" — जो उपयोगकर्ता का विश्वास बढ़ाता है और डीबगिंग सरल बनाता है।

इसके अलावा, ग्राफ संरचना विस्तृत पहुँच नियंत्रण (RBAC/ABAC) को लागू करने की अनुमति देती है। ग्राफ में प्रत्येक नोड या किनारे पर एक पहुँच लेबल हो सकता है। उपग्राफ निष्कर्षण के दौरान प्रणाली स्वचालित रूप से उन डेटा को फ़िल्टर कर देती है जिन तक उपयोगकर्ता की पहुँच नहीं है, जिससे संवेदनशील क्षेत्रों (वित्त, HR, चिकित्सा) में सुरक्षा सुनिश्चित होती है।

गुणवत्ता मूल्यांकन

GraphRAG प्रणाली का मूल्यांकन बहु-चरणीय है और इसमें प्रत्येक घटक के लिए मेट्रिक्स शामिल हैं:

  • ज्ञान निष्कर्षण मेट्रिक्स: ग्राफ निर्माण की गुणवत्ता आँकने के लिए NER और RE के लिए F1‑score।
  • उपग्राफ निष्कर्षण मेट्रिक्स: Subgraph Recall@K (वे मामले जब उत्तर के लिए आवश्यक नोड/किनारे निकाले गए उपग्राफ में शामिल थे, का अनुपात) और multi‑hop प्रश्नों के लिए Path Precision/Recall
  • LLM उत्तर मेट्रिक्स:
    • Faithfulness / Groundedness: उत्तर किस हद तक प्रदान किए गए संदर्भ पर कड़ाई से आधारित है।
    • Human evaluation: शुद्धता, पूर्णता और सुसंगतता के मानदंडों पर विशेषज्ञों द्वारा मूल्यांकन।

मूल्यांकन स्वचालित करने के लिए विशेष benchmark (जैसे WebQuestionsSP, GrailQA) और framework (जैसे RAGAS) का उपयोग किया जाता है[9]

यह भी देखें

  • Retrieval‑Augmented Generation (RAG)
  • ज्ञान ग्राफ
  • वेक्टर डेटाबेस
  • Embedding
  • AI-एजेंट
  • LLM का मूल्यांकन और benchmark

साहित्य

  • Zhang, Q. et al. (2025). A Survey of Graph Retrieval‑Augmented Generation for Customized Large Language Models. arXiv:2501.13958.
  • Xu, Z. et al. (2024). Retrieval‑Augmented Generation with Knowledge Graphs for Customer Service Question Answering. arXiv:2404.17723.
  • Hu, Y. et al. (2024). GRAG: Graph Retrieval‑Augmented Generation. arXiv:2405.16506.
  • Nakano, R. et al. (2021). WebGPT: Browser‑assisted Question‑Answering with Human Feedback. arXiv:2112.09332.
  • Yang, R. et al. (2025). KG‑IRAG: A Knowledge Graph‑Based Iterative Retrieval‑Augmented Generation Framework for Temporal Reasoning. arXiv:2503.14234.
  • Song, Y. et al. (2023). Advancements in Complex Knowledge Graph Question Answering: A Survey. DOI:10.3390/electronics12214395.
  • Nogueira, R.; Cho, K. (2019). Passage Re‑ranking with BERT. arXiv:1901.04085.
  • Hsu, H.‑L.; Tzeng, J. (2025). DAT: Dynamic Alpha Tuning for Hybrid Retrieval in Retrieval‑Augmented Generation. arXiv:2503.23013.
  • Lewis, P. et al. (2020). Retrieval‑Augmented Generation for Knowledge‑Intensive NLP Tasks. arXiv:2005.11401.
  • Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open‑Domain Question Answering. arXiv:2004.04906.
  • Sun, H. et al. (2018). Open‑Domain Question Answering Using Early Fusion of Knowledge Bases and Text (GRAFT‑Net). arXiv:1809.00782.
  • Sun, H.; Bedrax‑Weiss, T.; Cohen, W. W. (2019). PullNet: Open‑Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text. arXiv:1904.09537.
  • He, X. et al. (2024). G‑Retriever: Retrieval‑Augmented Generation for Textual Graph Understanding and Question Answering. arXiv:2402.07630.
  • Es, S.; James, J.; Espinosa‑Anke, L.; Schockaert, S. (2024). RAGAs: Automated Evaluation of Retrieval Augmented Generation. ACL:2024.eacl-demo.16.

टिप्पणियाँ

  1. 1.0 1.1 Zhang, Q., et al. A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models. arXiv, 2025. arXiv:2501.13958.
  2. Xu, Z., et al. Retrieval-Augmented Generation with Knowledge Graphs for Customer Service Question Answering. SIGIR, 2024. arXiv:2404.17723; DOI: 10.1145/3626772.3661370.
  3. 3.0 3.1 Hu, Y., et al. GRAG: Graph Retrieval‑Augmented Generation. arXiv, 2024. arXiv:2405.16506; также в Findings of NAACL 2025: ACL Anthology.
  4. Nakano, R., et al. WebGPT: Browser‑assisted question‑answering with human feedback. arXiv, 2021. arXiv:2112.09332.
  5. Yang, R., et al. KG‑IRAG: A Knowledge Graph‑Based Iterative Retrieval‑Augmented Generation Framework for Temporal Reasoning. arXiv, 2025. arXiv:2503.14234.
  6. 6.0 6.1 Song, Y., Li, W., Dai, G., Shang, X. Advancements in Complex Knowledge Graph Question Answering: A Survey. Electronics, 2023. DOI: 10.3390/electronics12214395.
  7. 7.0 7.1 Nogueira, R., Cho, K. Passage Re‑ranking with BERT. arXiv, 2019. arXiv:1901.04085.
  8. Hsu, H.‑L.; Tzeng, J. DAT: Dynamic Alpha Tuning for Hybrid Retrieval in Retrieval‑Augmented Generation. arXiv, 2025. arXiv:2503.23013.
  9. Es, S.; James, J.; Espinosa Anke, L.; Schockaert, S. RAGAs: Automated Evaluation of Retrieval Augmented Generation. EACL (System Demonstrations), 2024. ACL:2024.eacl-demo.16; также preprint: arXiv:2309.15217.