Hypothetical Document Embeddings (HyDE) (HI)

From Systems analysis Wiki
Jump to navigation Jump to search

Hypothetical Document Expansion (HyDE) — वेक्टर retrieval और retrieval‑augmented generation (RAG) को बेहतर बनाने की एक विधि है, जिसमें एक बड़ा भाषा मॉडल (LLM) मूल प्रश्न के आधार पर एक «काल्पनिक दस्तावेज़» उत्पन्न करता है; फिर इस पाठ को encoder द्वारा वेक्टर में बदला जाता है, और प्राप्त वेक्टर के निकटतम वास्तविक दस्तावेज़ों में खोज की जाती है। यह दृष्टिकोण LLM में एन्कोड की गई «प्रासंगिकता के पैटर्न» का उपयोग करने और उन्हें घने embedding के माध्यम से corpus से जोड़ने की अनुमति देता है[1]।

परिभाषा और अंतर्ज्ञान

HyDE खोज कार्य को दो चरणों में विभाजित करता है:

(1) LLM प्रश्न के लिए «प्रासंगिक उत्तर का उदाहरण» (hypothetical document) बनाता है, जिससे प्रासंगिकता के लक्षण मॉडल किए जाते हैं;

(2) एक contrastive encoder (जैसे Contriever) इस पाठ को वेक्टर में रूपांतरित करता है, जिसके आधार पर index से वास्तविक दस्तावेज़ निकाले जाते हैं। उत्पन्न पाठ में तथ्यात्मक त्रुटियाँ हो सकती हैं, लेकिन महत्वपूर्ण वे विषयगत और शब्दावली संबंधी पैटर्न हैं जिन्हें encoder पकड़ता है[2]।

इतिहास और स्रोत

सिंथेटिक पाठों से खोज विस्तार का विचार query expansion और छद्म-प्रासंगिक प्रतिक्रिया (PRF) पर हुए शोध से आता है: Rocchio एल्गोरिदम और प्रासंगिकता भाषा मॉडल[3][4]। घने retrieval के लिए contrastive रूप से प्रशिक्षित encoder (Contriever)[5] और Dense Passage Retrieval (DPR)[6] का उपयोग किया गया। BEIR benchmark ने zero‑shot मूल्यांकन को मानकीकृत किया[7]। इसी पृष्ठभूमि पर HyDE को encoder के fine-tuning के बिना LLM के माध्यम से zero-shot मोड में प्रासंगिकता का ज्ञान «लाने» के तरीके के रूप में प्रस्तावित किया गया[8]।

विधि और औपचारीकरण

मान लीजिए दस्तावेज़ों का corpus 𝒟={d1,…,dN} है, और पाठ encoder E:text→ℝn दस्तावेज़ों के वेक्टर प्रतिनिधित्व 𝐯d=E(d) निर्धारित करता है। निकटता मापने के लिए या तो cosine similarity या scalar product का उपयोग किया जाता है; एक महत्वपूर्ण टिप्पणी: **scalar product, cosine similarity के बराबर केवल तभी होता है जब दोनों वेक्टर की L2‑norm इकाई हो** (‖𝐮‖=‖𝐯‖=1)[9]।

HyDE, LLM द्वारा उत्पन्न «काल्पनिक दस्तावेज़» के माध्यम से query के प्रतिनिधित्व को पुनर्परिभाषित करता है। औपचारिक रूप से:

(1) Генерация гипотетического текста:d~=G(q;inst),(2) Эмбеддинг гипотетического текста:𝐯h=E(d~),(3) Поиск ближайших соседей:ℛk(q)=TopKd∈𝒟S(𝐯h,𝐯d),

जहाँ G — निर्देश inst के साथ LLM (उदाहरणतः: «एक अनुच्छेद लिखें जो प्रश्न का उत्तर देता हो …»), S — similarity माप (cosine या normalization के साथ IP), और ℛk(q) — अधिकतम similarity वाले k दस्तावेज़ों का समुच्चय[10][11]।

इंजीनियरिंग व्यवहार में अक्सर **कई** काल्पनिक पाठ उत्पन्न किए जाते हैं और उनके प्रतिनिधित्वों को एकत्रित किया जाता है, जिससे स्थिरता बढ़ती है:

d~(j)=G(q;inst,ξj),𝐯h=1m∑j=1mE(d~(j)),

जहाँ ξj — stochastic decoding पैरामीटर (जैसे temperature/top‑p)। इस प्रकार की ensembling, latency में मध्यम वृद्धि के साथ Recall को बेहतर बनाती है[12]।

HyDE का मूल pipeline

# 1) prompt(query) -> hypothetical_doc
# 2) embed(hypothetical_doc) -> v_h
# 3) retrieve(index, v_h, k) -> candidates
# 4) (optional) rerank(query, candidates) -> topN
# 5) (для RAG) stuff / map-reduce / refine на topN

अन्य विधियों से संबंध (QE, doc2query, PRF)

  • QE (query expansion) query में शब्द जोड़ता है; HyDE इसके बजाय एक पूरा «quasi-document» उत्पन्न करता है, जो घने encoder के साथ बेहतर संगत है[13]।
  • doc2query / docTTTTTquery indexing से पहले सिंथेटिक queries से दस्तावेज़ों का विस्तार करते हैं[14][15]; HyDE query का विस्तार runtime पर करता है, re-indexing की आवश्यकता नहीं।
  • PRF (Rocchio, Relevance LM) शीर्ष परिणामों के आधार पर query वेक्टर को अपडेट करता है; HyDE «प्रासंगिकता का पैटर्न» सीधे LLM से निकालता है और फिर corpus पर retrieval द्वारा उसे «जमीन» देता है[16]।

RAG और पुनः-रैंकिंग में एकीकरण

RAG में HyDE को retrieval के पहले चरण के रूप में लागू किया जाता है: काल्पनिक दस्तावेज़ → embedding → k उम्मीदवार। इसके बाद पुनः-रैंकिंग का उपयोग किया जाता है: BERT-श्रेणी के cross-encoder[17] या ColBERT के साथ late interaction[18]। सूचियों के विलय के लिए (जैसे BM25+vector का हाइब्रिड) आमतौर पर RRF (reciprocal rank fusion) का उपयोग किया जाता है: RRF⁡(d)=∑r∈ℛ1k+rankr(d),k≈60. RRF विधि संयुक्त रैंकिंग की समग्र गुणवत्ता को स्थिर रूप से बेहतर बनाती है[19]।

benchmark पर मूल्यांकन (BEIR आदि)

मूल शोध TREC DL'19/20 (वेब खोज) और BEIR collection के उपसमुच्चय (Scifact, ArguAna, TREC‑COVID, FiQA, DBPedia, TREC‑NEWS, Climate‑FEVER) पर zero-shot मोड में HyDE का मूल्यांकन करता है। परिणामों का अंश — 2023‑07 की स्थिति के अनुसार:

TREC DL19/20 (वेब खोज) — mAP / nDCG@10 / Recall@1k
विधि DL19 DL20 स्रोत
BM25 30.1 / 50.6 / 75.0 28.6 / 48.0 / 78.6 [20]
Contriever (unsup.) 24.0 / 44.5 / 74.6 24.0 / 42.1 / 75.4 [21]
HyDE (Contriever+LLM) 41.8 / 61.3 / 88.0 38.2 / 57.9 / 84.4 [22]
DPR (ft) 36.5 / 62.2 / 76.9 41.8 / 65.3 / 81.4 [23]
ANCE (ft) 37.1 / 64.5 / 75.5 40.8 / 64.6 / 77.6 [24]
BEIR (संग्रह का चयन) — nDCG@10 / Recall@100
विधि Scifact ArguAna TREC‑COVID FiQA DBPedia TREC‑NEWS Climate‑FEVER स्रोत
BM25 67.9 / 92.5 39.7 / 93.2 59.5 / 49.8 23.6 / 54.0 31.8 / 46.8 39.5 / 44.7 16.5 / 42.5 [25]
Contriever 64.9 / 92.6 37.9 / 90.1 27.3 / 17.2 24.5 / 56.2 29.2 / 45.3 34.8 / 42.3 15.5 / 44.1 [26]
HyDE 69.1 / 96.4 46.6 / 97.9 59.3 / 41.4 27.3 / 62.1 36.8 / 47.2 44.0 / 50.9 22.3 / 53.0 [27]

HyDE बहुभाषी संग्रह Mr.TyDi (sw/ko/ja/bn) पर mContriever की तुलना में MRR@100 को भी बेहतर बनाता है[28]।

व्यावहारिक सुझाव

HyDE कब लागू करें
  • Zero-shot/transfer मोड (कोई प्रासंगिकता लेबल नहीं; प्रशिक्षण corpus से डोमेन की «असमानता»)[29]।
  • जब स्वीकार्य सटीकता के साथ Recall@k बढ़ाना आवश्यक हो — HyDE अक्सर वेक्टर स्पेस के प्रासंगिक क्षेत्रों को «खोलता» है[30]।
सामान्य सेटिंग्स
  • LLM और prompt: निर्देश «एक अनुच्छेद लिखें जो प्रश्न का उत्तर देता हो …»; मध्यम stochasticity (जैसे temperature≈0.7)[31]।
  • काल्पनिक पाठों की संख्या: 1–5; embedding का औसत स्थिरता बढ़ाता है[32]।
  • Embedder: fine-tuning के बिना (m)Contriever; fine-tuned encoder का उपयोग भी संभव है (HyDE का प्रभाव बना रहता है)[33]।
  • Embedding का normalization: L2‑norm; internal product cosine के समतुल्य होता है[34]।
  • Hybrid retrieval: BM25+vector के बाद पुनः-रैंकिंग[35]।
  • Re-ranker: Cross-Encoder (BERT re‑ranker)[36] या ColBERT[37]।
  • विभिन्न रणनीतियों के परिणामों का विलय: RRF (k≈60)[38]।
गुणवत्ता/लागत की निगरानी
  • Retrieval: nDCG@k, Recall@k, MRR; end‑to‑end RAG: EM/F1 या groundedness मेट्रिक्स (RAGAS/TruLens)[39][40]।
  • लागत/latency: LLM द्वारा उत्पन्नता और (यदि हो) पुनः-रैंकिंग प्रमुख कारक हैं; «काल्पनिक» पाठों की संख्या और उत्तर की लंबाई से अनुकूलित किया जाता है[41]।

सीमाएँ और खुले प्रश्न

  • काल्पनिक पाठ में hallucination: LLM तथ्यात्मक त्रुटियाँ उत्पन्न कर सकता है; encoder और corpus के माध्यम से «आधारभूमीकरण» जोखिम कम करता है, लेकिन पूरी तरह समाप्त नहीं करता[42]।
  • डोमेन/भाषा संबंधी सीमाएँ: अत्यंत विशिष्ट डोमेन और कम-संसाधन भाषाओं में HyDE का लाभ कम होता है[43]।
  • Latency और लागत: LLM द्वारा उत्पन्नता विलंब और token-लागत जोड़ती है; ऑनलाइन परिदृश्यों और लंबे «काल्पनिक» पाठों के लिए यह महत्वपूर्ण है[44]।
  • नैतिकता और पूर्वाग्रह: सुरक्षित LLM और फ़िल्टरिंग का उपयोग करना बेहतर है[45]।

विधियों की तुलनात्मक तालिका

HyDE और संबंधित दृष्टिकोणों की तुलना
विधि श्रेणी पाठ कहाँ उत्पन्न होता है Encoder/Index Re-ranker (दूसरा चरण) सामान्य मेट्रिक्स (उदाहरण) लागत/Latency स्रोत
HyDE Query→hypo‑doc Query की ओर (LLM → अनुच्छेद) (m)Contriever; ANN BERT re‑rank / ColBERT / RRF DL19 nDCG@10≈61.3; DL20≈57.9; ArguAna nDCG@10≈46.6 + LLM उत्पन्नता; + पुनः-रैंकिंग (वैकल्पिक) [46]
BM25 शाब्दिक — Inverted index वैकल्पिक तालिका देखें (ऊपर) कम (lexical) [47]
DPR / ANCE घना (ft) — Bi-encoder; ANN वैकल्पिक DL19 nDCG@10≈62–65 मध्यम (LLM के बिना) [48][49]
doc2query / docTTTTTquery दस्तावेज़ विस्तार Collection की ओर (indexing से पहले) BM25/sparse+expanded वैकल्पिक MS MARCO पर BM25 में सुधार उच्च offline उत्पन्नता; तीव्र ऑनलाइन [50][51]
PRF (Rocchio, RLM) feedback पर QE Query (शीर्ष परिणामों के अनुसार) कोई भी वैकल्पिक Recall में वृद्धि/drift के जोखिम + अतिरिक्त retrieval पास [52]

यह भी देखें

  • BM25
  • वेक्टर प्रतिनिधित्व द्वारा खोज,
  • RAG
  • छद्म-प्रासंगिक प्रतिक्रिया
  • BEIR

साहित्य

  • Manning, C. D.; Raghavan, P.; Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press. ISBN 978‑0521865715.
  • Robertson, S.; Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in IR, 3(4), 333–389. DOI:10.1561/1500000019.

संदर्भ

  • HyDE repository: github.com/texttron/hyde.
  • दस्तावेज़ीकरण: Haystack — HyDE: docs.haystack.deepset.ai.
  • दस्तावेज़ीकरण: LangChain — HyDE Retriever: docs.langchain.com.

टिप्पणियाँ

  1. ↑ Gao, L.; Ma, X.; Lin, J.; Callan, J. (2023). ‘‘Precise Zero‑Shot Dense Retrieval without Relevance Labels (HyDE)’’. ACL 2023. pp. 1762–1777. DOI:10.18653/v1/2023.acl-long.99. arXiv:2212.10496
  2. ↑ Gao, L. et al. (2023). ACL 2023, §3.2. DOI:10.18653/v1/2023.acl-long.99.
  3. ↑ Rocchio, J. (1971). ‘‘Relevance Feedback in Information Retrieval’’. In: Salton, G. (ed.) The SMART Retrieval System. Prentice‑Hall, pp. 313–323. ISBN 978‑0138145255.
  4. ↑ Lavrenko, V.; Croft, W. B. (2001). ‘‘Relevance‑Based Language Models’’. SIGIR. DOI:10.1145/383952.383972.
  5. ↑ Izacard, G. et al. (2021/2022). ‘‘Unsupervised Dense Information Retrieval with Contrastive Learning’’. arXiv:2112.09118.
  6. ↑ Karpukhin, V. et al. (2020). ‘‘Dense Passage Retrieval for Open‑Domain QA’’. EMNLP. DOI:10.18653/v1/2020.emnlp-main.550.
  7. ↑ Thakur, N. et al. (2021). ‘‘BEIR: A Heterogeneous Benchmark for Zero‑shot Evaluation of Information Retrieval Models’’. NeurIPS Datasets Track. arXiv:2104.08663.
  8. ↑ Gao, L. et al. (2023). DOI:10.18653/v1/2023.acl-long.99.
  9. ↑ Milvus Docs. ‘‘Similarity Metrics’’ — при L2‑нормализации векторов внутр. произведение эквивалентно косинусу. URL: https://milvus.io/docs/v2.2.x/metric.md
  10. ↑ Gao, L.; Ma, X.; Lin, J.; Callan, J. (2023). ‘‘Precise Zero‑Shot Dense Retrieval without Relevance Labels (HyDE)’’. ACL 2023, §3–4. arXiv:2212.10496. DOI:10.18653/v1/2023.acl-long.99.
  11. ↑ Izacard, G. et al. (2021/2022). ‘‘Unsupervised Dense Information Retrieval with Contrastive Learning (Contriever)’’. arXiv:2112.09118.
  12. ↑ Gao, L. et al. (2023). Прил. (ablation): влияние числа гипотетических текстов и параметров генерации. arXiv:2212.10496.
  13. ↑ Gao, L. et al. (2023). DOI:10.18653/v1/2023.acl-long.99.
  14. ↑ Nogueira, R. et al. (2019). ‘‘Document Expansion by Query Prediction’’ (doc2query). arXiv:1904.08375.
  15. ↑ Nogueira, R.; Lin, J. (2019). ‘‘From doc2query to docTTTTTquery’’ (tech report). PDF
  16. ↑ Rocchio, J. (1971); Lavrenko & Croft (2001), см. выше.
  17. ↑ Nogueira, R.; Cho, K. (2019). ‘‘Passage Re‑ranking with BERT’’. arXiv:1901.04085.
  18. ↑ Khattab, O.; Zaharia, M. (2020). ‘‘ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT’’. SIGIR. DOI:10.1145/3397271.3401075; arXiv:2004.12832.
  19. ↑ Cormack, G. V.; Clarke, C. L. A.; Büttcher, S. (2009). ‘‘Reciprocal Rank Fusion Outperforms Condorcet and Nearly Optimally Combines Rankings’’. SIGIR. DOI:10.1145/1571941.1572114.
  20. ↑ Gao, L. et al. (2023). Табл. 1. DOI:10.18653/v1/2023.acl-long.99.
  21. ↑ Izacard, G. et al. (2022); сводные метрики — в Gao et al., 2023, табл. 1. arXiv:2112.09118.
  22. ↑ Gao, L. et al. (2023). Табл. 1.
  23. ↑ Karpukhin, V. et al. (2020); сводные — в Gao et al., 2023.
  24. ↑ Xiong, L. et al. (2021). ICLR. arXiv:2007.00808.
  25. ↑ Thakur, N. et al. (2021); сводные — в Gao et al., 2023, табл. 2. arXiv:2104.08663.
  26. ↑ Izacard, G. et al. (2022); сводные — в Gao et al., 2023, табл. 2.
  27. ↑ Gao, L. et al. (2023). Табл. 2.
  28. ↑ Gao, L. et al. (2023). Табл. 3. DOI:10.18653/v1/2023.acl-long.99.
  29. ↑ Gao, L. et al. (2023). §4–5.
  30. ↑ Gao, L. et al. (2023). §4.2–4.3.
  31. ↑ Gao, L. et al. (2023). §4.1.
  32. ↑ Haystack Docs. ‘‘Hypothetical Document Embeddings (HyDE)’’ (инженерная справка). docs.haystack.deepset.ai
  33. ↑ Gao, L. et al. (2023). Табл. 6.
  34. ↑ Milvus Docs. ‘‘Similarity Metrics’’.
  35. ↑ Haystack × Milvus Integration (официальная док.). haystack.deepset.ai
  36. ↑ Nogueira, R.; Cho, K. (2019). arXiv:1901.04085.
  37. ↑ Khattab, O.; Zaharia, M. (2020). DOI:10.1145/3397271.3401075.
  38. ↑ Cormack, G. V. et al. (2009). DOI:10.1145/1571941.1572114.
  39. ↑ Manning, C. D.; Raghavan, P.; Schütze, H. (2008). Introduction to Information Retrieval. Cambridge Univ. Press. ISBN 978‑0521865715.
  40. ↑ Es, S. et al. (2023). ‘‘RAGAS: Automated Evaluation of Retrieval‑Augmented Generation’’. arXiv:2309.15217.
  41. ↑ Gao, L. et al. (2023). §5.
  42. ↑ Gao, L. et al. (2023). §3.2; §4.1. DOI:10.18653/v1/2023.acl-long.99.
  43. ↑ Gao, L. et al. (2023). Табл. 3; §4.4.
  44. ↑ Gao, L. et al. (2023). §4–5.
  45. ↑ Ouyang, L. et al. (2022). ‘‘Training language models to follow instructions with human feedback (InstructGPT)’’. NeurIPS. arXiv:2203.02155.
  46. ↑ Gao, L. et al. (2023). Табл. 1–2.
  47. ↑ Robertson, S.; Zaragoza, H. (2009). ‘‘The Probabilistic Relevance Framework: BM25 and Beyond’’. Found. Trends IR. DOI:10.1561/1500000019.
  48. ↑ Karpukhin, V. et al. (2020). DOI:10.18653/v1/2020.emnlp-main.550.
  49. ↑ Xiong, L. et al. (2021). arXiv:2007.00808.
  50. ↑ Nogueira, R. et al. (2019). arXiv:1904.08375.
  51. ↑ Nogueira, R.; Lin, J. (2019). tech report.
  52. ↑ Rocchio, J. (1971). SMART; Lavrenko & Croft (2001) SIGIR.
Retrieved from "https://systems-analysis.info/int/index.php?title=Hypothetical_Document_Embeddings_(HyDE)_(HI)&oldid=3113"