---
title: "Embedding (NLP) (HI)"
source: "https://systems-analysis.info/int/Embedding_(NLP)_(HI)"
wiki: "systems-analysis.info/int"
article: "Embedding_(NLP)_(HI)"
language: "hi"
categories:
  - "Category:Hindi"
  - "Category:Large language models"
  - "Category:Machine learning"
revision_id: 1869
wiki_created_at: 2026-09-06T22:55:17Z
wiki_modified_at: 2026-09-06T22:55:17Z
downloaded_at: 2026-09-07T22:48:17Z
---

# Embedding (NLP) (HI)

**एम्बेडिंग** (अंग्रेज़ी embedding — «अंतःस्थापन» से) — यह Machine Learning और प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में एक मूलभूत तकनीक है, जो असतत या जटिल वस्तुओं (जैसे शब्द, वाक्य, चित्र) को निश्चित आयामों के संख्यात्मक **सदिश प्रतिनिधित्व** (vector representations) में रूपांतरित करती है। ये सदिश, या एम्बेडिंग, बहुआयामी स्थान में इस प्रकार स्थित होते हैं कि अर्थगत रूप से समान वस्तुएँ एक-दूसरे के निकट होती हैं।

## परिभाषा और अवधारणा

औपचारिक रूप से, एम्बेडिंग एक प्रतिचित्रण फ़ंक्शन $f:X \rightarrow {\mathbb{R}}^{d}$ है, जहाँ $X$ — वस्तुओं का मूल स्थान (जैसे शब्द-कोश) है, और ${\mathbb{R}}^{d}$ — आयाम $d$ वाला बहुआयामी सदिश स्थान (एम्बेडिंग स्थान) है। आयाम $d$ मूल स्थान की आयामता से काफ़ी कम होती है, जो इन प्रतिनिधित्वों को सघन (dense) बनाती है।

शब्दों के सदिश प्रतिनिधित्व का सैद्धांतिक आधार **वितरणात्मक अर्थविज्ञान** (distributive semantics) है, जो यह मानता है कि किसी शब्द का अर्थ उसके प्रयोग के संदर्भ से निर्धारित होता है। अर्थात्, जो शब्द समान संदर्भों में आते हैं, उनके अर्थ समान होते हैं और इसलिए उनके सदिश प्रतिनिधित्व भी निकट होते हैं।

### एम्बेडिंग के मूल सिद्धांत

- **निश्चित आयामता:** सभी वस्तुएँ समान लंबाई के सदिशों में प्रतिचित्रित होती हैं, चाहे मूल डेटा का आकार कुछ भी हो (जैसे वाक्य की लंबाई)।
- **अर्थगत निकटता:** सदिशों के बीच की दूरी (जो प्रायः cosine similarity से मापी जाती है) मूल वस्तुओं की अर्थगत निकटता को दर्शाती है।
- **गणितीय संक्रियाओं का समर्थन:** सदिश अर्थगत संबंधों को संरक्षित रखते हैं, जिससे उन पर बीजगणितीय संक्रियाएँ की जा सकती हैं। क्लासिक उदाहरण: $\text{вектор}(\text{«король»}) - \text{вектор}(\text{«мужчина»}) + \text{вектор}(\text{«женщина»}) \approx \text{вектор}(\text{«королева»})$।

## इतिहास और विकास

### प्रारंभिक दृष्टिकोण (1980–2000 का दशक)

सदिश प्रतिनिधित्व के प्रथम विचार 1980 के दशक में Neural Network शोध के संदर्भ में सामने आए। प्रारंभिक विधियाँ शब्दों की सह-उपस्थिति के सांख्यिकीय विश्लेषण पर आधारित थीं।

### Word2Vec का युग (2013)

2013 में टॉमाश मिकोलोव के नेतृत्व में Google की टीम द्वारा **Word2Vec** का विकास एक क्रांतिकारी क्षण था। Word2Vec ने शब्द एम्बेडिंग के प्रशिक्षण के लिए दो कुशल और कम्प्यूटेशनल रूप से किफ़ायती आर्किटेक्चर प्रस्तुत किए:

- **CBOW (Continuous Bag of Words):** आसपास के संदर्भ के आधार पर केंद्रीय शब्द का पूर्वानुमान लगाता है।
- **Skip-gram:** केंद्रीय शब्द के आधार पर संदर्भ के शब्दों का पूर्वानुमान लगाता है।

Word2Vec खुले स्रोत कोड और उच्च गति के कारण सदिश प्रतिनिधित्व का पहला लोकप्रिय कार्यान्वयन बना।

### वैकल्पिक दृष्टिकोणों का विकास

Word2Vec के बाद अन्य महत्त्वपूर्ण स्थैतिक एम्बेडिंग मॉडल भी सामने आए:

- **GloVe (2014):** Stanford विश्वविद्यालय में विकसित यह मॉडल सदिशों के प्रशिक्षण के लिए शब्दों की वैश्विक सह-उपस्थिति सांख्यिकी का उपयोग करता है।
- **FastText (2015):** Facebook का यह मॉडल शब्दों की आकारिकी (morphology) को ध्यान में रखता है और प्रत्येक शब्द को उसके अक्षर n-gram सदिशों के योग के रूप में प्रस्तुत करता है। इससे उन शब्दों के लिए भी एम्बेडिंग बनाई जा सकती है जो प्रशिक्षण शब्द-कोश में नहीं थे (Out-of-Vocabulary शब्द)।

### Transformer और संदर्भात्मक एम्बेडिंग का युग (2018–वर्तमान)

Transformer आर्किटेक्चर और BERT मॉडल (2018) के आगमन से एक बड़ी सफलता मिली। इससे **संदर्भात्मक एम्बेडिंग** का उदय हुआ, जहाँ किसी शब्द का सदिश प्रतिनिधित्व उसके प्रयोग के संदर्भ पर निर्भर करता है। स्थैतिक प्रतिनिधित्व के विपरीत — जहाँ «ताला» शब्द का एक ही सदिश होता — संदर्भात्मक मॉडल प्रत्येक प्रयोग के लिए अलग एम्बेडिंग उत्पन्न करते हैं।

## एम्बेडिंग के प्रकार

### प्रतिनिधित्व स्तर के अनुसार

- **शब्द एम्बेडिंग:** मूल प्रकार, जहाँ प्रत्येक शब्द को एक अलग सदिश से दर्शाया जाता है (Word2Vec, GloVe)।
- **वाक्य और दस्तावेज़ एम्बेडिंग:** पूरे वाक्यांशों, वाक्यों या दस्तावेज़ों को एकल सदिश से प्रस्तुत करते हैं (PV-DM, PV-DBOW)।
- **उपयोगकर्ता और वस्तु एम्बेडिंग:** अनुशंसा प्रणालियों में उपयोगकर्ताओं की रुचियों और उत्पादों की विशेषताओं को प्रस्तुत करने के लिए उपयोग किए जाते हैं।

### संदर्भात्मकता के अनुसार

- **स्थैतिक एम्बेडिंग:** प्रत्येक शब्द को संदर्भ की परवाह किए बिना एक निश्चित सदिश दिया जाता है (Word2Vec, GloVe, FastText)।
- **संदर्भात्मक एम्बेडिंग:** एक ही शब्द के लिए उसके परिवेश के अनुसार अलग-अलग प्रतिनिधित्व उत्पन्न करते हैं। प्रमुख उदाहरण:
  - **BERT:** Transformer पर आधारित द्विदिशात्मक मॉडल।
  - **ELMo:** द्विदिशात्मक LSTM मॉडल।
  - **RoBERTa, DistilBERT, ALBERT:** BERT के उन्नत संस्करण।

### विधा (Modality) के अनुसार

- **पाठ्य एम्बेडिंग:** सबसे सामान्य प्रकार, जिसमें शब्दों, वाक्यों और दस्तावेज़ों के प्रतिनिधित्व शामिल हैं।
- **दृश्य एम्बेडिंग:** कम्प्यूटर दृष्टि के कार्यों के लिए चित्रों के प्रतिनिधित्व।
- **बहु-विधात्मक एम्बेडिंग:** विभिन्न प्रकार के डेटा (पाठ, चित्र, ऑडियो) को एकल सदिश स्थान में जोड़ते हैं। उदाहरण के रूप में ImageBind है, जो छह विधाओं के डेटा को आपस में जोड़ने में सक्षम है।

## आर्किटेक्चर और प्रशिक्षण विधियाँ

### क्लासिक विधियाँ

- **One-hot कूटलेखन:** सरलतम विधि, जहाँ प्रत्येक शब्द को शब्द-कोश के आकार के एक सदिश से कूटबद्ध किया जाता है जिसमें संबंधित स्थान पर एक (1) होता है। कमियाँ: उच्च विरलता (sparsity) और अर्थगत जानकारी का अभाव।
- **मैट्रिक्स फ़ैक्टराइज़ेशन:** आयाम कम करने की विधियाँ (जैसे LSA) जो शब्दों की सह-उपस्थिति मैट्रिक्स पर लागू की जाती हैं।

### Neural Network आर्किटेक्चर

- **उथले Neural Network:** Word2Vec में CBOW और Skip-gram आर्किटेक्चर कुशल प्रशिक्षण के लिए द्विस्तरीय Neural Network का उपयोग करते हैं।
- **Transformer:** वह आर्किटेक्चर जिसने attention तंत्र के कारण इस क्षेत्र में क्रांति ला दी।

### आधुनिक दृष्टिकोण

- **मास्क-आधारित स्व-अध्ययन:** BERT संदर्भात्मक प्रतिनिधित्व के प्रशिक्षण के लिए मास्क किए गए शब्दों के पूर्वानुमान के कार्य का उपयोग करता है।
- **Contrastive Learning:** ऐसी विधियाँ जो अर्थगत रूप से निकट (सकारात्मक) युग्मों की समानता को अधिकतम और दूर (नकारात्मक) युग्मों की समानता को न्यूनतम करती हैं।

## एम्बेडिंग के अनुप्रयोग

एम्बेडिंग विभिन्न क्षेत्रों में व्यापक रूप से उपयोग किए जाते हैं:

### प्राकृतिक भाषा प्रसंस्करण

- खोज और सूचना पुनर्प्राप्ति: अर्थगत खोज की गुणवत्ता में सुधार, जिससे दस्तावेज़ों को कीवर्ड की बजाय अर्थ के आधार पर खोजा जा सके।
- पाठ वर्गीकरण: सदिश प्रतिनिधित्व वर्गीकारकों (classifiers) के लिए इनपुट डेटा के रूप में कार्य करते हैं, जिससे उनकी सटीकता बढ़ती है।
- भावना विश्लेषण: संदर्भ को ध्यान में रखते हुए पाठों की भावनात्मक अभिव्यक्ति का निर्धारण।
- मशीनी अनुवाद: स्रोत और लक्ष्य भाषाओं की अर्थगत समझ में सुधार।

### अनुशंसा प्रणालियाँ

उपयोगकर्ता और उत्पाद एम्बेडिंग व्यक्तिगत अनुशंसा प्रणालियों की नींव हैं, जिनमें शामिल हैं:

- **Collaborative Filtering:** उपयोगकर्ता व्यवहार के एम्बेडिंग पर आधारित।
- **Content Filtering:** उत्पादों की विशेषताओं के एम्बेडिंग का उपयोग करते हुए।

### कम्प्यूटर दृष्टि

- **चित्र वर्गीकरण और खोज:** Convolutional Neural Network और Vision Transformer चित्रों के एम्बेडिंग बनाते हैं जिनका उपयोग उनके वर्गीकरण और दृश्यात्मक रूप से समान चित्रों की खोज के लिए किया जाता है।

### जैव सूचना विज्ञान और चिकित्सा

- **चिकित्सा डेटा विश्लेषण:** नैदानिक अभिलेखों और रोग निदान का विश्लेषण।
- **आणविक प्रतिनिधित्व:** रासायनिक यौगिकों के गुणों के पूर्वानुमान के लिए एम्बेडिंग का निर्माण।

## तकनीकी पहलू और अनुकूलन

- **आयामता अनुकूलन विधियाँ:** Matryoshka Representation Learning (MRL) — एक नवीन दृष्टिकोण जो एक ही मॉडल से विभिन्न आयामों की एम्बेडिंग प्राप्त करने की अनुमति देता है, जिसमें महत्त्वपूर्ण जानकारी सदिश के आरंभ में केंद्रित होती है।
- **एम्बेडिंग क्वांटाइज़ेशन:** गणनाओं को तेज़ करने और मेमोरी बचाने के लिए संख्याओं की प्रतिनिधित्व सटीकता में कमी (जैसे 8 या 4 बिट तक)।
- **डेटाबेस के साथ एकीकरण:** आधुनिक सदिश डेटाबेस (जैसे Milvus, Pinecone) और पारंपरिक DBMS के लिए एक्सटेंशन (जैसे PostgreSQL के लिए pgvector) एम्बेडिंग को कुशलतापूर्वक संग्रहीत और खोजने की सुविधा प्रदान करते हैं।

## संदर्भ

- शब्दों का सदिश प्रतिनिधित्व — विकिपीडिया
- शब्दों का सदिश प्रतिनिधित्व — NEERC

## साहित्य

- Mikolov, T. et al. (2013). *Efficient Estimation of Word Representations in Vector Space*. arXiv:1301.3781.
- Mikolov, T. et al. (2013). *Distributed Representations of Words and Phrases and their Compositionality*. arXiv:1310.4546.
- Pennington, J.; Socher, R.; Manning, C. (2014). *GloVe: Global Vectors for Word Representation*. PDF.
- Bojanowski, P. et al. (2017). *Enriching Word Vectors with Subword Information*. arXiv:1607.04606.
- Joulin, A. et al. (2017). *Bag of Tricks for Efficient Text Classification*. arXiv:1607.01759.
- Peters, M. E. et al. (2018). *Deep Contextualized Word Representations*. ACL Anthology.
- Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805.
- Reimers, N.; Gurevych, I. (2019). *Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks*. arXiv:1908.10084.
- Kusupati, A. et al. (2022). *Matryoshka Representation Learning*. arXiv:2205.13147.
- Radford, A. et al. (2021). *Learning Transferable Visual Models From Natural Language Supervision*. PMLR 139.
- Girdhar, R. et al. (2023). *ImageBind: One Embedding Space To Bind Them All*. CVPR 2023.