---
title: "Encoder-only models — صرف انکوڈر پر مبنی ماڈل"
source: "https://systems-analysis.info/int/Encoder-only_models_%E2%80%94_%D8%B5%D8%B1%D9%81_%D8%A7%D9%86%DA%A9%D9%88%DA%88%D8%B1_%D9%BE%D8%B1_%D9%85%D8%A8%D9%86%DB%8C_%D9%85%D8%A7%DA%88%D9%84"
wiki: "systems-analysis.info/int"
article: "Encoder-only_models_—_صرف_انکوڈر_پر_مبنی_ماڈل"
language: "ur"
categories:
  - "Category:Large language models"
  - "Category:Machine learning"
  - "Category:Urdu"
revision_id: 1928
wiki_created_at: 2026-09-06T22:56:10Z
wiki_modified_at: 2026-09-06T22:56:10Z
downloaded_at: 2026-09-07T22:48:32Z
---

# Encoder-only models — صرف انکوڈر پر مبنی ماڈل

**صرف انکوڈر ماڈل** (انگ. Encoder-Only Models) — یہ بڑے لسانی ماڈلز (LLM) کے فن تعمیر کا وہ طبقہ ہے جو خصوصی طور پر **Transformer** فن تعمیر کے **کوڈنگ** حصے (انکوڈر) پر مبنی ہوتا ہے۔ ڈیکوڈر یا مکمل انکوڈر-ڈیکوڈر فن تعمیر استعمال کرنے والے ماڈلز کے برخلاف، یہ ماڈل **قدرتی زبان کی فہم (Natural Language Understanding, NLU)** کے کاموں میں مہارت رکھتے ہیں۔

اس نقطہ نظر کا پیش رو اور سرخیل ماڈل **BERT** (Bidirectional Encoder Representations from Transformers) ہے، جسے Google نے 2018ء میں تیار کیا تھا۔

## تصور اور فن تعمیر

صرف انکوڈر ماڈلز کا بنیادی خیال ان پٹ تسلسل میں ہر token کے لیے گہری، **سیاق و سباق پر مبنی نمائندگیاں** (embeddings) تیار کرنا ہے۔ Transformer میں **self-attention** کے طریقہ کار کی بدولت، ہر token تسلسل کے تمام دیگر tokens کو «دیکھ» سکتا اور ان کے ساتھ تعامل کر سکتا ہے، جو ماڈل کو بھرپور سیاق و سباق کو سمجھنے کے قابل بناتا ہے۔

ایک کلیدی خصوصیت **دو طرفہ پن** ہے: ہر token کی نمائندگی بیک وقت بائیں اور دائیں دونوں سیاق و سباق کی بنیاد پر تشکیل پاتی ہے۔ یہ انہیں autoregressive صرف ڈیکوڈر ماڈلز (جیسے GPT) سے بنیادی طور پر مختلف بناتا ہے، جو اپنی فطرت میں یک طرفہ ہوتے ہیں۔

فن تعمیر کے اعتبار سے، ماڈل انکوڈر کی $N$ یکساں تہوں کا ڈھیر ہے۔ ہر تہ دو بنیادی ذیلی تہوں پر مشتمل ہے:

1.  **کثیر سربراہ self-attention (Multi-Head Self-Attention):** ہر token کے لیے سیاق و سباق پر مبنی نمائندگی کا حساب لگاتا ہے۔
2.  **مکمل طور پر منسلک عصبی نیٹ ورک (Feed-Forward Network):** ہر token کی نمائندگی پر غیر خطی تبدیلی لاگو کرتا ہے۔

آؤٹ پٹ پر ماڈل ویکٹرز کا ایک تسلسل تیار کرتا ہے جو ان پٹ تسلسل کے برابر لمبائی کا ہوتا ہے، جہاں ہر ویکٹر متعلقہ ان پٹ token کی بھرپور نمائندگی ہوتی ہے۔

## پیشگی تربیت کے کام

ماڈل کو دو طرفہ سیاق و سباق میں زبان سمجھنا سکھانے کے لیے، خاص خود نگران پیشگی تربیت کے کام استعمال کیے جاتے ہیں:

### ماسک شدہ لسانی ماڈلنگ (Masked Language Modeling, MLM)

یہ صرف انکوڈر ماڈلز کا سب سے بنیادی اور اہم ترین کام ہے، جسے پہلی بار BERT میں متعارف کرایا گیا۔

- **کام کا اصول:** ان پٹ تسلسل سے بے ترتیب طور پر tokens کا ایک چھوٹا فیصد (عام طور پر 15٪) چھپا (ماسک) دیا جاتا ہے۔ ماڈل کا کام یہ ہے کہ وہ ان ماسک شدہ tokens کی اصل قدروں کو ان کے ارد گرد موجود دو طرفہ سیاق و سباق کا استعمال کرتے ہوئے پیش گوئی کرے۔
- **مقصد:** یہ کام ماڈل کو الفاظ کے درمیان گہرے معنیاتی اور نحوی تعلقات سیکھنے پر مجبور کرتا ہے۔

### اگلے جملے کی پیش گوئی (Next Sentence Prediction, NSP)

یہ کام (جو اصل BERT سے بھی ہے) ماڈل کو جملوں کے درمیان تعلقات سمجھنا سکھانے کے لیے تیار کیا گیا تھا۔

- **کام کا اصول:** ماڈل کو جملوں کا ایک جوڑا پیش کیا جاتا ہے، اور اسے یہ طے کرنا ہوتا ہے کہ آیا دوسرا جملہ اصل متن میں پہلے جملے کا منطقی تسلسل ہے۔
- **موجودہ حیثیت:** بعد میں تحقیق (مثلاً RoBERTa ماڈل میں) نے ظاہر کیا کہ NSP کی کارکردگی MLM سے کم ہے، اور اسے اکثر دوسرے کاموں سے بدل دیا جاتا ہے یا بالکل ہٹا دیا جاتا ہے۔

## استعمال

صرف انکوڈر ماڈل آزاد صورت میں متن تیار کرنے کے لیے موزوں نہیں ہوتے، کیونکہ ان میں autoregressive ڈیکوڈر موجود نہیں ہوتا۔ ان کی طاقت متن کے تجزیے اور فہم میں ہے۔ ماڈل کی آؤٹ پٹ ویکٹر نمائندگیاں NLU کے وسیع دائرے کے کاموں کے لیے استعمال ہوتی ہیں:

- **متن کی درجہ بندی:** جذباتی تجزیے یا موضوع کے تعین جیسے کاموں کے لیے، خاص token \`\[CLS\]\` کی نمائندگی استعمال کی جاتی ہے جو ہر تسلسل کے آغاز میں شامل کیا جاتا ہے۔ اس کا آخری ویکٹر پورے تسلسل کی معلومات کو یکجا کرتا ہے۔
- **Token کی درجہ بندی:** نامزد اداروں کی شناخت (NER) یا حصہ کلام کی ٹیگنگ (POS-tagging) جیسے کاموں کے لیے، ہر انفرادی token کی ویکٹر نمائندگیاں استعمال کی جاتی ہیں۔
- **سوال و جواب (Question Answering):** ایسے کاموں میں جہاں جواب دیے گئے متن کا ایک حصہ ہوتا ہے (extractive QA)، ماڈل کو جواب کے آغاز اور اختتام کے tokens کی پیش گوئی کرنا سکھایا جاتا ہے۔
- **Embeddings کا حصول:** انکوڈر ماڈل اکثر جملوں یا دستاویزات کے اعلی معیار کے embeddings حاصل کرنے کے لیے متن کے عالمگیر انکوڈر کے طور پر استعمال ہوتے ہیں، جنہیں پھر تلاشی نظاموں یا معنیاتی مماثلت کے کاموں میں استعمال کیا جا سکتا ہے۔

## بنیادی ماڈل اور ان کا ارتقاء

- **BERT** (2018): فن تعمیر کا پیش رو، جس نے NLP کے متعدد benchmarks پر نئے ریکارڈ قائم کیے۔
- **RoBERTa** (2019): «مضبوطی سے بہتر بنایا گیا BERT»۔ اس نے ظاہر کیا کہ زیادہ ڈیٹا پر طویل تربیت اور NSP کام کو ترک کر کے BERT کی کارکردگی کو نمایاں طور پر بہتر بنایا جا سکتا ہے۔
- **ALBERT** (2019): «A Lite BERT»۔ embedding کی فیکٹرائزیشن اور تہوں کے درمیان پیرامیٹر شیئرنگ کی تکنیکوں کی بدولت کافی کم پیرامیٹرز والا ماڈل۔
- **DistilBERT** (2019): علم کشید (knowledge distillation) کے ذریعے تیار کردہ BERT کا مختصر ورژن، جو تیز اور ہلکا ہے لیکن اصل کی زیادہ تر کارکردگی برقرار رکھتا ہے۔
- **ELECTRA** (2020): پیشگی تربیت کا ایک زیادہ موثر کام متعارف کرایا — **replaced token detection**، جہاں ماڈل سیکھتا ہے کہ اصلی tokens کو ایک چھوٹے جنریٹر ماڈل کے ذریعے تیار کردہ «جعلی» tokens سے کیسے الگ کیا جائے۔
- **DeBERTa** (2020): «disentangled attention» کا طریقہ کار متعارف کرایا، جو tokens کے مواد اور ان کی نسبی پوزیشنوں کو الگ الگ انکوڈ کرتا ہے۔

## یہ بھی دیکھیں

- BERT