Encoder (Transformer) (UR)

انکوڈر (انگریزی: Encoder، کوڈ کرنے والا) — Machine Learning اور Deep Learning میں یہ Neural Network کا وہ جزو ہے جس کا بنیادی کام داخلی ڈیٹا کی ترتیب (مثلاً متن یا تصویر) کو ایک بھرپور عددی نمائندگی میں تبدیل کرنا ہے، جسے عام طور پر پوشیدہ حالت، سیاقی ویکٹر یا embedding کہا جاتا ہے۔ یہ نمائندگی داخلی ڈیٹا کی کلیدی خصوصیات اور معنویت کو ایسی شکل میں محفوظ کرتی ہے جو مزید پروسیسنگ کے لیے موزوں ہو۔

وسیع تر معنوں میں، نظریۂ اطلاعات میں، انکوڈر کوئی بھی ایسا آلہ یا الگورتھم ہے جو معلومات کو ایک شکل سے دوسری شکل میں تبدیل کرتا ہے، اکثر اسے دبانے یا منتقل کرنے کے مقصد سے۔

تصور اور مقصد

نیورل نیٹ ورکس میں انکوڈر کا بنیادی ہدف داخلی ڈیٹا سے مفید خصوصیات نکال کر انہیں ایک مقررہ لمبائی کے گھنے ویکٹر میں کوڈ کرنا ہے۔ اس عمل کو غیر خطی جہتی تخفیف کی ایک صورت کے طور پر دیکھا جا سکتا ہے، جہاں اعلیٰ جہتی اور کم کثافت والے داخلی ڈیٹا (مثلاً one-hot ویکٹرز کی صورت میں پیش کیا گیا متن) کو کم جہتی لیکن معلوماتی طور پر بھرپور ویکٹر فضا (latent space) میں تبدیل کیا جاتا ہے۔

اس کوڈ شدہ ویکٹر کو پھر درج ذیل مقاصد کے لیے استعمال کیا جا سکتا ہے:

• ڈیکوڈر کے ذریعے نئی ترتیب تیار کرنا (مثلاً مشینی ترجمے میں)۔
• درجہ بند کار (Classifier) کے ذریعے تجزیاتی مسائل حل کرنا (مثلاً متن کا جذباتی لہجہ معلوم کرنا)۔
• ایسے کاموں کے لیے جن میں پورے داخلی سیاق کی سمجھ درکار ہو۔

مختلف فن تعمیرات میں انکوڈر

آٹوانکوڈر میں انکوڈر

ایک کلاسیکی مثال آٹوانکوڈر کا فن تعمیر ہے۔ یہ دو حصوں پر مشتمل ہوتا ہے:

1. انکوڈر: داخلی ڈیٹا کو کم جہتی پوشیدہ نمائندگی (latent code) میں سمیٹتا ہے۔
2. ڈیکوڈر: اس سمٹے ہوئے نمائندگی سے اصل ڈیٹا کو بحال کرنے کی کوشش کرتا ہے۔

ایسے نیٹ ورک کو بحالی کی غلطی کم سے کم کرنے کی تربیت دے کر، انکوڈر ڈیٹا سے سب سے اہم خصوصیات نکالنا سیکھتا ہے۔

تکراری نیورل نیٹ ورکس (RNN/LSTM) میں انکوڈر

Transformer فن تعمیر کے آنے سے پہلے، ترتیب پروسیسنگ (seq2seq) کے کاموں میں انکوڈرز تکراری نیورل نیٹ ورکس (RNN) یا ان کے بہتر ورژن LSTM پر مبنی ہوتے تھے۔

• کام کا اصول: RNN انکوڈر داخلی ترتیب کو ایک ایک token کی صورت میں پروسیس کرتا ہے۔ ہر قدم پر یہ اپنی پوشیدہ حالت کو موجودہ token اور پچھلی حالت کی معلومات شامل کرکے اپ ڈیٹ کرتا ہے۔ پوری ترتیب کی پروسیسنگ کے بعد حاصل شدہ آخری پوشیدہ حالت کو وہ ویکٹر سمجھا جاتا ہے جو پوری داخلی ترتیب کے معنی کوڈ کرتا ہے۔ اس ویکٹر کو اکثر سیاقی ویکٹر یا «سوچ کا ویکٹر» (thought vector) کہا جاتا ہے۔

Transformer فن تعمیر میں انکوڈر

قدرتی زبان کی پروسیسنگ میں انقلاب Transformer فن تعمیر پر مبنی انکوڈر کی آمد سے جڑا ہے۔ RNN کے برعکس، یہ ترتیب کے تمام tokens کو بیک وقت پروسیس کرتا ہے۔

Transformer کا انکوڈر یکساں تہوں کے ایک ڈھیر ($N$) پر مشتمل ہوتا ہے۔ ہر تہ میں دو بنیادی ذیلی تہیں ہوتی ہیں:

1. کثیر سری خود توجہ (Multi-Head Self-Attention): یہ طریقہ کار داخلی ترتیب میں ہر token کو تمام دوسرے tokens پر «توجہ» دینے اور اپنی سیاقی نمائندگی بنانے کے لیے ان کی اہمیت جانچنے کی اجازت دیتا ہے۔ اس سے ماڈل الفاظ کے درمیان پیچیدہ انحصار، ان کی پوزیشن سے قطع نظر، سمجھنے کے قابل ہو جاتا ہے۔
2. مکمل طور پر مربوط نیورل نیٹ ورک (Feed-Forward Network): ہر token کی نمائندگی پر الگ الگ مزید غیر خطی تبدیلی کے لیے لاگو کیا جاتا ہے۔

Transformer کے انکوڈر اور RNN انکوڈر کے درمیان بنیادی فرق یہ ہے کہ پہلا ایک سیاقی ویکٹر کی بجائے سیاق یافتہ ویکٹرز کی ایک ترتیب — ہر داخلی token کے لیے ایک — فراہم کرتا ہے۔ ہر ایسا ویکٹر پوری ترتیب کے سیاق میں اپنے token کے بارے میں معلومات رکھتا ہے۔

انکوڈر پر مبنی ماڈلز کی اقسام

انکوڈر-ڈیکوڈر ماڈلز

یہ ترتیب سے ترتیب (seq2seq) تبدیلی کے کاموں جیسے مشینی ترجمہ یا خلاصہ نویسی کا کلاسیکی فن تعمیر ہے۔

• کام کا اصول: انکوڈر پوری داخلی ترتیب (مثلاً ماخذ زبان میں جملہ) کو پروسیس کرتا ہے۔ اس کی نمائندگیاں پھر ڈیکوڈر کو منتقل کی جاتی ہیں، جو انہیں استعمال کرتے ہوئے خودکار ریگریشن (autoregressive) انداز میں خروجی ترتیب (ہدف زبان میں جملہ) تیار کرتا ہے۔ ڈیکوڈر خاص کراس توجہ (cross-attention) طریقہ کار کی مدد سے انکوڈر کے خروجی پر «نظر» ڈالتا ہے۔
• مثالیں: اصل Transformer، T5، BART۔

صرف انکوڈر ماڈلز (Encoder-Only)

یہ ماڈلز خصوصی طور پر Transformer کے انکوڈرز کا ڈھیر استعمال کرتے ہیں۔

• کام کا اصول: یہ ایسے کاموں کے لیے بنائے گئے ہیں جن میں پورے داخلی متن کے سیاق کی گہری سمجھ درکار ہو۔ خود توجہ کے طریقہ کار کی دو طرفہ نوعیت کی بدولت یہ ہر token کے لیے بھرپور سیاقی نمائندگیاں بناتے ہیں۔
• استعمال: زبان کے تجزیے اور سمجھ (NLU) کے کاموں کے لیے مثالی، جیسے:
  • متن کی درجہ بندی (مثلاً جذباتی لہجے کا تجزیہ)۔
  • نامزد وجودات کی شناخت (NER)۔
  • سوال جواب (Question Answering)، جہاں جواب متن کا ایک حصہ ہو۔
• مثال: BERT اور اس کے مشتقات (RoBERTa، ALBERT)۔

ڈیکوڈر سے تعلق

انکوڈر-ڈیکوڈر فن تعمیر میں انکوڈر اور ڈیکوڈر تکمیلی کردار ادا کرتے ہیں:

• انکوڈر داخلی ترتیب کی سمجھ کا ذمہ دار ہے۔
• ڈیکوڈر خروجی ترتیب کی تیاری کا ذمہ دار ہے۔

ان کے درمیان کلیدی ربط ڈیکوڈر کے اندر کراس توجہ (cross-attention) کا طریقہ کار ہے۔ تیاری کے ہر قدم پر ڈیکوڈر پہلے سے تیار خروجی ترتیب کی بنیاد پر ایک سوال (Query) بناتا ہے اور اسے استعمال کرتے ہوئے انکوڈر کی خروجی نمائندگیوں پر «توجہ» دیتا ہے (جو کلید اور قدر — Key اور Value — کے طور پر کام کرتی ہیں)۔ اس سے ڈیکوڈر اگلے token کی تیاری کے لیے داخلی ترتیب کے سب سے متعلقہ حصوں پر توجہ مرکوز کر سکتا ہے۔

کتابیات

• Hinton, G. E.; Salakhutdinov, R. R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science. DOI:10.1126/science.1127647.
• Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. arXiv:1406.1078.
• Sutskever, I.; Vinyals, O.; Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. arXiv:1409.3215.
• Bahdanau, D.; Cho, K.; Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473.
• Kingma, D. P.; Welling, M. (2014). Auto-Encoding Variational Bayes. arXiv:1312.6114.
• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Dai, Z. et al. (2019). Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context. arXiv:1901.02860.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Dosovitskiy, A. et al. (2020). An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929.

یہ بھی دیکھیں

• BERT