---
title: "Decoder (Transformer) (BN)"
source: "https://systems-analysis.info/int/Decoder_(Transformer)_(BN)"
wiki: "systems-analysis.info/int"
article: "Decoder_(Transformer)_(BN)"
language: "bn"
categories:
  - "Category:Bengali"
  - "Category:Core LLM concepts"
  - "Category:Large language models"
  - "Category:LLM core concepts"
  - "Category:Machine learning"
revision_id: 1561
wiki_created_at: 2026-09-06T22:50:34Z
wiki_modified_at: 2026-09-06T22:50:34Z
downloaded_at: 2026-09-07T22:46:36Z
---

# Decoder (Transformer) (BN)

**ডিকোডার** (ইং. Decoder, ডিকোডার) — Machine Learning এবং Deep Learning-এ এটি একটি Neural Network-এর উপাদান, যার মূল কাজ হলো এনকোড করা উপস্থাপনা (যেমন, context vector বা এনকোডার থেকে প্রাপ্ত hidden state-এর ক্রম) কে আউটপুট ডেটার ক্রমে (যেমন, টেক্সট বা ছবি) রূপান্তরিত করা। ডিকোডার ধাপে ধাপে আউটপুট ডেটা তৈরি করে, সাধারণত autoregressive পদ্ধতিতে।

ব্যাপক অর্থে, তথ্য তত্ত্বে, ডিকোডার হলো যেকোনো ডিভাইস বা অ্যালগরিদম যা এনকোড করা ডেটাকে তার মূল বা বোধগম্য ফর্ম্যাটে ফিরিয়ে আনে।

## ধারণা ও উদ্দেশ্য

এনকোডার যদি ইনপুট ডেটা **বোঝার** ও সংকুচিত করার দায়িত্ব নেয়, তাহলে ডিকোডার দায়িত্ব নেয় আউটপুট ডেটা **তৈরি** ও প্রসারিত করার। এটি একটি সংক্ষিপ্ত, তথ্যসমৃদ্ধ উপস্থাপনা গ্রহণ করে এবং ধারাবাহিকভাবে সেটিকে কাঙ্ক্ষিত ফর্ম্যাটে রূপান্তরিত করে — সেটি হতে পারে অন্য ভাষায় একটি বাক্য, একটি ছবির টেক্সটুয়াল বিবরণ বা সঙ্গীতের সুরের ক্রম।

অধিকাংশ ডিকোডারের মূল বৈশিষ্ট্য হলো তাদের **autoregressive** প্রকৃতি: ক্রমের পরবর্তী উপাদান (যেমন, শব্দ বা পিক্সেল) তৈরি করতে তারা এনকোড করা উপস্থাপনা এবং পূর্বে তৈরি সকল উপাদান উভয়ই ব্যবহার করে।

## বিভিন্ন আর্কিটেকচারে ডিকোডার

### অটোএনকোডারে ডিকোডার

**অটোএনকোডার** আর্কিটেকচারে, ডিকোডার এনকোডারের বিপরীত কাজটি সম্পন্ন করে:

1.  **এনকোডার** ইনপুট ডেটাকে একটি hidden representation-এ সংকুচিত করে।
2.  **ডিকোডার** সেই hidden representation গ্রহণ করে এবং সেখান থেকে মূল ডেটা পুনরুদ্ধার (reconstruct) করার চেষ্টা করে।

এই ধরনের নেটওয়ার্কের প্রশিক্ষণ ডিকোডারকে আলাদাভাবে নতুন ডেটা তৈরি করতে ব্যবহার করার সুযোগ দেয়, latent space থেকে vector ইনপুট হিসেবে প্রদান করে।

### রিকারেন্ট Neural Network-এ ডিকোডার (RNN/LSTM)

RNN বা LSTM-ভিত্তিক ক্লাসিক seq2seq মডেলে, ডিকোডার একটি recurrent নেটওয়ার্ক যা token-by-token আউটপুট ক্রম তৈরি করে।

- **কার্যপদ্ধতি:** ডিকোডার এনকোডারের চূড়ান্ত hidden state (context vector) দিয়ে প্রাথমিক অবস্থায় থাকে। প্রতিটি ধাপে এটি পূর্বে তৈরি token এবং তার আগের hidden state ইনপুট হিসেবে গ্রহণ করে, তারপর পরবর্তী token তৈরি করে এবং নিজের অবস্থা আপডেট করে। এই প্রক্রিয়া চলতে থাকে যতক্ষণ না বিশেষ ক্রম-সমাপ্তি token (\`\<EOS\>\`) তৈরি হয়।

### Transformer আর্কিটেকচারে ডিকোডার

**Transformer** আর্কিটেকচার-ভিত্তিক ডিকোডারও autoregressive পদ্ধতিতে কাজ করে, কিন্তু এর অভ্যন্তরীণ কাঠামো আলাদা। এটি অভিন্ন স্তরের ($N$) একটি স্ট্যাক নিয়ে গঠিত, প্রতিটি স্তরে তিনটি মূল sub-layer রয়েছে:

1.  **Masked Multi-Head Self-Attention:** এই mechanism এনকোডারের মতোই কাজ করে, তবে একটি গুরুত্বপূর্ণ পার্থক্য আছে — **masking**। Mask প্রতিটি অবস্থানকে ক্রমের পরবর্তী অবস্থানের দিকে "মনোযোগ দিতে" বাধা দেয়। এটি নিশ্চিত করে যে $i$ অবস্থানের পূর্বাভাস শুধুমাত্র $< i$ অবস্থানে ইতিমধ্যে পরিচিত আউটপুটের উপর নির্ভর করে, autoregressive বৈশিষ্ট্য বজায় রেখে।
2.  **Multi-Head Cross-Attention:** এটি একটি মূল mechanism যা ডিকোডারকে এনকোডারের সাথে সংযুক্ত করে। এখানে Query এসকল পূর্ববর্তী ডিকোডার স্তর থেকে আসে, আর Key এবং Value আসে এনকোডারের আউটপুট উপস্থাপনা থেকে। এটি ডিকোডারকে তৈরির প্রতিটি ধাপে ইনপুট ক্রমের সবচেয়ে প্রাসঙ্গিক অংশে ফোকাস করার সুযোগ দেয়।
3.  **Feed-Forward Network:** এনকোডারে ব্যবহৃততার অনুরূপ।

## ডিকোডার-ভিত্তিক মডেলের ধরন

### এনকোডার-ডিকোডার মডেল

এটি একটি ক্লাসিক আর্কিটেকচার, যেখানে এনকোডার এবং ডিকোডার জোড়ায় কাজ করে।

- **কার্যপদ্ধতি:** এনকোডার ইনপুট ডেটার উপস্থাপনা তৈরি করে, আর ডিকোডার সেই উপস্থাপনা ব্যবহার করে আউটপুট ডেটা তৈরি করে।
- **উদাহরণ:** মূল Transformer, T5, BART।

### Decoder-Only মডেল

এই মডেলগুলো, যা generative AI-তে প্রভাবশালী হয়ে উঠেছে, শুধুমাত্র Transformer ডিকোডারের স্ট্যাক ব্যবহার করে।

- **কার্যপদ্ধতি:** এই ধরনের মডেলে এনকোডারের প্রতি cross-attention থাকে না, কারণ কোনো এনকোডার নেই। মডেলটি সম্পূর্ণরূপে autoregressive পদ্ধতিতে কাজ করে, একই ক্রমের সমস্ত পূর্ববর্তী token-এর উপর ভিত্তি করে পরবর্তী token পূর্বাভাস দেয়। ইনপুট prompt এবং ইতিমধ্যে তৈরি টেক্সট একসাথে প্রক্রিয়াজাত হয়।
- **প্রয়োগ:** নির্দিষ্ট টেক্সট অব্যাহত রাখার কাজে আদর্শ (টেক্সট তৈরি, সংলাপ সিস্টেম, chatbot)।
- **উদাহরণ:** GPT সিরিজ, LLaMA, Claude।

## এনকোডারের সাথে সম্পর্ক

এনকোডার ও ডিকোডারের পারস্পরিক ক্রিয়া রূপান্তর কার্যের জন্য একটি মৌলিক নীতি।

- **এনকোডার** ইনপুট ক্রম সম্পর্কে তথ্য vector-এর একটি সেটে সংকুচিত করে।
- **ডিকোডার** সেই vector-এর সেট ব্যবহার করে ধারাবাহিকভাবে নতুন একটি ক্রম তৈরি করে।

Cross-attention ডিকোডারকে প্রতিটি ধাপে এনকোডারের সাথে "পরামর্শ" করার সুযোগ দেয়, যাতে বোঝা যায় বর্তমান মুহূর্তে মূল টেক্সটের কোন অংশে মনোযোগ দেওয়া উচিত। উদাহরণস্বরূপ, একটি বাক্য অনুবাদ করার সময়, ডিকোডার একটি জার্মান শব্দ তৈরি করতে গিয়ে ইনপুট থেকে সংশ্লিষ্ট ইংরেজি শব্দটির দিকে "দৃষ্টি দিতে" পারে।

## আরও দেখুন

- GPT

## সাহিত্য

- Vaswani, A. et al. (2017). *Attention Is All You Need*. NIPS.