Large language model architectures — বৃহৎ ভাষা মডেলের আর্কিটেকচার

বৃহৎ ভাষা মডেলের (LLM) আর্কিটেকচার — এগুলো হলো মৌলিক নীতি ও কাঠামো যা নির্ধারণ করে কীভাবে বৃহৎ ভাষা মডেল তৈরি, প্রশিক্ষিত এবং পরিচালিত হয়। আধুনিক LLM, যা মানবীয় ভাষা বুঝতে ও তৈরি করতে সক্ষম, প্রায় সম্পূর্ণরূপে Transformer আর্কিটেকচারের উপর ভিত্তি করে গড়ে উঠেছে, তবে এতে দক্ষতা, স্কেলেবিলিটি এবং সামর্থ্য বৃদ্ধির লক্ষ্যে অনেক উন্নতি ও বিভিন্ন পদ্ধতি অন্তর্ভুক্ত করা হয়েছে।

LLM আর্কিটেকচার পরিবার (ট্রান্সফর্মার)

আধুনিক বৃহৎ ভাষা মডেলগুলো transformer আর্কিটেকচারের উপর ভিত্তি করে গড়ে উঠেছে, কিন্তু লক্ষ্য অনুযায়ী এটি ভিন্নভাবে ব্যবহার করা হয়: টেক্সট বোঝা, ধারাবাহিকতা তৈরি করা বা একটি টেক্সটকে অন্যটিতে রূপান্তর করা। বাস্তব ক্ষেত্রে transformer-এর মূল নীতিগুলো বজায় রেখে তিনটি পরিবার চিহ্নিত করা হয়।

১. Encoder‑only (শুধুমাত্র এনকোডার)

মডেলটি শুধুমাত্র এনকোডার স্ট্যাক ব্যবহার করে এবং সমগ্র ইনপুট টেক্সটকে দ্বিমুখীভাবে বিবেচনা করে। প্রি-ট্রেনিং সাধারণত masked‑language modeling (MLM) হিসাবে গড়ে ওঠে: কিছু token লুকানো হয় এবং মডেল তার পারিপার্শ্বিকতা থেকে সেগুলো পুনরুদ্ধার করতে শেখে। দ্বিমুখী প্রসঙ্গের কারণে এই মডেলগুলো বোঝাপড়া ও স্কোরিং কাজে শক্তিশালী: শ্রেণীবিভাগ, entity নিষ্কাশন, নথি পুনর্বিন্যাস এবং extractive QA। শূন্য থেকে autoregressive generation-এর জন্য এগুলো উপযুক্ত নয়।

বাস্তবে encoder‑only পরিবারের জন্য বিকল্প প্রি-ট্রেনিং লক্ষ্যমাত্রাও প্রয়োগ করা হয়: ELECTRA-তে replaced token detection (RTD) (discriminator মডেল প্রতিস্থাপিত token শনাক্ত করে) এবং semantic অনুসন্ধান/retriever-এর জন্য bi-encoder-এর contrastive learning (Dense Passage Retrieval-এর মতো 'query-document' জোড়ায় InfoNCE/softmax‑loss)। RAG-এ ব্যবহার করার সময় encoder‑only হয় bi‑encoder হিসেবে কাজ করে (দ্রুত ANN অনুসন্ধানের জন্য query ও document আলাদাভাবে encode করা), অথবা cross‑encoder হিসেবে (সঠিক পুনর্বিন্যাসের জন্য জোড়াটি একসাথে encode করা)।

সুবিধাসমূহ:

• দ্বিমুখী প্রসঙ্গের কারণে টেক্সট বোঝার উচ্চমান: শ্রেণীবিভাগ, NER, তথ্য নিষ্কাশন, পুনর্বিন্যাস, extractive QA।
• সমান্তরাল প্রক্রিয়াকরণ এবং উচ্চ থ্রুপুট: auto‑regression ছাড়াই একটি forward pass; বড় আকারের স্কোরিং batch করা সুবিধাজনক।
• অনুসন্ধান ও RAG-এর সাথে স্বাভাবিক একীভূতকরণ: bi‑encoder হিসেবে — দ্রুত semantic অনুসন্ধান; cross‑encoder হিসেবে — সঠিক পুনর্বিন্যাস।
• কার্যকর অভিযোজন: তুলনামূলকভাবে কম্প্যাক্ট ভেরিয়েন্ট (≈১০০–৩০০ মিলিয়ন প্যারামিটার; BERT‑base ≈১১০ মিলিয়ন) লক্ষ্য-নির্দিষ্ট fine-tuning-এর পরে উচ্চমান দেয়।
• স্থিতিশীল latency যা উৎপন্ন উত্তরের দৈর্ঘ্যের উপর নির্ভর করে না (ধাপে ধাপে decoding নেই); বড় সংগ্রহের offline স্কোরিং-এর জন্য উপযুক্ত।
• আপেক্ষিক/rotational অবস্থান এবং/অথবা locally sparse attention-এর মাধ্যমে encoder-এর context window বড় করার সম্ভাবনা (যেমন Longformer/BigBird), যা দীর্ঘ নথির জন্য দরকারী।

অসুবিধাসমূহ:

• নিজস্ব generative ক্ষমতা নেই: সংলাপ ও বিস্তারিত উত্তরের জন্য decoder বা বাহ্যিক generative মডিউল প্রয়োজন।
• ইন্টারেক্টিভ পরিস্থিতিতে সীমাবদ্ধতা: state সংরক্ষণ সহ ধাপে ধাপে generation নেই।
• প্রি-ট্রেনিং লক্ষ্যমাত্রার সাথে মুক্ত generation কাজের অমিল: MLM causal modeling-এর তুলনায় generation-এর সাথে কম সামঞ্জস্যপূর্ণ।
• ঐতিহাসিকভাবে সীমিত context window (প্রায়ই absolute position-এর বেসিক কনফিগারেশনে ৫১২ token); বিস্তার করার জন্য বিশেষ position/attention স্কিম এবং/অথবা fine-tuning প্রয়োজন।
• Retrieval কাজের জন্য bi‑encoder এবং/অথবা cross‑encoder-এর আলাদা contrastive fine-tuning প্রয়োজন; এটি ছাড়া অনুসন্ধান/পুনর্বিন্যাসের মান সাধারণত বিশেষভাবে প্রশিক্ষিত মডেলের চেয়ে কম।

প্রতিনিধিত্বকারী মডেল: BERT এবং এর ডেরিভেটিভ, পাশাপাশি RoBERTa ও DeBERTa (encoder‑only-এর বর্ধিত ভেরিয়েন্ট); বিকল্প প্রি-ট্রেনিং লক্ষ্যমাত্রা থেকে — ELECTRA (RTD)।

২. Decoder‑only (শুধুমাত্র ডিকোডার)

শুধুমাত্র causal (বাম-দিকমুখী) attention সহ decoder স্ট্যাক ব্যবহার করা হয়: মডেল ইতিমধ্যে দেওয়া prefix থেকে পরবর্তী token পূর্বানুমান করে। এই প্রশিক্ষণ পদ্ধতি — causal language modeling (CLM) — এই মডেলগুলোকে generation-এর স্বাভাবিক পছন্দ করে তোলে: সংলাপ, বিস্তারিত উত্তর, সৃজনশীল টেক্সট, প্রোগ্রাম কোড। আপোষ হলো দীর্ঘ prompt-এ বিলম্ব ও KV‑cache-এর আকার বৃদ্ধি। বাস্তবে decoder‑only-এর জন্য বিভিন্ন প্রকৌশলগত কৌশল ব্যাপকভাবে প্রয়োগ করা হয়: MQA ও GQA-র মাধ্যমে KV‑cache হ্রাস, speculative decoding ও সার্ভার অপ্টিমাইজেশনের মাধ্যমে inference ত্বরান্বিত করা (PagedAttention/vLLM, continuous batching, chunked prefill)।

সুবিধাসমূহ:

• স্বাভাবিক টেক্সট generation (CLM): শক্তিশালী zero‑shot ও few‑shot ক্ষমতা; ভালোভাবে স্কেল হয়।
• প্রয়োগের বহুমুখিতা: একটি মডেল prompt-এ নির্দেশ ও উদাহরণের মাধ্যমে অনেক কাজ সমাধান করে; স্বাভাবিকভাবে RAG ও tool use-এর সাথে মিলিত হয়।
• পরিপক্ক ecosystem: instruction fine-tuning ও আচরণ alignment (RLHF, DPO)-এর অনুশীলন; উন্মুক্ত ও বাণিজ্যিক বাস্তবায়ন উপলব্ধ।
• সমৃদ্ধ inference অপ্টিমাইজেশন স্ট্যাক: MQA/GQA KV‑cache-এর আকার কমায় এবং থ্রুপুট বাড়ায়; speculative decoding বিতরণ পরিবর্তন না করে inference ত্বরান্বিত করে; PagedAttention/vLLM সহ continuous batching ও chunked prefill GPU-এর সামগ্রিক ব্যবহার বাড়ায়।
• কঠোর উত্তর ফরম্যাটের জন্য structured generation-এর সমর্থন (JSON/SQL/DSL), যা তথ্য সিস্টেম ও API-এর সাথে একীভূতকরণ সহজ করে।

অসুবিধাসমূহ:

• Generation-এ বর্ধিত বিলম্ব: ক্রমানুসারে inference; নতুন token-এর খরচ ইতিমধ্যে 'পঠিত' প্রসঙ্গের দৈর্ঘ্যের সাথে বাড়ে (KV‑cache)।
• 'দীর্ঘ ইনপুট – সংক্ষিপ্ত আউটপুট' প্রোফাইলে (সারসংক্ষেপ, অনুবাদ) encoder–decoder-এর তুলনায় কম সুবিধাজনক, যেখানে ইনপুট একবারই encode করা হয়।
• একমুখী প্রসঙ্গের সীমাবদ্ধতা: বোঝার কাজে কখনো কখনো দ্বিমুখী representation-এর মডেলের (encoder‑only / encoder–decoder) চেয়ে কম কার্যকর।
• দীর্ঘ prompt ও বড় batch-এ KV‑cache-এর মেমরি 'bottleneck' হতে পারে;
• activation/KV-এর quantization (INT8/FP8) inference ত্বরান্বিত করে, কিন্তু দীর্ঘ প্রসঙ্গ/কোডে মান কমাতে পারে; সাবধানী validation প্রয়োজন (বিশেষত কঠোর SLA-র ক্ষেত্রে)।

প্রতিনিধিত্বকারী মডেল: GPT‑3, GPT‑4 (আর্কিটেকচার ও ডেটাসেটের বিবরণ প্রকাশ্যে উন্মোচিত নয়), LLaMA এবং Llama 3 (8B/70B, ২০২৪)।

৩. Encoder–decoder (এনকোডার-ডিকোডার)

আর্কিটেকচার উভয় উপাদান একত্রিত করে। Encoder দ্বিমুখী মোডে কাজ করে, আর decoder — causally। Encoder একবার ইনপুট বিশ্লেষণ করে তার representation তৈরি করে; decoder cross‑attention-এর মাধ্যমে এই representation-এ প্রবেশ করে আউটপুট তৈরি করে। এই আলাদা পদ্ধতি বিশেষভাবে উপকারী যেখানে দীর্ঘ ইনপুট টেক্সটকে সংক্ষিপ্ত আউটপুটে রূপান্তর করতে হয়: মেশিন অনুবাদ, সারসংক্ষেপ, নথির উপর ভিত্তি করে উত্তর। যদিও পদ্ধতিটিতে বৃহত্তর মোট গণনামূলক খরচ প্রয়োজন (দুটি স্ট্যাক ও cross‑attention), এর সুবিধা হলো মূল টেক্সটের সম্পূর্ণ বিশ্লেষণের ভিত্তিতে নিয়ন্ত্রিত generation; এক্ষেত্রে encoding একবার সম্পন্ন হয় এবং সমগ্র inference প্রক্রিয়া জুড়ে পুনরায় ব্যবহার করা হয়।

সুবিধাসমূহ:

• শর্তাধীন generation: decoder ইনপুটের representation-এ cross‑attention ব্যবহার করে।
• 'দীর্ঘ ইনপুট → সংক্ষিপ্ত আউটপুট' পরিস্থিতিতে কার্যকর: ইনপুট একবারই encode করা হয়।
• 'text‑to‑text' ফরম্যাট ও নিয়ন্ত্রিত inference-এর জন্য সুবিধাজনক (কাজ-নির্দিষ্ট prefix, বিশেষ নির্দেশ)।
• দীর্ঘ উৎসে স্থিতিশীলতা ও দক্ষতা: decoding পর্যায়ে শুধুমাত্র আউটপুটের self‑attention বাড়ে, আর cross‑attention encoder থেকে স্থির key/value পুনরায় ব্যবহার করে (প্রতিটি ধাপে ইনপুট 'পুনরায় পঠিত' হয় না)।

অসুবিধাসমূহ:

• দুটি স্ট্যাক প্রশিক্ষণ ও প্রয়োগে মেমরি ও গণনার প্রয়োজনীয়তা বাড়ায়।
• অত্যন্ত দীর্ঘ sequence-এ চূড়ান্ত বিলম্ব decoder‑only-এর সমতুল্য; auto‑regression সংকীর্ণ পথ হিসেবে থাকে।
• decoder‑only-এর মধ্যে যতটা সার্বজনীন chat মডেল রয়েছে তার চেয়ে কম; প্রায়ই নির্দিষ্ট কাজের জন্য উচ্চমানের seq2seq ইঞ্জিন হিসেবে ব্যবহৃত হয়।
• অত্যন্ত দীর্ঘ ইনপুটে decoder-এর প্রতিটি স্তরে cross‑attention-এর key/value-এর মেমরি বাড়ে (পুরো উৎস জুড়ে), যা সতর্কতার সাথে serving পরিকল্পনা প্রয়োজন।

প্রতিনিধিত্বকারী মডেল: T5 (T5 v1.1 এবং FLAN‑T5-এ instruction fine-tuning অনুশীলন সহ) ও BART।

ঘন (Dense) ট্রান্সফর্মার

LLM-এর ক্লাসিক ও সর্বাধিক প্রচলিত আর্কিটেকচার: প্রতিটি token প্রক্রিয়া করার সময় মডেলের প্রায় সমস্ত প্যারামিটার অংশগ্রহণ করে। Sparse পদ্ধতির (যেমন Mixture‑of‑Experts) বিপরীতে, sub-network-এর নির্বাচনী সক্রিয়করণ নেই — প্রতিটি ব্লক প্রতিটি token-এর জন্য কাজ করে।

কার্যপ্রণালী ও আর্কিটেকচার

মৌলিক কাঠামো। মডেল হলো N একই ধরনের transformer block-এর একটি স্ট্যাক। প্রতিটি ব্লকে রয়েছে:

1. Multi‑Head Self‑Attention (বহু-মাথাবিশিষ্ট স্ব-মনোযোগ)। প্রতিটি token-এর জন্য তিনটি ভেক্টর গণনা করা হয়: Q (query), K (key), V (value); attention নির্ধারিত হয় $\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}+M}{\sqrt{d_k}}\right)\cdot V$ হিসাবে, যেখানে $M$ হলো mask (causal এবং/অথবা padding mask) যা অগ্রহণযোগ্য অবস্থান বাদ দেয়। কয়েকটি attention 'head' সমান্তরালভাবে প্রসঙ্গের বিভিন্ন দিক বিবেচনা করে (H head, সাধারণত $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$); মডেলের স্কেলের সাথে তাদের সংখ্যা বাড়ে।
2. Feed‑Forward Network (FFN)। দুটি linear layer-এর মাঝে nonlinearity সহ (সাধারণত GELU/SiLU; কিছু আধুনিক মডেলে — SwiGLU)। মধ্যবর্তী মাত্রা সাধারণত $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$; SwiGLU ব্যবহার করলে তুলনামূলক প্যারামিটার সংখ্যা বজায় রাখতে প্রায়ই $\approx \frac{8}{3}{d}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ নেওয়া হয়। FFN-এ প্যারামিটারের উল্লেখযোগ্য অংশ রয়েছে।

অতিরিক্ত উপাদান। Residual সংযোগ ও layer normalization ব্যবহার করা হয়; আধুনিক LLM-এ প্রায়ই Pre‑LN (sub-block-এর আগে normalization) প্রয়োগ করা হয় — এটি বড় গভীরতায় প্রশিক্ষণের স্থিতিশীলতা উন্নত করে। ক্লাসিক LayerNorm-এর পাশাপাশি RMSNorm ক্রমবর্ধমানভাবে ব্যবহৃত হচ্ছে (গণনামূলক খরচ কমায় এবং বড় মডেলে ভালো কাজ করে); কিছু পরিবারে attention স্থানে normalization প্রয়োগ করা হয় (যেমন softmax-এর আগে Q/K normalization)। Positional representation পরম বা আপেক্ষিক হতে পারে; দীর্ঘ প্রসঙ্গের জন্য RoPE কার্যত মানদণ্ড হয়ে উঠেছে।

মডেলের উদাহরণ ও স্কেল

• BERT‑Large: ২৪ স্তর, মাত্রা ১০২৪, ১৬টি attention head, ≈৩৪০ মিলিয়ন প্যারামিটার।
• GPT‑3 (175B): ৯৬ স্তর, মাত্রা ১২২৮৮, ৯৬টি attention head, ≈১৭৫ বিলিয়ন প্যারামিটার।
• LLaMA‑65B: ৮০ স্তর, মাত্রা ৮১৯২, ৬৪টি attention head, ≈৬৫ বিলিয়ন প্যারামিটার।
• PaLM‑540B: ১১৮ স্তর, মাত্রা প্রায় ১৮৪৩২, ≈৫৪০ বিলিয়ন প্যারামিটার।

সুবিধাসমূহ

• একসমান block, ভালোভাবে অধ্যয়িত প্রশিক্ষণ পদ্ধতি এবং স্কেলিংয়ে পূর্বানুমানযোগ্য আচরণ।
• প্যারামিটার ও ডেটা বৃদ্ধির সাথে মান power-law অনুযায়ী উন্নত হয়; compute‑optimal পদ্ধতি মডেলের আকার ও প্রশিক্ষণ token-এর পরিমাণ একসাথে বাড়ানো নির্দেশ করে।
• একই আর্কিটেকচার fine-tuning-এর পরে স্তর পরিবর্তন ছাড়াই বিভিন্ন কাজ কভার করে।

অসুবিধাসমূহ

• সম্পূর্ণ self‑attention-এর sequence দৈর্ঘ্যের উপর দ্বিঘাত জটিলতা রয়েছে ($O(n^2)$), যা context window সীমিত করে।
• Generation ধাপে প্যারামিটারের সম্পূর্ণ সক্রিয়করণ: MoE ছাড়া decoder-এ token প্রতি inference খরচ প্যারামিটারের সংখ্যার সাথে প্রায় সমানুপাতিকভাবে বাড়ে।
• সংকীর্ণ পথ — মেমরি ব্যান্ডউইথ (memory‑bound): HBM থেকে weight লোড করা প্রায়ই inference গতি সীমিত করে।

স্কেলিং ও প্রসঙ্গের সীমাবদ্ধতা

• প্যারামিটারের মেমরি মডেলের আকারের সাথে রৈখিকভাবে বাড়ে; gradient ও optimizer state-এর কারণে প্রশিক্ষণ মেমরি বাড়ে।
• বেসিক কনফিগারেশন ঐতিহাসিকভাবে ২–৪ হাজার token-এ সীমাবদ্ধ ছিল। আধুনিক positional scheme (RoPE) ও বিস্তার কৌশল (Position Interpolation, YaRN ও অন্যান্য) context window এক মাত্রা বা তার বেশি বাড়াতে দেয়, তবে অতিরিক্ত গণনামূলক/মেমরি চাপের বিনিময়ে।

আধুনিক অপ্টিমাইজেশন

• FlashAttention। GPU মেমরি hierarchy বিবেচনায় নিখুঁত attention; মেমরি খরচ কমায় এবং দীর্ঘ sequence-এ প্রশিক্ষণ/inference ত্বরান্বিত করে।
• KV‑cache হ্রাস ও ব্যবস্থাপনা। Multi‑Query Attention ও Grouped‑Query Attention cache আকার ও মেমরি ট্র্যাফিক কমায়; সার্ভার স্তরে PagedAttention (vLLM) cache-এর paged management-এর মাধ্যমে থ্রুপুট বাড়ায়।
• Speculative Decoding। Draft মডেল ধারাবাহিকতা প্রস্তাব করে, এবং মূল মডেল দ্রুত তা যাচাই করে; output বিতরণ পরিবর্তন না করে ত্বরান্বিত করা হয়।

Sparse Models এবং Mixture‑of‑Experts (MoE)

MoE হলো token প্রতি গণনার সমানুপাতিক বৃদ্ধি ছাড়াই মডেলের ক্ষমতা বাড়ানোর একটি উপায়। একটি বড় FFN ব্লকের পরিবর্তে, স্তরে সমান্তরাল 'expert'-এর একটি সেট (কয়েকটি স্বাধীন FFN) ব্যবহার করা হয়, এবং একটি প্রশিক্ষণযোগ্য router (gating network) প্রতিটি token-এর জন্য top‑k সবচেয়ে প্রাসঙ্গিক expert নির্বাচন করে (সাধারণত k=১–২; কিছু মডেলে k=৪)। শুধুমাত্র নির্বাচিত expert সক্রিয় হয়; তাদের আউটপুট ওজন করে যোগ করা হয়। এভাবে মোট প্যারামিটার শত শত বিলিয়ন এমনকি ট্রিলিয়নে হতে পারে, কিন্তু প্রতিটি ধাপে শুধুমাত্র একটি ক্ষুদ্র অংশ ব্যবহার করা হয়।

মডেলের উদাহরণ ও স্কেল

• Switch Transformer (Google): ~১.৬T প্যারামিটার পর্যন্ত; top‑1 routing (token প্রতি একজন expert)। দেখিয়েছে যে MoE token প্রতি তুলনামূলক খরচে ক্ষমতা উল্লেখযোগ্যভাবে বাড়াতে পারে।
• GLaM (Google): ১.২T প্যারামিটার, স্তরে ৬৪ expert, top‑2; প্রতিটি token-এ ≈৯৬.৬B প্যারামিটার সক্রিয় (≈৮%)।
• Mixtral 8×7B (Mistral AI): মোট ~৪৬.৭B প্যারামিটার, token প্রতি ≈১২.৯B সক্রিয়, top‑2।
• Mixtral 8×22B: মোট ~১৪১B প্যারামিটার, token প্রতি ≈৩৯B সক্রিয়, top‑2।
• DBRX (Databricks): মোট ১৩২B প্যারামিটার, token প্রতি ≈৩৬B সক্রিয়; ১৬ expert ও top‑4 routing (fine‑grained MoE)।

সুবিধাসমূহ

• গণনার খরচ মোট প্যারামিটার সংখ্যার পরিবর্তে সক্রিয় expert k-এর সংখ্যা দ্বারা নির্ধারিত হয়: উল্লেখযোগ্যভাবে ছোট ঘন মডেলের সমতুল্য খরচে trillion মাত্রার মডেল প্রশিক্ষণ ও ব্যবহার করা সম্ভব।
• বিশেষায়ন: expert স্বয়ংক্রিয়ভাবে ভাষা/domain/pattern-এর সাথে 'মানিয়ে নেয়', বহু-domain কাজে মান উন্নত করে।
• নমনীয় deployment: অবকাঠামো সহ ঘন ঘন ব্যবহৃত expert মেমরিতে রাখা এবং বিরল expert লোড করা সম্ভব।

সীমাবদ্ধতাসমূহ

• Load balancing: regularization ছাড়া router কিছু expert-এ 'আটকে' যেতে পারে (router collapse)। Auxiliary losses (load‑balancing) ও উন্নত routing scheme প্রয়োজন।
• বিতরণকৃত গণনার জটিলতা: expert parallelism ও all‑to‑all exchange প্রয়োজন; যোগাযোগ খরচ ও মেমরি ব্যবস্থাপনা সংকীর্ণ পথ হয়ে যায়।
• প্রশিক্ষণের স্থিতিশীলতা: router ও capacity সীমার সেটিং গুরুত্বপূর্ণ, অন্যথায় মান/convergence অবনতি সম্ভব।

আধুনিক উন্নতিসমূহ

• Expert‑Choice routing: expert token 'নির্বাচন' করে, যা তুলনামূলক খরচে load balancing ও convergence উন্নত করে।
• Fine‑grained MoE: বড় সংখ্যক ক্ষুদ্র expert (যেমন DBRX-এ) সূক্ষ্ম বিশেষায়নের granularity দেয়।
• Sparse Upcycling: checkpoint থেকে ঘন মডেলকে MoE-তে রূপান্তর মাঝারি খরচে মান উল্লেখযোগ্যভাবে বাড়াতে পারে।

MoE প্রয়োগের যৌক্তিকতা

• সীমিত compute বাজেটে বড় বহু-domain সহায়ক।
• বিস্তৃত corpus-এ প্রশিক্ষণ যেখানে বিশেষায়ন সুবিধা দেয়।
• উন্নত বিতরণকৃত অবকাঠামো সহ পরিস্থিতি (অনেক GPU/TPU ও দ্রুত নেটওয়ার্ক)।

কখন ঘন মডেল ভালো: সীমিত অবকাঠামো (১–২ GPU), পূর্বানুমানযোগ্য latency ও deployment সহজতার কঠোর প্রয়োজনীয়তা।

Retrieval‑Augmented Generation (RAG)

RAG হলো LLM-এর চারপাশে একটি আর্কিটেকচারাল সিস্টেম প্যাটার্ন, মডেলটির অভ্যন্তরীণ আর্কিটেকচার নয়। এটি LLM (generative উপাদান)-কে বাহ্যিক জ্ঞানভাণ্ডার (extraction উপাদান)-এর সাথে একত্রিত করে, যা মডেলের 'parametric memory'-এর সীমাবদ্ধতা পূরণ করতে দেয়।

• কার্যপ্রণালী: Generation-এর আগে LLM বাহ্যিক উৎস (wiki, কর্পোরেট knowledge base, ওয়েব) থেকে প্রাসঙ্গিক নথি নিষ্কাশন করে এবং উত্তর তৈরি করতে এগুলোর উপর নির্ভর করে।
• সুবিধাসমূহ:
  • Hallucination হ্রাস ও তথ্যগত নির্ভুলতা উন্নতি।
  • মডেলের সম্পূর্ণ পুনরায় প্রশিক্ষণ ছাড়াই হালনাগাদতা।
  • উত্তরের উদ্ধৃতিযোগ্যতা ও ট্রেসযোগ্যতা।
• প্রয়োগ: কর্পোরেট সহায়ক ও সিস্টেমের জন্য de facto মানদণ্ড যেখানে যাচাইযোগ্য তথ্য এবং ব্যক্তিগত/সংকীর্ণ-বিশেষায়িত ডেটার সাথে কাজ করা প্রয়োজন।

মনোযোগ প্রক্রিয়া ও প্রসঙ্গ নিয়ে কাজ

মূল self‑attention-এর sequence দৈর্ঘ্যের উপর দ্বিঘাত জটিলতা রয়েছে ($O(n^2)$), তাই অপ্টিমাইজেশন তৈরি হয়েছে।

• Sparse Attention (বিক্ষিপ্ত মনোযোগ): স্থানীয় window/pattern-এ attention সীমাবদ্ধ করা। উদাহরণ: Longformer, BigBird।
• FlashAttention: GPU মেমরি hierarchy বিবেচনায় গণনার ক্রম পুনর্বিন্যাস; সময় ও মেমরিতে উল্লেখযোগ্য সুবিধা দেয় এবং দীর্ঘ প্রসঙ্গ সহ LLM প্রশিক্ষণে de facto মানদণ্ড হয়ে উঠেছে।
• MQA/GQA (decoding ত্বরান্বিতকরণ): Multi‑Query Attention (সব head-এর জন্য সাধারণ key/value) KV‑cache ট্র্যাফিক কমায়। Grouped‑Query Attention মান/গতির ভারসাম্য রক্ষা করে।
• উন্নত positional representation:
  • ALiBi (Attention with Linear Biases): Attention score-এ linear offset বৃহত্তর দৈর্ঘ্যে generalization উন্নত করে।
  • RoPE (Rotary Position Embeddings): Q/K rotation-এর মাধ্যমে আপেক্ষিক positional তথ্য; আধুনিক মডেলে ব্যাপকভাবে ব্যবহৃত হয় (যেমন LLaMA)।
  • RoPE মডেলের জন্য context বিস্তার: Position Interpolation , YaRN , এবং NTK‑aware পরিবর্তনগুলো আর্কিটেকচার পরিবর্তন ছাড়াই context window কার্যকরভাবে বাড়াতে দেয়।

• দীর্ঘ sequence-এর অন্যান্য পদ্ধতি:
  • Transformer‑XL: দূরবর্তী নির্ভরতা মডেলিংয়ের জন্য segment-এর মধ্যে recurrent memory।
  • Reformer: মেমরি সাশ্রয়ের জন্য LSH‑attention ও reversible residual block।
  • Performer: softmax‑attention-এর linear approximation (FAVOR+)।
  • Linformer: attention matrix-এর low-rank approximation।

মডেল অপ্টিমাইজেশন ও প্রশিক্ষণ অবকাঠামো

LLM প্রশিক্ষণ ও deployment-এর জন্য বিশেষ কৌশল ও framework ব্যবহার করা হয়।

• Quantization (কোয়ান্টাইজেশন): Weight-এর bit সংখ্যা হ্রাস মেমরি কমায় ও inference ত্বরান্বিত করে। QLoRA কাছাকাছি পূর্ণ-নির্ভুলতার মানে 4‑bit মডেল (৬৫B সহ) কার্যকরভাবে fine-tune করতে দেয়।
• Knowledge Distillation (জ্ঞান পাতন): কম্প্যাক্ট মডেলের জন্য Teacher→Student প্রশিক্ষণ; উদাহরণ — DistilBERT।
• বিতরণকৃত প্রশিক্ষণ:
  • DeepSpeed ও ZeRO — trillion মডেল প্রশিক্ষণের জন্য প্যারামিটার/gradient/optimizer state বিতরণ।
  • Megatron‑LM — অত্যন্ত বড় transformer-এর জন্য tensor ও pipeline parallelism।
• Ecosystem ও টুলস: Hugging Face Transformers ও Accelerate প্রশিক্ষণ ও inference-এর জন্য মানক মডেল বাস্তবায়ন ও DeepSpeed/FSDP-এর সাথে একীভূতকরণ প্রদান করে।

স্কেলিং আইন ও Compute‑Optimal প্রশিক্ষণ

আনুভবিক স্কেলিং আইন দেখায় যে ক্রস-এন্ট্রপি ত্রুটি প্যারামিটার, ডেটা ও গণনার বৃদ্ধির সাথে power law অনুযায়ী হ্রাস পায়। Chinchilla কাজটি compute‑optimal পদ্ধতি পরিমার্জন করেছে: সর্বোত্তম দক্ষতার জন্য মডেলের আকার ও প্রশিক্ষণ token-এর সংখ্যা একসাথে স্কেল করতে হবে (উদাহরণ — ~১.৪T token-এ প্রশিক্ষিত ৭০B মডেল, যা বড় কিন্তু কম প্রশিক্ষিত মডেলকে ছাড়িয়ে যায়)।

State Space Models (SSM) - স্থিতি স্থান মডেল

State Space Models (SSM) — দীর্ঘ sequence নিয়ে কাজের জন্য transformer-এর বিকল্প আর্কিটেকচার। এটি নিয়ন্ত্রণ তত্ত্ব ও ডিজিটাল সিগন্যাল প্রক্রিয়াকরণ থেকে ধারণা ধার করে এবং self‑attention-এর প্রধান সমস্যা সমাধান করে: টেক্সটের দৈর্ঘ্য বৃদ্ধির সাথে গণনার দ্বিঘাত বৃদ্ধি।

মূল সমস্যা ও সমাধান

Transformer-এর সমস্যা। ঐতিহ্যবাহী transformer-এর প্রধান সমস্যা হলো attention-এর দ্বিঘাত জটিলতা: ১০ গুণ দীর্ঘ টেক্সটের জন্য প্রায় ১০০ গুণ বেশি গণনা প্রয়োজন।

SSM পদ্ধতি। 'সব শব্দে একসাথে মনোযোগ' দেওয়ার পরিবর্তে, মডেল ক্রমানুসারে টেক্সটের মধ্য দিয়ে যায় এবং একটি কম্প্যাক্ট অভ্যন্তরীণ মেমরি অবস্থা বজায় রাখে যা প্রতিটি ধাপে আপডেট হয়। ফলে সময় ও মেমরি ব্যবহার টেক্সটের দৈর্ঘ্যের সাথে প্রায় রৈখিকভাবে বাড়ে। এক্ষেত্রে প্রশিক্ষণ সমান্তরালভাবে সম্পন্ন হতে পারে — kernel-এর convolutional representation-এর মাধ্যমে (দীর্ঘ sequence-এ উচ্চ থ্রুপুট)।

কার্যপ্রণালী

বিচ্ছিন্ন SSM অবস্থা ও আউটপুটের সমীকরণ দ্বারা বর্ণিত হয়:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

যেখানে $x_t$ — মেমরি অবস্থা, $u_t$ — ইনপুট (token), $y_t$ — আউটপুট। গভীর SSM-এ ম্যাট্রিক্স $A,B,C,D$ এমনভাবে parametrize করা হয় যাতে দীর্ঘ sequence-এ স্থিতিশীলতা ও কার্যকর গণনা নিশ্চিত হয়। একই স্তর গণনা করা যেতে পারে:

• recurrent (ধাপে ধাপে স্ক্যান) — KV‑cache ছাড়া মেমরি-সাশ্রয়ী inference;
• convolutional — পূর্ব-গণনাকৃত kernel সহ সমান্তরাল প্রশিক্ষণ।

মূল আর্কিটেকচার ও হাইব্রিড

• S4 (Structured State Spaces)। স্থিতি matrix-এর স্থায়িত্বশীল parametrization সহ SSM-এর baseline; অত্যন্ত দীর্ঘ sequence-এ কার্যকারিতা প্রদর্শন করে।
• Mamba। Selective SSM: মেমরি আপডেটের নিয়ম বর্তমান ইনপুটের উপর নির্ভর করে (মডেল নিজেই সিদ্ধান্ত নেয় কী 'মেমরিতে রাখবে' আর কী 'ভুলবে')। বাস্তবায়ন GPU মেমরি hierarchy-এর উপর মনোযোগ দেয়; লেখকদের মতে, linear জটিলতায় inference থ্রুপুটে উল্লেখযোগ্য বৃদ্ধি অর্জিত হয়।
• RetNet। তিনটি মোড সহ retention প্রক্রিয়া: সমান্তরাল প্রশিক্ষণ, recurrent ও block‑recurrent inference। লক্ষ্য — দ্রুত প্রশিক্ষণ (transformer-এর মতো) ও inference-এ সাশ্রয়ী ফ্লো (token প্রতি O(1) মেমরি) একত্রিত করা।
• Attention+SSM হাইব্রিড। উদাহরণ — Jamba (Transformer ও Mamba স্তরের পর্যায়ক্রম এবং MoE): একই শ্রেণীর বিশুদ্ধ transformer মডেলের তুলনায় উল্লেখযোগ্যভাবে কম মেমরি প্রয়োজনীয়তায় ~২৫৬K token-এর ক্রম প্রসঙ্গ সমর্থন করার কথা জানায়।

সুবিধাসমূহ

• Inference-এ linear জটিলতা ও মেমরি সাশ্রয়। কোনো global self‑attention ও KV‑cache নেই; শুধুমাত্র কম্প্যাক্ট অবস্থা সংরক্ষণ করা হয়।
• দীর্ঘ sequence-এ সমান্তরাল প্রশিক্ষণ। Convolutional মোড প্রশিক্ষণ থ্রুপুট বাড়ায়।
• হার্ডওয়্যার দক্ষতা। বাস্তবায়ন আধুনিক মেমরি hierarchy (HBM/SRAM)-এর উপর মনোযোগ দেয়।
• দীর্ঘ প্রসঙ্গ ও streaming। SSM+Attention হাইব্রিড মাঝারি সম্পদে শত শত হাজার token-এর জন্য বাস্তবসম্মত।

সীমাবদ্ধতা ও বর্তমান অনুশীলন

• Ecosystem পরিপক্কতা। স্কেলিং টুলস ও 'রেসিপি' (নির্দেশ, RLHF/DPO) এখনো transformer স্ট্যাকের চেয়ে পিছিয়ে।
• মান ও স্থিতিশীলতা। কিছু কাজে হাইব্রিড (Attention+SSM) 'বিশুদ্ধ' SSM-এর চেয়ে 'মান/গতি/মেমরি'-এর আরও স্থিতিশীল আপোষ দেখায়।

পদ্ধতির তুলনা (সংক্ষিপ্ত)

বৈশিষ্ট্য	Transformer	SSM	হাইব্রিড (Attention+SSM)
দৈর্ঘ্যের উপর জটিলতা	দ্বিঘাত (self‑attention)	রৈখিক (স্ক্যান/convolution)	প্রায় রৈখিক
token প্রতি মেমরি (inference)	KV‑cache প্রসঙ্গের সাথে বাড়ে	O(1) অবস্থা	মাঝারি বৃদ্ধি
দীর্ঘ প্রসঙ্গ	বিশেষ অপ্টিমাইজেশন প্রয়োজন	স্বাভাবিক সমর্থন	~২৫৬K পর্যন্ত বাস্তবসম্মত
Ecosystem পরিপক্কতা	উচ্চ	বিকাশমান	বিকাশমান

বাস্তব প্রয়োগ

• অত্যন্ত দীর্ঘ নথি বিশ্লেষণ (বই, প্রতিবেদন, বৈজ্ঞানিক পর্যালোচনা)।
• মেমরি খরচ ছাড়া দীর্ঘ ইতিহাস সহ streaming প্রক্রিয়াকরণ ও chat পরিস্থিতি।
• সীমিত সম্পদের পরিবেশ (মোবাইল/edge ডিভাইস)।
• সময় সিরিজ ও অন্যান্য ক্রমিক ডেটা।

প্রতিনিধিত্বকারী মডেল: S4, Mamba, RetNet; Attention+SSM হাইব্রিড (Jamba)।

আর্কিটেকচারের বিবর্তন

• ২০১৭ — 'Attention Is All You Need' প্রবন্ধ প্রকাশিত। Transformer আর্কিটেকচার উপস্থাপিত: multi-head self‑attention ও positional encoding recurrence ও convolution ছাড়াই মডেল প্রশিক্ষণ করতে দেয়; তবে attention-এর context দৈর্ঘ্যের উপর দ্বিঘাত জটিলতা রয়েছে।

• ২০১৮ — GPT‑1 ও BERT উপস্থাপিত। GPT‑1 generation ও পরবর্তী fine-tuning-এর জন্য causal attention সহ শুধুমাত্র decoder স্ট্যাক ব্যবহার করে; BERT টেক্সট বোঝার কাজের জন্য দ্বিমুখী encoder ও MLM প্রি-ট্রেনিং প্রবর্তন করে।

• ২০১৯ — দীর্ঘ sequence নিয়ে কাজের পদ্ধতি প্রস্তাব করা হয় এবং decoder‑only স্কেল করা হয়। Transformer‑XL নির্দিষ্ট window-এর বাইরে যাওয়ার জন্য 'memory' ও আপেক্ষিক অবস্থান যোগ করে; GPT‑2 স্কেল বৃদ্ধিতে zero‑shot ক্ষমতার বৃদ্ধি দেখায়; BART seq2seq-এর জন্য denoising প্রি-ট্রেনিং-এর কার্যকারিতা প্রদর্শন করে।

• ২০২০ — 'text‑to‑text' ফরম্যাট একীভূত করা হয় এবং দীর্ঘ নথির পদ্ধতি প্রদর্শিত হয়। T5 বিভিন্ন কাজের জন্য একীভূত encoder–decoder পদ্ধতি তৈরি করে; Longformer ও BigBird দীর্ঘ টেক্সটের জন্য sparse/structured attention ব্যবহার করে; GPT‑3 ঘন decoder‑only স্কেলিং-এর কার্যকারিতা নিশ্চিত করে।

• ২০২১ — positional representation উন্নত করা হয় এবং প্যারামিটার sparsity (MoE) প্রদর্শিত হয়। RoPE ও ALiBi বৃহত্তর দৈর্ঘ্যে generalization উন্নত করে; Switch Transformer ও GLaM inference খরচের আনুপাতিক বৃদ্ধি ছাড়াই ক্ষমতা বাড়াতে token প্রতি শুধুমাত্র কিছু expert সক্রিয় করে।

• ২০২২ — compute‑optimal পদ্ধতি পরিমার্জন করা হয় এবং দীর্ঘ prompt-এ inference ত্বরান্বিত করা হয়। Chinchilla মাঝারি মডেল আকারে বেশি প্রশিক্ষণ token-এর সুবিধা দেখায়; Multi‑Query Attention সহ PaLM KV‑cache আকার কমায়; FlashAttention GPU-তে attention ত্বরান্বিত করে।

• ২০২৩ — স্তর পরিবর্তন ছাড়াই context window বড় করা হয় এবং সার্ভার-সাইড inference উন্নত করা হয়। LLaMA সিরিজ অনুশীলন সংহত করে (RMSNorm, SwiGLU, RoPE); Position Interpolation ও YaRN প্রসঙ্গ বাড়ায়; vLLM/PagedAttention আরও কার্যকরভাবে KV‑cache পরিচালনা করে।

• ২০২৩ — GPT‑4 ও Gemini একটি মডেল পরিবারের মধ্যে একাধিক modality প্রক্রিয়াকরণ ও generation প্রদর্শন করে।

• ২০২৩ — State Space Models (SSM) প্রস্তাব করা হয়। Mamba ও RetNet KV‑cache-এর পরিবর্তে কম্প্যাক্ট অবস্থা সহ ক্রমিক প্রক্রিয়াকরণে ফিরে আসে এবং হাইব্রিড আর্কিটেকচারের ভিত্তি স্থাপন করে।

• ২০২৪ — উন্মুক্ত MoE মডেল ও Attention+SSM হাইব্রিড প্রকাশিত হয়; নতুন GPU-তে attention ত্বরান্বিত করা হয়। Mixtral 8×7B/8×22B ও DBRX MoE-এর বাস্তবতা নিশ্চিত করে; Jamba অত্যন্ত দীর্ঘ প্রসঙ্গের জন্য Transformer ও Mamba একত্রিত করে; FlashAttention‑3 থ্রুপুট বাড়ায়।

তথ্যসূত্র

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — ভিজ্যুয়াল ব্যাখ্যা

সাহিত্য

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768