Large language model architectures — بڑے لسانی ماڈلز کی معماریاں

بڑے لسانی ماڈلز (LLM) کی معماریاں — یہ وہ بنیادی اصول اور ڈھانچے ہیں جو یہ طے کرتے ہیں کہ بڑے لسانی ماڈلز کیسے بنائے، تربیت یافتہ اور فعال کیے جاتے ہیں۔ جدید LLM، جو انسانی زبان کو سمجھنے اور تخلیق کرنے کی صلاحیت رکھتے ہیں، تقریباً مکمل طور پر Transformer معماری پر مبنی ہیں، لیکن ان میں کارکردگی، توسیع پذیری اور صلاحیتوں کو بڑھانے کے لیے بے شمار بہتریاں اور مختلف طریقہ کار شامل ہیں۔

LLM معماریوں کے خاندان (Transformers)

جدید بڑے لسانی ماڈلز Transformer معماری پر مبنی ہیں، لیکن مقصد کے لحاظ سے اسے مختلف طریقوں سے استعمال کرتے ہیں: متن کو سمجھنا، اگلا حصہ تیار کرنا، یا ایک متن کو دوسرے میں تبدیل کرنا۔ عملی طور پر Transformer کے بنیادی اصولوں کو برقرار رکھتے ہوئے تین خاندانوں کی شناخت کی جاتی ہے۔

1. Encoder‑only (صرف کوڈنگ کرنے والا، صرف انکوڈر)

ماڈل صرف انکوڈرز کا اسٹیک استعمال کرتا ہے اور پوری ان پٹ کو دو طرفہ (bidirectional) انداز میں دیکھتا ہے۔ پیشگی تربیت (pre-training) عموماً masked‑language modeling (MLM، چھپانے کے ساتھ لسانی ماڈلنگ) کی صورت میں ہوتی ہے: کچھ token چھپا دیے جاتے ہیں اور ماڈل انہیں سیاق و سباق سے بحال کرنا سیکھتا ہے۔ دو طرفہ سیاق و سباق کی وجہ سے یہ ماڈلز متن کی سمجھ بوجھ اور اسکورنگ کے کاموں میں طاقتور ہیں: درجہ بندی، اداروں کی شناخت، دستاویزات کی دوبارہ درجہ بندی اور extractive QA۔ یہ ماڈلز آٹو ریگریسیو نسل «شروع سے» کے لیے نہیں بنائے گئے۔

عملی طور پر encoder‑only خاندان کے لیے متبادل پیشگی تربیت کے اہداف بھی استعمال کیے جاتے ہیں: ELECTRA میں replaced token detection (RTD) (discriminator ماڈل بدلے گئے tokens کو پہچانتا ہے) اور سیمنٹک سرچ/retriever کے لیے bi‑encoders کی contrastive learning (InfoNCE/softmax‑loss «سوال-دستاویز» جوڑوں پر، جیسے Dense Passage Retrieval میں)۔ RAG میں استعمال کے وقت encoder‑only یا تو bi‑encoder (سوال اور دستاویز کی علیحدہ کوڈنگ برائے تیز ANN‑سرچ) کے طور پر کام کرتا ہے، یا cross‑encoder (درست دوبارہ درجہ بندی کے لیے جوڑے کی مشترکہ کوڈنگ) کے طور پر۔

فوائد:

• دو طرفہ سیاق و سباق کی وجہ سے متن کی سمجھ بوجھ کا اعلیٰ معیار: درجہ بندی، NER، حقائق نکالنا، دوبارہ درجہ بندی، extractive QA۔
• متوازی پروسیسنگ اور اعلیٰ تھروپٹ: آٹو ریگریشن کے بغیر ایک فارورڈ پاس؛ بڑے پیمانے پر اسکورنگ کے لیے batch پروسیسنگ آسان۔
• سرچ اور RAG کے ساتھ قدرتی انضمام: bi‑encoder کے طور پر — تیز سیمنٹک سرچ؛ cross‑encoder کے طور پر — درست دوبارہ درجہ بندی۔
• موثر موافقت: نسبتاً کمپیکٹ ورژنز (≈100–300 ملین پیرامیٹرز؛ BERT‑base ≈110 ملین) مخصوص fine-tuning کے بعد اعلیٰ معیار دیتے ہیں۔
• مستقل latency جو تیار کردہ جواب کی لمبائی پر منحصر نہیں (قدم بہ قدم decoding نہیں ہے)؛ بڑے مجموعوں کی آف لائن اسکورنگ کے لیے موزوں۔
• نسبتی/گردشی پوزیشنوں اور/یا locally‑sparse attention (مثلاً Longformer/BigBird) کی مدد سے انکوڈرز میں context window بڑھانے کا امکان، جو لمبی دستاویزات کے لیے مفید ہے۔

نقصانات:

• اپنی جنریٹو صلاحیتیں نہیں: مکالمے اور تفصیلی جوابات کے لیے decoder یا بیرونی جنریٹو ماڈیول ضروری ہے۔
• انٹریکٹو منظرناموں میں محدودیت: ریاست کے ساتھ قدم بہ قدم نسل نہیں ہے۔
• پیشگی تربیت کے مقصد اور آزاد نسل کے کاموں کے درمیان عدم مطابقت: MLM کاز وجنریشن کے مقابلے میں causal modeling سے بدتر ہم آہنگ ہے۔
• تاریخی طور پر محدود context window (مطلق پوزیشنوں کی بنیادی ترتیب میں اکثر 512 tokens)؛ توسیع کے لیے خاص پوزیشن/attention اسکیموں اور/یا fine-tuning کی ضرورت ہے۔
• Retrieval کے کاموں کے لیے bi‑encoder اور/یا cross‑encoder کی علیحدہ contrastive fine-tuning ضروری ہے؛ اس کے بغیر سرچ/دوبارہ درجہ بندی کا معیار عموماً خصوصی تربیت یافتہ ماڈلز سے کم ہوتا ہے۔

نمائندہ ماڈلز: BERT اور اس کے مشتقات، نیز RoBERTa اور DeBERTa (encoder‑only کے توسیع یافتہ ورژن)؛ متبادل پیشگی تربیت کے اہداف میں — ELECTRA (RTD)۔

2. Decoder‑only (صرف ڈی کوڈنگ کرنے والا، صرف ڈیکوڈر)

صرف causal (بائیں سے دائیں) attention کے ساتھ decoders کا اسٹیک استعمال ہوتا ہے: ماڈل دیے گئے prefix کی بنیاد پر اگلا token پیش گوئی کرتا ہے۔ یہ تربیتی طریقہ — causal language modeling (CLM) — ان ماڈلز کو نسل کے لیے فطری انتخاب بناتا ہے: مکالمے، تفصیلی جوابات، تخلیقی متن، پروگرامنگ کوڈ۔ سمجھوتہ — لمبے prompts پر latency اور KV‑cache کے حجم میں اضافہ۔ عملی طور پر decoder‑only کے لیے انجینئرنگ تکنیکیں وسیع پیمانے پر استعمال ہوتی ہیں: MQA اور GQA کے ذریعے KV‑cache کا حجم کم کرنا، speculative decoding اور سرور آپٹیمائزیشن (PagedAttention/vLLM, continuous batching, chunked prefill) کے ذریعے inference کو تیز کرنا۔

فوائد:

• قدرتی متن نسل (CLM): مضبوط zero‑shot اور few‑shot صلاحیتیں؛ اچھے پیمانے پر پھیلتا ہے۔
• استعمال میں تنوع: ایک ماڈل prompt میں ہدایات اور مثالوں سے بہت سے کام حل کرتا ہے؛ RAG اور tool use کے ساتھ قدرتی طور پر ملتا ہے۔
• پختہ ماحولیاتی نظام: instructional fine-tuning اور رویے کی ہم آہنگی کی تکنیکیں (RLHF, DPO)؛ کھلے اور تجارتی نفاذ دستیاب ہیں۔
• inference آپٹیمائزیشن کا بھرپور اسٹیک: MQA/GQA KV‑cache کا حجم کم کرتے اور تھروپٹ بڑھاتے ہیں؛ speculative decoding آؤٹ پٹ تقسیم بدلے بغیر inference کو تیز کرتا ہے؛ PagedAttention/vLLM بمعہ continuous batching اور chunked prefill GPU استعمال بڑھاتے ہیں۔
• سخت جواب فارمیٹس (JSON/SQL/DSL) کے لیے structured generation کی حمایت، جو معلوماتی نظاموں اور API کے ساتھ انضمام آسان بناتی ہے۔

نقصانات:

• نسل میں بڑھی ہوئی latency: ترتیب وار output؛ نئے token کی قیمت پہلے سے «پڑھے گئے» context کی لمبائی کے ساتھ بڑھتی ہے (KV‑cache)۔
• «لمبی ان پٹ – مختصر آؤٹ پٹ» پروفائل (خلاصہ سازی، ترجمہ) میں encoder–decoder کے مقابلے کم فائدہ مند، جہاں ان پٹ ایک بار کوڈ ہوتی ہے۔
• یک طرفہ context کی پابندی: سمجھ بوجھ کے کاموں میں کبھی کبھی دو طرفہ نمائندگی (encoder‑only / encoder–decoder) والے ماڈلز سے پیچھے رہتا ہے۔
• لمبے prompts اور بڑے batches پر KV‑cache کے لیے میموری «رکاوٹ» بن سکتی ہے؛
• activations/KV کی quantization (INT8/FP8) inference کو تیز کرتی ہے، لیکن لمبے contexts/کوڈ پر معیار خراب کر سکتی ہے؛ احتیاطی validation ضروری ہے (خاص طور پر سخت SLA پر)۔

نمائندہ ماڈلز: GPT‑3، GPT‑4 (معماری اور ڈیٹا سیٹ کی تفصیلات عوامی طور پر نہیں بتائی گئیں)، LLaMA اور Llama 3 (8B/70B، 2024)۔

3. Encoder–decoder (کوڈنگ کرنے والا–ڈی کوڈنگ کرنے والا، انکوڈر-ڈیکوڈر)

یہ معماری دونوں اجزاء کو جوڑتی ہے۔ انکوڈر دو طرفہ موڈ میں کام کرتا ہے، اور ڈیکوڈر — causal انداز میں۔ انکوڈر ایک بار ان پٹ کا تجزیہ کرتا اور اس کی نمائندگی بناتا ہے؛ ڈیکوڈر cross‑attention کے ذریعے اس نمائندگی کی طرف رجوع کرتے ہوئے آؤٹ پٹ تیار کرتا ہے۔ یہ الگ الگ طریقہ خاص طور پر وہاں مفید ہے جہاں لمبے ان پٹ متن کو مختصر آؤٹ پٹ میں تبدیل کرنا ضروری ہو: مشینی ترجمہ، خلاصہ سازی، دستاویزات کی بنیاد پر جوابات۔ اگرچہ یہ طریقہ زیادہ کل حسابی لاگت (دو اسٹیک اور cross‑attention) مانگتا ہے، اس کا فائدہ ماخذ متن کے مکمل تجزیے پر مبنی کنٹرول شدہ نسل ہے؛ کوڈنگ ایک بار ہوتی ہے اور پورے inference عمل میں دوبارہ استعمال ہوتی ہے۔

فوائد:

• مشروط نسل: ڈیکوڈر ان پٹ کی نمائندگی کی طرف cross‑attention استعمال کرتا ہے۔
• «لمبی ان پٹ → مختصر آؤٹ پٹ» منظرنامے میں موثر: ان پٹ ایک بار کوڈ ہوتی ہے۔
• «text‑to‑text» فارمیٹ اور کنٹرول شدہ آؤٹ پٹ (کاموں کے prefixes، خاص ہدایات) کے لیے آسان۔
• لمبے ماخذ پر استحکام اور کارکردگی: decoding مرحلے میں صرف آؤٹ پٹ پر self‑attention بڑھتا ہے، اور cross‑attention انکوڈر کی طے شدہ keys/values دوبارہ استعمال کرتا ہے (ان پٹ ہر قدم پر «دوبارہ نہیں پڑھی جاتی»)۔

نقصانات:

• دو اسٹیک تربیت اور استعمال میں میموری اور حسابات کی ضروریات بڑھاتے ہیں۔
• انتہائی لمبی sequences پر کل latency decoder‑only سے ملتی جلتی ہو جاتی ہے؛ آٹو ریگریشن رکاوٹ رہتی ہے۔
• decoder‑only کے مقابلے میں کم عالمگیر chat ماڈلز؛ اکثر مخصوص کاموں کے لیے اعلیٰ معیاری seq2seq انجن کے طور پر استعمال ہوتے ہیں۔
• بہت لمبی ان پٹ پر ڈیکوڈر کی ہر تہ میں cross‑attention کے لیے keys/values (پورے ماخذ سے) کی میموری بڑھتی ہے، جس کے لیے سروسنگ کی احتیاطی منصوبہ بندی ضروری ہے۔

نمائندہ ماڈلز: T5 (بشمول T5 v1.1 اور FLAN‑T5 میں instructional fine-tuning کا عمل) اور BART۔

Dense Transformers - گھنے ٹرانسفارمرز

LLM کی کلاسیکی اور سب سے زیادہ استعمال شدہ معماری: ہر token کی پروسیسنگ پر ماڈل کے تقریباً تمام پیرامیٹرز حصہ لیتے ہیں۔ Mixture‑of‑Experts جیسے sparse طریقوں کے برعکس، sub-networks کی انتخابی فعالیت نہیں ہے — ہر block ہر token کے لیے کام کرتا ہے۔

کام کا طریقہ اور معماری

بنیادی ڈھانچہ۔ ماڈل N ایک جیسے Transformer بلاکس کا اسٹیک ہے۔ ہر بلاک میں شامل ہے:

1. کثیر سری خود توجہ (Multi‑Head Self‑Attention)۔ ہر token کے لیے تین ویکٹر حسب ذیل ہیں: Q (query)، K (key)، V (value)؛ توجہ اس طرح متعین ہوتی ہے $\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{\top }}+M}{\sqrt{d_k}}\right)\cdot V$، جہاں $M$ — mask (causal اور/یا padding mask) جو ناجائز پوزیشنوں کو خارج کرتا ہے۔ کئی «توجہ کے سر» متوازی طور پر سیاق و سباق کے مختلف پہلوؤں کو مدنظر رکھتے ہیں (H سر، عموماً $d_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\frac{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}{H}$)؛ ان کی تعداد ماڈل کے پیمانے کے ساتھ بڑھتی ہے۔
2. مکمل طور پر منسلک نیٹ ورک (Feed‑Forward Network, FFN)۔ دو linear تہیں ان کے درمیان غیر خطی عنصر کے ساتھ (عموماً GELU/SiLU؛ کچھ جدید ماڈلز میں — SwiGLU)۔ درمیانی سائز عموماً $\approx 4d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ ہوتا ہے؛ SwiGLU استعمال کرنے پر پیرامیٹرز کی تعداد ملتی جلتی رکھنے کے لیے اکثر $\approx \frac{8}{3}{d}_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}$ لیا جاتا ہے۔ FFN میں پیرامیٹرز کا بڑا حصہ ہوتا ہے۔

اضافی اجزاء۔ Residual connections اور layer normalization استعمال ہوتے ہیں؛ جدید LLM میں اکثر Pre‑LN (sub-blocks سے پہلے normalization) استعمال ہوتا ہے — یہ بڑی گہرائیوں پر تربیت کا استحکام بہتر کرتا ہے۔ کلاسیکی LayerNorm کے علاوہ RMSNorm کا استعمال بڑھ رہا ہے (حسابی اخراجات کم کرتا ہے اور بڑے ماڈلز میں اچھا کام کرتا ہے)؛ اسی طرح کچھ خاندانوں میں توجہ کی فضا میں normalization (مثلاً softmax سے پہلے Q/K کی normalization) استعمال ہوتی ہے۔ Positional representations مطلق یا نسبتی ہو سکتی ہیں؛ لمبے context کے لیے RoPE عملاً معیار بن گئی ہے۔

ماڈلز کی مثالیں اور پیمانہ

• BERT‑Large: 24 تہیں، سائز 1024، 16 توجہ کے سر، ≈340 ملین پیرامیٹرز۔
• GPT‑3 (175B): 96 تہیں، سائز 12288، 96 توجہ کے سر، ≈175 ارب پیرامیٹرز۔
• LLaMA‑65B: 80 تہیں، سائز 8192، 64 توجہ کے سر، ≈65 ارب پیرامیٹرز۔
• PaLM‑540B: 118 تہیں، سائز تقریباً 18432، ≈540 ارب پیرامیٹرز۔

فوائد

• یکساں بلاکس، تربیت کے اچھی طرح سمجھے گئے طریقے اور پیمانے پر قابل پیش گوئی رویہ۔
• پیرامیٹرز اور ڈیٹا کی ترقی کے ساتھ معیار طاقت کے قانون کی طرح بہتر ہوتا ہے؛ compute‑optimal موڈ ماڈل کے سائز اور تربیتی tokens کے حجم کے مشترک اضافے کا تقاضا کرتا ہے۔
• ایک ہی معماری fine-tuning کے بعد تہوں میں تبدیلی کے بغیر کاموں کی وسیع رینج کو پورا کرتی ہے۔

نقصانات

• مکمل self‑attention کی sequence کی لمبائی کے لحاظ سے مربع پیچیدگی ($O(n^2)$) ہے، جو context window کو محدود کرتی ہے۔
• نسل کے قدم پر پیرامیٹرز کی مکمل فعالیت: MoE کے بغیر decoder میں ہر token پر inference کی لاگت تقریباً پیرامیٹرز کی تعداد کے متناسب بڑھتی ہے۔
• رکاوٹ — میموری کی bandwidth (memory‑bound): HBM سے weights لوڈ کرنا اکثر inference کی رفتار کو محدود کرتا ہے۔

پیمانے اور context کی حدود

• پیرامیٹرز کے لیے میموری ماڈل کے سائز کے ساتھ خطی طور پر بڑھتی ہے؛ تربیتی میموری gradients اور optimizer حالتوں کی وجہ سے بڑھتی ہے۔
• بنیادی ترتیبیں تاریخی طور پر 2–4 ہزار tokens تک محدود تھیں۔ جدید positional schemes (RoPE) اور توسیع کی تکنیکیں (Position Interpolation، YaRN وغیرہ) window کو ایک درجہ اور اس سے زیادہ بڑھانے کی اجازت دیتی ہیں، لیکن اضافی حسابی/میموری بوجھ کے ساتھ۔

جدید آپٹیمائزیشنز

• FlashAttention۔ GPU میموری ہائیرارکی کو مدنظر رکھتے ہوئے درست attention؛ لمبی sequences پر میموری اخراجات کم کرتا اور تربیت/inference کو تیز کرتا ہے۔
• KV‑cache کی کمی اور انتظام۔ Multi‑Query Attention اور Grouped‑Query Attention cache کا حجم اور میموری ٹریفک کم کرتے ہیں؛ سرور کی سطح پر PagedAttention (vLLM) cache کے صفحہ وار انتظام سے تھروپٹ بڑھاتا ہے۔
• Speculative Decoding۔ Draft ماڈل جاری رکھنے کی تجویز دیتا ہے، اور مرکزی ماڈل اسے تیزی سے جانچتا ہے؛ آؤٹ پٹ کی تقسیم بدلے بغیر تیزی حاصل ہوتی ہے۔

Sparse Models اور Mixture‑of‑Experts (MoE)

MoE — ہر token پر حسابات کے متناسب اضافے کے بغیر ماڈل کی صلاحیت بڑھانے کا طریقہ۔ ایک بڑے FFN بلاک کی بجائے تہ میں متوازی «ماہرین» کا مجموعہ (کئی آزاد FFN) استعمال ہوتا ہے، اور ایک تربیت یافتہ router (gating network) ہر token کے لیے top‑k سب سے زیادہ متعلقہ ماہرین (عموماً k=1–2؛ کچھ ماڈلز میں k=4) منتخب کرتا ہے۔ صرف منتخب ماہرین فعال ہوتے ہیں؛ ان کے آؤٹ پٹ وزن کے ساتھ جمع کیے جاتے ہیں۔ اس طرح کل پیرامیٹرز سینکڑوں ارب اور حتیٰ کہ ٹریلین تک ہو سکتے ہیں، لیکن ہر قدم پر صرف ایک چھوٹا سا حصہ استعمال ہوتا ہے۔

ماڈلز کی مثالیں اور پیمانہ

• Switch Transformer (Google): ~1.6T پیرامیٹرز تک؛ top‑1 routing (ہر token کے لیے ایک ماہر)۔ یہ ظاہر کیا کہ MoE ہر token پر ملتی جلتی لاگت کے ساتھ صلاحیت بڑھانے کی اجازت دیتا ہے۔
• GLaM (Google): 1.2T پیرامیٹرز، تہ میں 64 ماہرین، top‑2؛ ہر token پر ≈96.6B پیرامیٹرز (≈8%) فعال ہوتے ہیں۔
• Mixtral 8×7B (Mistral AI): کل ~46.7B پیرامیٹرز، ہر token پر ≈12.9B فعال، top‑2۔
• Mixtral 8×22B: کل ~141B پیرامیٹرز، ہر token پر ≈39B فعال، top‑2۔
• DBRX (Databricks): کل 132B پیرامیٹرز، ہر token پر ≈36B فعال؛ 16 ماہرین اور top‑4 routing (fine‑grained MoE)۔

فوائد

• حسابات کی لاگت کل پیرامیٹرز کی تعداد سے نہیں بلکہ فعال ماہرین k کی تعداد سے متعین ہوتی ہے: ٹریلین پیمانے کے ماڈلز نمایاً چھوٹے dense ماڈلز سے ملتی جلتی لاگت پر تربیت اور استعمال ممکن ہے۔
• تخصص: ماہرین خودبخود زبانوں/domains/patterns کے مطابق «ڈھلتے» ہیں، جو multi-domain کاموں میں معیار بہتر کرتا ہے۔
• لچکدار تعیناتی: اکثر استعمال ہونے والے ماہرین میموری میں رکھے اور کم استعمال ہونے والے لوڈ کیے جا سکتے ہیں (مناسب انفراسٹرکچر کے ساتھ)۔

حدود

• بوجھ کا توازن: regularization کے بغیر router کچھ ماہرین پر «اٹک» سکتا ہے (router collapse)۔ Auxiliary losses (load‑balancing) اور بہتر routing schemes ضروری ہیں۔
• تقسیم شدہ حسابات کی پیچیدگی: expert parallelism اور all‑to‑all تبادلہ ضروری ہے؛ مواصلاتی اخراجات اور میموری انتظام رکاوٹ بن جاتے ہیں۔
• تربیت کا استحکام: router اور capacity قیود کی ترتیبات اہم ہیں، ورنہ معیار/convergence میں گراوٹ ممکن ہے۔

جدید بہتریاں

• Expert‑Choice routing: ماہرین tokens «منتخب» کرتے ہیں، جو ملتی جلتی لاگت پر توازن اور convergence بہتر کرتا ہے۔
• Fine‑grained MoE: بڑی تعداد میں چھوٹے ماہرین (جیسے DBRX میں) تخصص کی باریک دانے داری دیتے ہیں۔
• Sparse Upcycling: dense ماڈل کو اس کے checkpoint سے MoE میں تبدیل کرنا اعتدال پسند لاگت پر معیار میں نمایاں بہتری کی اجازت دیتا ہے۔

MoE کے استعمال کی موزونیت

• محدود compute بجٹ پر بڑے multi-domain اسسٹنٹس۔
• وسیع corpora پر تربیت جہاں تخصص سے فائدہ ملتا ہے۔
• ترقی یافتہ تقسیم شدہ انفراسٹرکچر (بہت سے GPU/TPU اور تیز نیٹ ورک) والے منظرنامے۔

جب dense ماڈلز بہتر ہوں: محدود انفراسٹرکچر (1–2 GPU)، قابل پیش گوئی latency اور تعیناتی کی سادگی کے لیے سخت تقاضے۔

Retrieval‑Augmented Generation (RAG)

RAG — یہ LLM کے ارد گرد نظام کا ایک architectural pattern ہے، نہ کہ خود ماڈل کی اندرونی معماری۔ یہ LLM (جنریٹو جزو) کو بیرونی علمی بنیاد (نکالنے کا جزو) کے ساتھ جوڑتا ہے، جو ماڈل کی «parametric memory» کی محدودیت کو پورا کرتا ہے۔

• کام کا طریقہ: نسل سے پہلے LLM بیرونی ذریعہ (ویکی، کارپوریٹ knowledge base، ویب) سے متعلقہ دستاویزات نکالتا اور جواب بناتے وقت ان پر انحصار کرتا ہے۔
• فوائد:
  • غلط معلومات کمی اور حقیقی درستگی میں بہتری۔
  • ماڈل کی مکمل دوبارہ تربیت کے بغیر تازگی۔
  • جوابات کا حوالہ اور ردِ پا (traceability)۔
• استعمال: قابل تصدیق حقائق اور نجی/انتہائی خصوصی ڈیٹا سے کام کے تقاضے والے کارپوریٹ اسسٹنٹس اور نظاموں کے لیے عملی معیار۔

توجہ کے طریقہ کار اور context کے ساتھ کام

بنیادی self‑attention کی sequence کی لمبائی کے لحاظ سے مربع پیچیدگی ($O(n^2)$) ہے، اس لیے آپٹیمائزیشنز سامنے آئی ہیں۔

• Sparse Attention (بکھری ہوئی توجہ): توجہ کو مقامی windows/patterns تک محدود کرنا۔ مثالیں: Longformer، BigBird۔
• FlashAttention: GPU میموری ہائیرارکی کو مدنظر رکھتے ہوئے حسابات کی ترتیب نو؛ وقت اور میموری میں نمایاں فائدہ دیتا ہے اور لمبے context کے ساتھ LLM تربیت میں عملی معیار بن گیا ہے۔
• MQA/GQA (decoding کی رفتار بڑھانا): Multi‑Query Attention (تمام سروں کے لیے مشترک keys/values) KV‑cache کا ٹریفک کم کرتا ہے۔ Grouped‑Query Attention معیار/رفتار کا توازن رکھتا ہے۔
• بہتر positional representations:
  • ALiBi (Attention with Linear Biases): توجہ کے اسکور میں خطی تعصبات بڑی لمبائیوں پر تعمیم بہتر کرتے ہیں۔
  • RoPE (Rotary Position Embeddings): Q/K کی گردش کے ذریعے نسبتی positional معلومات؛ جدید ماڈلز (مثلاً LLaMA) میں وسیع پیمانے پر استعمال۔
  • RoPE ماڈلز کے لیے context توسیع: Position Interpolation ، YaRN ، نیز NTK‑aware modifications معماری تبدیل کیے بغیر context window کو موثر انداز میں بڑھانے کی اجازت دیتی ہیں۔

• لمبی sequences کے لیے دیگر طریقے:
  • Transformer‑XL: دور کی انحصاریوں کی ماڈلنگ کے لیے segments کے درمیان بازگشت یادداشت۔
  • Reformer: میموری بچانے کے لیے LSH‑attention اور reversible residual blocks۔
  • Performer: softmax‑attention کی خطی تقریب (FAVOR+)۔
  • Linformer: توجہ میٹرکس کی کم درجہ تقریب۔

ماڈلز کی آپٹیمائزیشن اور تربیت کا انفراسٹرکچر

LLM کی تربیت اور تعیناتی کے لیے خصوصی تکنیکیں اور فریم ورک استعمال ہوتے ہیں۔

• Quantization (مقداریت): Weights کے bits کم کرنا میموری کم کرتا اور inference تیز کرتا ہے۔ QLoRA قریب قریب پوری درستگی کے معیار کے ساتھ 4‑bit ماڈلز (بشمول 65B) کو موثر انداز میں fine-tune کرنے کی اجازت دیتا ہے۔
• Knowledge Distillation (علمی کشید): کمپیکٹ ماڈلز کے لیے Teacher→Student تربیت؛ مثال — DistilBERT۔
• Distributed Learning (تقسیم شدہ تربیت):
  • DeepSpeed اور ZeRO — ٹریلین ماڈلز کی تربیت کے لیے پیرامیٹرز/gradients/optimizer حالتوں کی تقسیم۔
  • Megatron‑LM — بہت بڑے Transformers کے لیے tensor اور pipeline parallelism۔
• ماحولیاتی نظام اور ٹولز: Hugging Face Transformers اور Accelerate ماڈلز کی معیاری implementations اور تربیت و inference کے لیے DeepSpeed/FSDP کے ساتھ انضمام فراہم کرتے ہیں۔

Scaling Laws اور Compute‑Optimal Training

تجرباتی scaling laws ظاہر کرتے ہیں کہ cross-entropy خطا پیرامیٹرز، ڈیٹا اور حسابات کی ترقی کے ساتھ طاقت کے قانون کے مطابق کم ہوتی ہے۔ Chinchilla کے کام نے compute‑optimal modes کو واضح کیا: زیادہ سے زیادہ کارکردگی کے لیے ماڈل کے سائز اور تربیتی tokens کی تعداد کو ایک ساتھ بڑھانا چاہیے (مثال — ~1.4T tokens پر تربیت یافتہ 70B ماڈل، جو بڑے کم تربیت یافتہ ماڈلز سے بہتر ہے)۔

State Space Models (SSM)

State Space Models (SSM) — لمبی sequences کے ساتھ کام کے لیے Transformers کی متبادل معماری۔ یہ کنٹرول نظریے اور ڈیجیٹل سگنل پروسیسنگ کے خیالات سے مستعار لیتی ہے اور self‑attention کا مرکزی مسئلہ حل کرتی ہے: متن کی لمبائی بڑھنے کے ساتھ حسابات کا مربع اضافہ۔

بنیادی مسئلہ اور حل

Transformers کا مسئلہ۔ روایتی Transformers کا مرکزی مسئلہ attention کی مربع پیچیدگی ہے: 10 گنا لمبا متن تقریباً 100 گنا زیادہ حسابات مانگتا ہے۔

SSM کا طریقہ۔ «تمام الفاظ پر بیک وقت توجہ» کی بجائے ماڈل متن میں قدم بہ قدم چلتا ہے اور ایک کمپیکٹ اندرونی یادداشت کی حالت برقرار رکھتا ہے جو ہر قدم پر اپ ڈیٹ ہوتی ہے۔ نتیجے میں وقت اور میموری کا استعمال متن کی لمبائی کے ساتھ تقریباً خطی طور پر بڑھتا ہے۔ اس کے ساتھ ساتھ تربیت متوازی انداز میں ہو سکتی ہے — kernel کی convolution نمائندگی کے ذریعے (لمبی sequences پر اعلیٰ تھروپٹ)۔

کام کا طریقہ

Discrete SSM حالت اور آؤٹ پٹ کی مساواتوں سے بیان ہوتا ہے:

$x_t=A{x}_{t-1}+B{u}_t,y_t=C{x}_t+D{u}_t$

جہاں $x_t$ — یادداشت کی حالت، $u_t$ — ان پٹ (token)، $y_t$ — آؤٹ پٹ۔ گہرے SSM میں matrices $A,B,C,D$ اس طرح parametrize کی جاتی ہیں کہ لمبی sequences پر استحکام اور موثر حسابات ممکن ہوں۔ اسی تہ کو سمجھا جا سکتا ہے:

• recursive (قدم بہ قدم سکین) — KV‑cache کے بغیر میموری میں کفایتی inference؛
• convolutional — پیشگی computed kernel کے ساتھ متوازی تربیت۔

بنیادی معماریاں اور ہائبرڈ

• S4 (Structured State Spaces)۔ حالت کی matrix کی مستحکم parametrization کے ساتھ SSM کی بنیادی لائن؛ بہت لمبی sequences پر کارکردگی ظاہر کرتی ہے۔
• Mamba۔ Selective SSM: یادداشت کی اپ ڈیٹ کے قواعد موجودہ ان پٹ پر منحصر ہیں (ماڈل خود فیصلہ کرتا ہے کہ کیا «یاد رکھنا» اور کیا «بھولنا»)۔ نفاذ GPU میموری ہائیرارکی پر مرکوز ہے؛ مصنفین کے مطابق خطی پیچیدگی پر inference تھروپٹ میں نمایاں اضافہ حاصل ہوتا ہے۔
• RetNet۔ تین modes کے ساتھ retention طریقہ کار: متوازی تربیت، recursive اور block‑recursive inference۔ مقصد — تیز تربیت (Transformers کی طرح) اور inference پر کفایتی بہاؤ (ہر token پر O(1) میموری) کو یکجا کرنا۔
• Attention+SSM Hybrids۔ مثال — Jamba (Transformer اور Mamba تہوں کی باری باری ترتیب بعلاوہ MoE): خالصتاً Transformer ماڈلز کے مقابلے میں نمایاً کم میموری تقاضے کے ساتھ ~256K tokens کے قریب contexts کی حمایت کی اطلاع دیتا ہے۔

فوائد

• inference پر خطی پیچیدگی اور میموری کی بچت۔ کوئی global self‑attention اور KV‑cache نہیں؛ صرف ایک کمپیکٹ حالت محفوظ ہے۔
• لمبی sequences پر متوازی تربیت۔ Convolutional mode تربیت کا تھروپٹ بڑھاتا ہے۔
• Hardware کارکردگی۔ Implementations جدید میموری ہائیرارکی (HBM/SRAM) پر مرکوز ہیں۔
• لمبے contexts اور streaming۔ SSM+Attention ہائبرڈ اعتدال پسند وسائل پر سینکڑوں ہزار tokens کے لیے عملی ہیں۔

حدود اور موجودہ عمل

• ماحولیاتی نظام کی پختگی۔ ٹولز اور scaling «ترکیبیں» (ہدایات، RLHF/DPO) ابھی Transformer stack سے پیچھے ہیں۔
• معیار اور استحکام۔ کچھ کاموں پر ہائبرڈ (Attention+SSM) «خالص» SSM کے مقابلے زیادہ مستحکم «معیار/رفتار/میموری» سمجھوتہ ظاہر کرتے ہیں۔

طریقوں کا موازنہ (مختصراً)

خصوصیت	Transformers	SSM	Hybrids (Attention+SSM)
لمبائی کے لحاظ سے پیچیدگی	مربع (self‑attention)	خطی (سکین/convolution)	تقریباً خطی
ہر token پر میموری (inference)	KV‑cache context کے ساتھ بڑھتا ہے	O(1) حالت	اعتدال پسند اضافہ
لمبے contexts	خاص آپٹیمائزیشنز ضروری ہیں	قدرتی حمایت	~256K تک عملی
ماحولیاتی نظام کی پختگی	اعلیٰ	ترقی پذیر	ترقی پذیر

عملی استعمالات

• بہت لمبی دستاویزات کا تجزیہ (کتابیں، رپورٹیں، سائنسی جائزے)۔
• لمبی تاریخ کے ساتھ Streaming پروسیسنگ اور chat منظرنامے میموری مہنگا ہونے کے بغیر۔
• محدود وسائل والے ماحول (موبائل/edge آلات)۔
• وقت کی سیریز اور دیگر ترتیب وار ڈیٹا۔

نمائندہ ماڈلز: S4، Mamba، RetNet؛ Attention+SSM ہائبرڈ (Jamba)۔

معماریوں کا ارتقاء

• 2017 — «Attention Is All You Need» مقالہ شائع ہوا۔ Transformer معماری پیش کی گئی: کثیر سری self‑attention اور positional encodings ماڈلز کو بازگشت اور convolutions کے بغیر تربیت دینے کی اجازت دیتے ہیں؛ ساتھ ہی attention کی context کی لمبائی کے لحاظ سے مربع پیچیدگی ہے۔

• 2018 — GPT‑1 اور BERT پیش کیے گئے۔ GPT‑1 نسل اور بعد کے fine-tuning کے لیے causal attention کے ساتھ صرف decoders کا اسٹیک استعمال کرتا ہے؛ BERT متن سمجھ کے کاموں کے لیے دو طرفہ encoder اور MLM پیشگی تربیت متعارف کراتا ہے۔

• 2019 — لمبی sequences کے ساتھ کام کے طریقے تجویز ہوئے اور decoder‑only کا پیمانہ بڑھایا گیا۔ Transformer‑XL مقررہ window کی حدود سے باہر جانے کے لیے «یادداشت» اور نسبتی positions شامل کرتا ہے؛ GPT‑2 پیمانہ بڑھنے کے ساتھ zero‑shot صلاحیتوں میں اضافہ ظاہر کرتا ہے؛ BART seq2seq کے لیے denoising پیشگی تربیت کی کارکردگی ظاہر کرتا ہے۔

• 2020 — «text‑to‑text» فارمیٹ یکجا کیا گیا اور لمبی دستاویزات کے طریقے ظاہر کیے گئے۔ T5 مختلف کاموں کے لیے encoder–decoder کا یکجا طریقہ مرتب کرتا ہے؛ Longformer اور BigBird لمبے متون کے لیے sparse/structured attention استعمال کرتے ہیں؛ GPT‑3 dense decoder‑only کی scaling کی کارکردگی کی تصدیق کرتا ہے۔

• 2021 — Positional representations بہتر ہوئیں اور پیرامیٹرز کی sparseness (MoE) ظاہر کی گئی۔ RoPE اور ALiBi بڑی لمبائیوں پر تعمیم بہتر کرتے ہیں؛ Switch Transformer اور GLaM ہر token پر صرف کچھ ماہرین فعال کرتے ہیں، آؤٹ پٹ کی لاگت کے متناسب اضافے کے بغیر صلاحیت بڑھاتے ہیں۔

• 2022 — compute‑optimal موڈ واضح ہوا اور لمبے prompts پر inference تیز ہوا۔ Chinchilla اعتدال پسند ماڈل سائز پر زیادہ تربیتی tokens کا فائدہ ظاہر کرتا ہے؛ Multi‑Query Attention کے ساتھ PaLM KV‑cache کا حجم کم کرتا ہے؛ FlashAttention GPU پر attention کو تیز کرتا ہے۔

• 2023 — تہوں میں تبدیلی کے بغیر context windows بڑھائی گئیں اور سرور کی فراہمی بہتر ہوئی۔ LLaMA سلسلہ تکنیکیں (RMSNorm، SwiGLU، RoPE) مستحکم کرتا ہے؛ Position Interpolation اور YaRN context بڑھاتے ہیں؛ vLLM/PagedAttention KV‑cache کو زیادہ موثر انداز میں منظم کرتا ہے۔

• 2023 — GPT‑4 اور Gemini ماڈلز کے ایک ہی خاندان کے اندر کئی طریقوں (modalities) میں پروسیسنگ اور نسل ظاہر کرتے ہیں۔

• 2023 — State Space Models (SSM) تجویز ہوئے۔ Mamba اور RetNet KV‑cache کی بجائے کمپیکٹ حالت کے ساتھ ترتیب وار پروسیسنگ واپس لاتے ہیں اور hybrid architectures کی بنیاد رکھتے ہیں۔

• 2024 — کھلے MoE ماڈلز اور Attention+SSM ہائبرڈ شائع ہوئے؛ نئے GPU پر attention تیز ہوا۔ Mixtral 8×7B/8×22B اور DBRX MoE کی عملیت کی تصدیق کرتے ہیں؛ Jamba بہت لمبے contexts کے لیے Transformer اور Mamba کو ملاتا ہے؛ FlashAttention‑3 تھروپٹ بڑھاتا ہے۔

حوالہ جات

• https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer — بصری وضاحت

ادبیات

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS. https://arxiv.org/abs/1706.03762
• Devlin, J. et al. (2019). BERT. NAACL. https://arxiv.org/abs/1810.04805
• Brown, T. et al. (2020). Language Models are Few‑Shot Learners. NeurIPS. https://arxiv.org/abs/2005.14165
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5). JMLR. https://jmlr.org/papers/volume21/20-074/20-074.pdf
• Lewis, M. et al. (2019). BART: Denoising Sequence‑to‑Sequence Pre‑training. https://arxiv.org/abs/1910.13461
• Touvron, H. et al. (2023). LLaMA. https://arxiv.org/abs/2302.13971
• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. https://arxiv.org/abs/2204.02311
• Dao, T. et al. (2022–2024). FlashAttention (1/2/3). https://arxiv.org/abs/2205.14135 ; https://arxiv.org/abs/2307.08691 ; https://arxiv.org/abs/2407.08608
• Shazeer, N. (2019). MQA. https://arxiv.org/abs/1911.02150
• Ainslie, J. et al. (2023). GQA. https://arxiv.org/abs/2305.13245
• Kwon, W. et al. (2023). PagedAttention / vLLM. https://arxiv.org/abs/2309.06180
• Leviathan, Y. et al. (2023). Speculative Decoding. https://arxiv.org/abs/2211.17192
• Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. https://arxiv.org/abs/2101.03961
• Du, N. et al. (2022). GLaM. https://proceedings.mlr.press/v162/du22c/du22c.pdf
• Jiang, A.Q. et al. (2024). Mixtral of Experts. https://arxiv.org/abs/2401.04088
• Databricks (2024). Introducing DBRX. https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• NVIDIA (2024). Applying Mixture of Experts in LLM Architectures. https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/
• Zhou, Y. et al. (2022). Expert Choice Routing. https://arxiv.org/abs/2202.09368
• Komatsuzaki, A. et al. (2022). Sparse Upcycling. https://arxiv.org/abs/2212.05055
• Lewis, P. et al. (2020). RAG. https://arxiv.org/abs/2005.11401
• Beltagy, I. et al. (2020). Longformer. https://arxiv.org/abs/2004.05150
• Zaheer, M. et al. (2020). BigBird. https://arxiv.org/abs/2007.14062
• Press, O. et al. (2022). ALiBi. https://arxiv.org/abs/2108.12409
• Su, J. et al. (2021). RoFormer (RoPE). https://arxiv.org/abs/2104.09864
• Chen, S. et al. (2023). Position Interpolation. https://arxiv.org/abs/2306.15595
• Peng, B. et al. (2023). YaRN. https://arxiv.org/abs/2309.00071
• Dettmers, T. et al. (2023). QLoRA. https://arxiv.org/abs/2305.14314
• Rajbhandari, S. et al. (2020). ZeRO. https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/
• Shoeybi, M. et al. (2019). Megatron‑LM. https://arxiv.org/abs/1909.08053
• Kaplan, J. et al. (2020). Scaling Laws. https://arxiv.org/abs/2001.08361
• Hoffmann, J. et al. (2022). Chinchilla / Compute‑Optimal. https://arxiv.org/abs/2203.15556
• Gemini Team (2023). Gemini. https://arxiv.org/abs/2312.11805
• Bai, Y. et al. (2022). Constitutional AI. https://arxiv.org/abs/2212.08073
• OpenAI (2023). GPT‑4 Technical Report. https://arxiv.org/abs/2303.08774
• OpenAI (2023). DevDay: GPT‑4 Turbo 128k. https://openai.com/index/new-models-and-developer-products-announced-at-devday/
• Zhang, B.; Sennrich, R. (2019). RMSNorm. https://arxiv.org/abs/1910.07467
• Shazeer, N. (2020). GLU Variants / SwiGLU. https://arxiv.org/abs/2002.05202
• Gu, A.; Goel, K.; Ré, C. (2021). S4: Structured State Spaces. https://arxiv.org/abs/2111.00396
• Gu, A.; Dao, T. (2023/2024). Mamba: Selective State Spaces. https://arxiv.org/abs/2312.00752
• Sun, Y. et al. (2023). RetNet. https://arxiv.org/abs/2307.08621
• Lieber, O. et al. (2024). Jamba: Hybrid Transformer‑Mamba. https://arxiv.org/abs/2403.19887
• Dai, Z. et al. (2019). Transformer‑XL. https://arxiv.org/abs/1901.02860
• Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). Reformer. https://arxiv.org/abs/2001.04451
• Choromanski, K. et al. (2021). Performer. https://arxiv.org/abs/2009.14794
• Wang, S. et al. (2020). Linformer. https://arxiv.org/abs/2006.04768