---
title: "Theoretical foundations of large language models — LLM کی نظریاتی بنیادیں"
source: "https://systems-analysis.info/int/Theoretical_foundations_of_large_language_models_%E2%80%94_LLM_%DA%A9%DB%8C_%D9%86%D8%B8%D8%B1%DB%8C%D8%A7%D8%AA%DB%8C_%D8%A8%D9%86%DB%8C%D8%A7%D8%AF%DB%8C%DA%BA"
wiki: "systems-analysis.info/int"
article: "Theoretical_foundations_of_large_language_models_—_LLM_کی_نظریاتی_بنیادیں"
language: "ur"
categories:
  - "Category:Core LLM concepts"
  - "Category:Large language models"
  - "Category:Machine learning"
  - "Category:Urdu"
revision_id: 8057
wiki_created_at: 2026-09-07T01:11:43Z
wiki_modified_at: 2026-09-07T01:11:43Z
downloaded_at: 2026-09-07T23:23:10Z
---

# Theoretical foundations of large language models — LLM کی نظریاتی بنیادیں

**بڑے لسانی ماڈلز کی نظریاتی بنیادیں (Transformer آرکیٹیکچر پر مبنی)** — یہ ریاضیاتی، شماریاتی اور اطلاعاتی-نظریاتی اصولوں کا مجموعہ ہے جو جدید بڑے لسانی ماڈلز (LLM) کے کام کرنے، تربیت اور صلاحیتوں کی بنیاد فراہم کرتے ہیں۔ یہ بنیادیں یہ وضاحت کرتی ہیں کہ Transformer آرکیٹیکچر پر مبنی ماڈلز کس طرح انسانی زبان کو اعلیٰ درجے کی ہم آہنگی کے ساتھ سمجھنے اور پیدا کرنے کی صلاحیت رکھتے ہیں۔

## آرکیٹیکچرل بنیادیں: Transformer آرکیٹیکچر

جدید LLM تقریباً مکمل طور پر **Transformer** آرکیٹیکچر پر مبنی ہیں، جسے 2017ء میں مقالے «Attention Is All You Need» میں پیش کیا گیا۔ اس آرکیٹیکچر نے بازگشتی تہوں (جیسے RNN اور LSTM میں) کو ترک کر کے **attention** (توجہ) کے طریقہ کار پر انحصار کیا، جس سے لمبی ترتیبوں کو مؤثر طریقے سے پروسیس کرنا اور حسابات کو متوازی طریقے سے چلانا ممکن ہوا۔

### Self-Attention - خود-توجہ کا طریقہ کار

یہ Transformer آرکیٹیکچر کا مرکزی حصہ ہے۔ Self-Attention کا طریقہ کار ماڈل کو یہ اجازت دیتا ہے کہ وہ کسی ترتیب میں ہر لفظ (token) کی اہمیت کو اسی ترتیب کے تمام دیگر الفاظ کے مقابلے میں وزن دے۔ ہر token کے لیے تین ویکٹر بنائے جاتے ہیں:

- **Query (Q، سوال):** ایک ویکٹر جو موجودہ لفظ کی نمائندگی کرتا ہے۔
- **Key (K، کلید):** ایک ویکٹر جس سے دیگر الفاظ کے سوالات کا موازنہ کیا جاتا ہے۔
- **Value (V، قدر):** ایک ویکٹر جس میں لفظ کی وہ معلومات ہوتی ہیں جو آگے منتقل کی جائیں گی۔

توجہ کا اسکور ایک پیمانہ بند اسکیلر ضرب کے طور پر حساب کیا جاتا ہے:

$\text{Attention}(Q,K,V) = \text{softmax}\left( \frac{QK^{T}}{\sqrt{d_{k}}} \right)V$

جہاں $d_{k}$ — کلیدی ویکٹرز کی جہت ہے۔ یہ طریقہ کار ماڈل کو الفاظ کے درمیان فاصلے سے قطع نظر پیچیدہ سیاقی انحصار کو سمجھنے کی اجازت دیتا ہے۔

**Multi-Head Attention** — یہ مختلف پروجیکشن میٹرکس کے ساتھ اس طرح کے متعدد حسابات کا متوازی نفاذ ہے، جو ماڈل کو بیک وقت نحو اور معنی کے مختلف پہلوؤں پر توجہ مرکوز کرنے کی سہولت دیتا ہے۔

### Transformer پر مبنی آرکیٹیکچرز کی اقسام

Transformer کے اجزاء کے استعمال کے تین بنیادی طریقے ہیں:

1.  **Encoder-Decoder (انکوڈر-ڈیکوڈر):** ترتیب سے ترتیب کی تبدیلی کے کاموں (مثلاً مشینی ترجمہ) کے لیے کلاسک آرکیٹیکچر۔ Encoder داخلی ترتیب کو پروسیس کرتا ہے، جبکہ Decoder خروجی ترتیب پیدا کرتا ہے۔ مثالیں: T5، BART۔
2.  **Encoder-Only (صرف انکوڈر):** وہ ماڈل جو صرف encoders کا ڈھیر استعمال کرتے ہیں۔ یہ ان کاموں کے لیے بہترین ہیں جن میں پوری ترتیب کے سیاق کی گہری سمجھ درکار ہوتی ہے (متن کی درجہ بندی، نامزد ہستی کی شناخت)۔ مثال: BERT۔
3.  **Decoder-Only (صرف ڈیکوڈر):** وہ ماڈل جو صرف decoders کا ڈھیر استعمال کرتے ہیں۔ یہ خود بازگشتی طریقے سے کام کرتے ہیں، پچھلے tokens کی بنیاد پر اگلے token کی پیش گوئی کرتے ہیں۔ یہ تخلیقی ماڈلز کا معیار ہے۔ مثالیں: GPT، LLaMA، Claude۔

### Positional Encoding - مقامی کوڈنگ

چونکہ Self-Attention کا طریقہ کار الفاظ کی ترتیب کو مدنظر نہیں رکھتا، اس لیے آرکیٹیکچر میں **مقامی کوڈنگ** شامل کی جاتی ہے۔ tokens کے embeddings میں ایسے ویکٹر جوڑے جاتے ہیں جو ترتیب میں ان کی پوزیشن کو کوڈ کرتے ہیں۔ اصل ماڈل میں سائنوسائیڈل فنکشن استعمال کیے گئے تھے:

$\text{PE}(\text{pos},2i) = \sin(\text{pos}/10000^{2i/d_{\text{model}}})$

$\text{PE}(\text{pos},2i + 1) = \cos(\text{pos}/10000^{2i/d_{\text{model}}})$

جدید ماڈلز میں قابلِ تربیت اور گردشی (Rotary Position Embeddings، RoPE) مقامی کوڈنگ بھی استعمال کی جاتی ہے۔

## تربیت کے اصول: امکان سے اصلاح تک

### لسانی ماڈلنگ بطور امکانی مسئلہ

LLM کی بنیاد میں **لسانی ماڈلنگ** کا مسئلہ ہے — متن کی ترتیب کے امکان کی پیش گوئی۔ رسمی طور پر، ترتیب $X = (x_{1},x_{2},\ldots,x_{T})$ کے لیے ماڈل امکان $P(X)$ کا اندازہ لگاتا ہے۔ امکانات کے سلسلوی اصول کی مدد سے اسے مشروط امکانات کے ضرب میں تحلیل کیا جاتا ہے:

$P(X) = \prod\limits_{t = 1}^{T}P(x_{t}|x_{1},\ldots,x_{t - 1})$

اس طرح ماڈل کی تربیت کا خلاصہ یہ ہے کہ پچھلے tokens کے سیاق کی بنیاد پر اگلے token $x_{t}$ کی پیش گوئی کی جائے۔

### نقصان کا فنکشن اور اطلاعاتی نظریہ

پیش گوئیوں کے معیار کی پیمائش اور ماڈل کی تربیت کے لیے **کراس-اینٹروپی نقصان فنکشن** استعمال کیا جاتا ہے۔ یہ ماڈل کی پیش گوئی کردہ امکانی تقسیم ($q$) اور حقیقی تقسیم ($p$) کے درمیان فرق کو ماپتا ہے، جہاں درست اگلے token کا امکان 1 ہوتا ہے اور باقیوں کا 0۔

$H(p,q) = - \sum\limits_{i}p(i)\log q(i)$

کراس-اینٹروپی کو کم کرنا تربیتی ڈیٹا کے امکان کو زیادہ سے زیادہ کرنے کے مترادف ہے۔

معیار کی ایک متعلقہ پیمائش **perplexity** ہے، جسے کراس-اینٹروپی کے کفارے کے طور پر بیان کیا جاتا ہے: $\text{Perplexity} = 2^{H(p,q)}$۔ وجداناً، perplexity اوسط اختیارات کی تعداد ظاہر کرتی ہے جن میں سے ماڈل ہر قدم پر «انتخاب» کرتا ہے۔ perplexity جتنی کم ہو، ماڈل اتنا ہی زیادہ پراعتماد اور درست ہوتا ہے۔

### اصلاح

LLM کی تربیت ماڈل کے اربوں پیرامیٹرز کو درست کر کے نقصان فنکشن کو کم کرنے کا عمل ہے۔ اس کے لیے **gradient descent** پر مبنی طریقے استعمال کیے جاتے ہیں۔ سب سے عام **Adam** (Adaptive Moment Estimation) optimizer اور اس کی قسمیں (مثلاً AdamW) ہیں، جو ہر پیرامیٹر کے لیے تربیت کی رفتار کو موافقانہ طریقے سے منتخب کرتی ہیں۔

### تربیت کی اقسام

1.  **Pre-training (پیشگی تربیت):** ماڈل کو خودکار نگران کاموں کے ساتھ بے انتہا بغیر لیبل کے متنی مجموعوں (Common Crawl، The Pile، C4) پر تربیت دی جاتی ہے، جیسے:
    - **Causal Language Modeling (CLM):** اگلے token کی پیش گوئی (GPT میں استعمال)۔
    - **Masked Language Modeling (MLM):** متن میں بے ترتیب طریقے سے چھپے ہوئے tokens کی بحالی (BERT میں استعمال)۔
2.  **Fine-tuning (دوبارہ تربیت):** پیشگی تربیت کے بعد ماڈل کو چھوٹے لیبل شدہ ڈیٹا سیٹس پر مخصوص کاموں کے لیے ڈھالا جاتا ہے۔
3.  **Alignment (ہم آہنگی):** دوبارہ تربیت کا ایک خاص مرحلہ جس کا مقصد ماڈل کے رویے کو انسانی ترجیحات اور اقدار کے ساتھ ہم آہنگ کرنا ہے۔ بنیادی طریقہ — **RLHF (Reinforcement Learning from Human Feedback)** ہے، جہاں ماڈل کو انسانی ترجیحات کی پیش گوئی کرنے والے ماڈل سے انعامی اشارے کا استعمال کرتے ہوئے دوبارہ تربیت دی جاتی ہے۔

## Scaling Laws - پیمانے کے قوانین اور emergent صلاحیتیں

تجرباتی تحقیق نے ظاہر کیا ہے کہ LLM کی کارکردگی تین عوامل میں اضافے کے ساتھ قابلِ پیش گوئی طریقے سے بہتر ہوتی ہے: ماڈل کا سائز (پیرامیٹرز کی تعداد، $N$)، تربیتی ڈیٹا سیٹ کا حجم ($D$) اور حسابات کا حجم ($C$)۔ اس انحصار کو **scaling laws (پیمانے کے قوانین)** کے ذریعے بیان کیا جاتا ہے۔

OpenAI (Kaplan et al., 2020) کے کام میں پیش کردہ قانون ظاہر کرتا ہے کہ نقصان فنکشن $L$ ، $N$، $D$ اور $C$ کی طاقت کے فنکشن کے طور پر گھٹتا ہے۔ DeepMind کے بعد کے کام (Hoffmann et al., 2022) نے ان قوانین کو (**Chinchilla laws**) مزید واضح کیا، یہ ظاہر کرتے ہوئے کہ بہترین تربیت کے لیے ماڈل کے سائز اور ڈیٹا کے حجم دونوں کو متوازن طریقے سے بڑھانا ضروری ہے۔

پیمانے کا ایک اہم نتیجہ **emergent صلاحیتوں** کا ظہور ہے — کارکردگی میں معیاری چھلانگیں، جب ماڈل ایسے کام حل کرنے لگتا ہے جن کی اسے واضح طور پر تربیت نہیں دی گئی (مثلاً حساب، منطقی استدلال، کوڈ لکھنا)۔ یہ صلاحیتیں عموماً چھوٹے ماڈلز میں غائب ہوتی ہیں اور صرف ایک مخصوص پیمانے کی حد تک پہنچنے کے بعد ظاہر ہوتی ہیں۔

## متن کی تخلیق: Decoding - ضابطہ کشائی کی حکمتِ عملیاں

تربیت کے بعد ماڈل اگلے token کی تکراری پیش گوئی کر کے متن پیدا کرتا ہے۔ ماڈل کی پیش کردہ امکانی تقسیم سے اگلے token کا انتخاب مختلف **decoding strategies** کے ذریعے کیا جاتا ہے:

- **Greedy Search (لالچی تلاش):** ہمیشہ سب سے زیادہ امکانی token کا انتخاب کیا جاتا ہے۔ تیز، لیکن اکثر دہرائے جانے والے اور بورنگ متن کا باعث بنتا ہے۔
- **Beam Search (شعاعی تلاش):** ہر قدم پر $k$ سب سے زیادہ امکانی ترتیبیں محفوظ رکھی جاتی ہیں، جو زیادہ بہترین عالمی حل تلاش کرنے کی اجازت دیتی ہیں۔
- **Temperature Sampling - درجہ حرارت کے ساتھ نمونہ سازی:** tokens کے امکانات کو **temperature** ($T$) پیرامیٹر سے درست کیا جاتا ہے۔ $T > 1$ پر تقسیم زیادہ یکساں (زیادہ تخلیقیت) ہو جاتی ہے، $T < 1$ پر — زیادہ نوکیلی (کم بے ترتیبی)۔
- **Top-k Sampling:** ہر قدم پر نمونہ سازی $k$ سب سے زیادہ امکانی tokens تک محدود ہوتی ہے۔
- **Top-p (Nucleus) Sampling:** نمونہ سازی tokens کے کم از کم مجموعے تک محدود ہوتی ہے جن کا مجموعی امکان حد $p$ سے تجاوز کرتا ہے۔ اس سے امیدواروں کے پول کے سائز کو متحرک طریقے سے ڈھالنا ممکن ہوتا ہے۔

## نظریاتی مسائل اور حدود

- **Hallucinations - خیال آرائی:** ماڈلز کا حقیقتاً غلط لیکن قابلِ یقین لگنے والی معلومات پیدا کرنے کا رجحان۔ یہ اس لیے ہوتا ہے کہ ماڈل متن کے امکان کو بہتر بناتے ہیں، اس کی سچائی کو نہیں۔
- **Bias - تعصب:** LLM تربیتی ڈیٹا میں موجود سماجی، ثقافتی اور دیگر تعصبات کو وراثت میں لیتے اور بڑھاتے ہیں۔
- **Interpretability - تفسیر پذیری («بلیک باکس»):** پیرامیٹرز کی بے انتہا تعداد کی وجہ سے یہ سمجھنا انتہائی مشکل ہے کہ ماڈل فیصلے بالکل کس طرح کرتا ہے، جس سے ڈیبگنگ مشکل ہوتی ہے اور خطرات پیدا ہوتے ہیں۔
- **حسابی پیچیدگی:** Self-Attention کا طریقہ کار ترتیب کی لمبائی کے لحاظ سے مربع پیچیدگی ($O(n^{2})$) رکھتا ہے، جو پروسیس کیے جانے والے سیاق کی زیادہ سے زیادہ لمبائی کو محدود کرتا ہے۔

## مزید دیکھیں

- بڑے لسانی ماڈلز
- BERT
- GPT

## حوالہ جات

- Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762.
- Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805.
- Brown, T. B. et al. (2020). *Language Models Are Few-Shot Learners*. arXiv:2005.14165.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903.
- Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155.
- Bai, Y. et al. (2022). *Constitutional AI: Harmlessness from AI Feedback*. arXiv:2212.08073.
- Bubeck, S. et al. (2023). *Sparks of Artificial General Intelligence: Early Experiments with GPT-4*. arXiv:2303.12712.
- Touvron, H. et al. (2024). *The Llama 3 Herd of Models*. arXiv:2407.21783.
- Bender, E. M. et al. (2021). *On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?*. DOI:10.1145/3442188.3445922.