---
title: "PaLM (Pathways Language Model) (UR)"
source: "https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)"
wiki: "systems-analysis.info/int"
article: "PaLM_(Pathways_Language_Model)_(UR)"
language: "ur"
categories:
  - "Category:Google"
  - "Category:Large language models"
  - "Category:LLM families"
  - "Category:Machine learning"
  - "Category:Urdu"
revision_id: 5384
wiki_created_at: 2026-09-06T23:48:31Z
wiki_modified_at: 2026-09-06T23:48:31Z
downloaded_at: 2026-09-07T23:08:10Z
---

# PaLM (Pathways Language Model) (UR)

**PaLM** (**P**athways **L**anguage **M**odel) — یہ بڑے زبانی ماڈلز (LLM) کا ایک خاندان ہے جسے Google نے تیار کیا ہے۔ ماڈل کا پہلا ورژن اپریل 2022 میں پیش کیا گیا، جس میں **540 ارب پیرامیٹرز** تھے اور یہ اس وقت دنیا کے سب سے بڑے زبانی ماڈلز میں سے ایک بن گیا، جس نے بڑے پیمانے پر اسکیلنگ کے نتیجے میں حاصل ہونے والی انقلابی صلاحیتوں کا مظاہرہ کیا<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-chowdhery2022-1)</sup>۔

PaLM کی بنیادی تکنیکی اساس **Pathways** تھی — Google کی مشین لرننگ سسٹمز کی ایک نئی architecture، جو ہزاروں ایکسیلریٹر چپس پر تقسیم شدہ کمپیوٹیشن کو مؤثر طریقے سے مربوط کرنے کی صلاحیت رکھتی ہے<sup>[\[2\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-google-blog-pathways-intro-2)</sup>۔ PaLM اس سسٹم کا پہلا بڑے پیمانے کا مظاہرہ تھا، جس نے وسیع پیمانے پر تربیت کی بے مثال کارکردگی ظاہر کی۔

## Pathways سسٹم: اسکیلنگ کی بنیاد

**Pathways** کا تصور، جسے Google نے 2021 میں پیش کیا، ایک ایسی یکجا Neural Network بنانے کا تصور تھا جو مختلف شعبوں میں مؤثر طریقے سے علم کو عام کرنے اور بیک وقت ہزاروں کام انجام دینے کی صلاحیت رکھتی ہو۔ PaLM اس سسٹم کا پہلا بڑے پیمانے کا اطلاق تھی: اس کی تربیت کو **6144** خصوصی **TPU v4** پروسیسرز پر متوازی بنایا گیا، جو دو کلاؤڈ کلسٹرز (TPU v4 Pods) میں جڑے ہوئے تھے<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-chowdhery2022-1)</sup>۔

اپنی تخلیق کے وقت یہ TPU کی سب سے بڑی ترتیب تھی جو کبھی ایک ماڈل کی تربیت کے لیے استعمال کی گئی تھی۔ سسٹم نے ہارڈویئر صلاحیتوں کے استعمال کی ریکارڈ کارکردگی (**57.8% FLOPs**) حاصل کی، جس نے پیشرو منصوبوں کو پیمانے میں نمایاں طور پر پیچھے چھوڑ دیا اور نصف ٹریلین سے زیادہ پیرامیٹرز والے ماڈل کی کامیاب تربیت ممکن بنائی<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-google-blog-palm-scaling-3)</sup>۔

## Architecture اور تربیتی ڈیٹا

### ماڈل کی Architecture

PaLM ایک گھنا (غیر نادر) زبانی ماڈل ہے جس کی **«صرف decoder»** (*decoder-only*) architecture ہے، جو GPT سیریز کے ماڈلز سے ملتی جلتی ہے۔ اس قسم کی architecture اگلے token کی پیشگوئی کے کاموں کے لیے بنائی گئی ہے اور متن کی تخلیق کے لیے موزوں ہے۔ معیاری transformer architecture کے برخلاف، PaLM کارکردگی بڑھانے کے لیے چند اہم ترامیم استعمال کرتی ہے<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-chowdhery2022-1)</sup>:

- **متوازی تہیں**: توجہ (attention) کے طریقہ کار اور مکمل طور پر جڑی تہیں متوازی طور پر حساب کی جاتی ہیں، جس سے تربیت تقریباً 15% تیز ہوئی۔
- **SwiGLU ایکٹیویشن**: معیاری ReLU کی جگہ SwiGLU ایکٹیویشن فنکشن کا استعمال، جس نے ماڈل کے معیار کو نمایاں طور پر بہتر کیا۔

### تربیتی ڈیٹا

PaLM کو **780 ارب tokens** کے حجم والے اعلیٰ معیار کے ڈیٹا کارپس پر تربیت دی گئی۔ ڈیٹاسیٹ کثیر اللسانی اور متنوع تھا، جس میں شامل تھے<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-chowdhery2022-1)</sup>:

- اعلیٰ معیار کی ویب دستاویزات اور کتابیں۔
- Wikipedia کے مضامین۔
- سوشل میڈیا سے مکالمے (کارپس کا 50%)۔
- GitHub سے سورس کوڈ (کارپس کا 5%)۔

تقریباً 78% ڈیٹا انگریزی میں تھا، اور باقی 22% کثیر اللسانی مجموعہ تھا۔ tokenization کے لیے ایک خاص «بے نقصان» طریقہ استعمال کیا گیا جو تمام خالی جگہیں محفوظ رکھتا تھا (کوڈ کے لیے ضروری) اور نامعلوم Unicode علامات کو bytes میں تقسیم کرتا تھا۔

## صلاحیتیں اور نتائج

### ابھرتی صلاحیتیں اور few-shot سیکھنا

PaLM نے یہ ثابت کیا کہ ماڈل کے پیمانے، ڈیٹا اور کمپیوٹیشنل صلاحیتوں میں اضافہ **ابھرتی** (غیر متوقع طور پر ظاہر ہونے والی) صلاحیتوں کا باعث بن سکتا ہے۔ بہت سے کاموں میں ماڈل کی کارکردگی صرف زیادہ سے زیادہ پیمانے پر پہنچنے پر اچانک اور غیر خطی انداز میں بڑھتی تھی، جو پہلے کبھی نہ دیکھی گئی نئی صلاحیتوں کے ظہور کی نشاندہی کرتی تھی<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-google-blog-palm-scaling-3)</sup>۔

ماڈل کا جائزہ **few-shot سیکھنے** کے انداز میں لیا گیا (fine-tuning کے بغیر، prompt میں چند مثالوں کے ساتھ) اور اس نے 29 میں سے 28 مشہور NLP benchmarks پر پچھلے بڑے ماڈلز (جیسے GPT-3 اور LaMDA) کو پیچھے چھوڑ دیا۔ پیچیدہ کاموں کے مجموعے **BIG-bench** پر PaLM پہلا ماڈل بنا جس کے نتائج نے انسانی آزمائشی شرکاء کی اوسط سطح کو پار کیا<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-chowdhery2022-1)</sup>۔

### خیالات کی زنجیر (Chain-of-Thought) استدلال

PaLM کی سب سے نمایاں کامیابیوں میں سے ایک **«خیالات کی زنجیر» (chain-of-thought prompting)** تکنیک کے استعمال سے کثیر مرحلاتی منطقی استدلال کی صلاحیت تھی<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-chowdhery2022-1)</sup>۔ اس طریقے میں ماڈل کو ایسی مثالیں فراہم کی جاتی ہیں جہاں مسئلے کا حل مرحلہ وار بیان کیا گیا ہو۔ ایسی مثالوں پر تربیت پاکر PaLM نئے پیچیدہ مسائل حل کرنے کے لیے اپنی «خیالات کی زنجیر» بنانے کے قابل ہو گئی، جیسے:

- **ریاضی کے مسائل**: **GSM8K** ٹیسٹ (ابتدائی سطح کے مسائل) پر PaLM نے 58% مسائل حل کیے، جو fine-tuned ماڈل کے حاصل کردہ پچھلے state-of-the-art نتیجے سے بہتر تھا۔
- **عقل سلیم کے مسائل**: ماڈل پیچیدہ مسائل کے لیے تفصیلی وضاحتیں تیار کرنے کے قابل ہوا، مثلاً پہلے کبھی نہ سنے گئے لطیفوں کی تشریح کرنا۔

اس صلاحیت نے ماڈل کے «سوچنے» کے عمل کو زیادہ شفاف اور انسانی انداز سے ملتا جلتا بنا دیا۔

### کوڈ کی تخلیق اور کثیر اللسانیت

اس حقیقت کے باوجود کہ سورس کوڈ تربیتی ڈیٹا کا صرف 5% تھا، PaLM نے کوڈ کی تخلیق اور تبدیلی کے کاموں میں OpenAI کے خصوصی ماڈل Codex کے ہم پلہ سطح دکھائی۔ ماڈل نے ترجمے سمیت کثیر اللسانی کاموں میں بھی مضبوط صلاحیتوں کا مظاہرہ کیا<sup>[\[3\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-google-blog-palm-scaling-3)</sup>۔

## ارتقاء اور جانشین: PaLM خاندان

PaLM، Google کی جانب سے تیار کردہ ماڈلز کے پورے خاندان کی بنیاد بنی۔

### PaLM 2

مئی 2023 میں پیش کردہ **PaLM 2** ایک زیادہ مؤثر اور کثیر اللسانی جانشین بنی۔ پیرامیٹرز کی تعداد کے پیچھے بھاگنے کے بجائے، زور تربیتی ڈیٹا کے معیار اور architecture کی کارکردگی پر منتقل کیا گیا۔ PaLM 2 کو **100 سے زیادہ زبانوں** میں متن پر تربیت دی گئی اور یہ منطق، پروگرامنگ اور ترجمے میں بہتر صلاحیتوں کا مظاہرہ کرتی ہے<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-google-blog-palm2-4)</sup>۔ ماڈل چار سائزوں میں جاری کیا جاتا ہے (سب سے چھوٹے سے بڑے تک): **Gecko**، **Otter**، **Bison** اور **Unicorn**۔ سب سے چھوٹا ورژن (Gecko) موبائل آلات پر آف لائن حالت میں کام کرنے کے لیے کافی ہلکا ہے۔

### خصوصی ورژن

PaLM اور PaLM 2 کی بنیاد پر مخصوص شعبوں کے لیے ورژن بنائے گئے:

- **Med-PaLM 2**: طب کے لیے خصوصی ماڈل۔ یہ امریکہ میں ڈاکٹر کے لائسنسنگ امتحان (USMLE) کے سوالات پر ماہر سطح تک پہنچنے والا پہلا AI سسٹم بنا<sup>[\[4\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-google-blog-palm2-4)</sup>۔
- **Sec-PaLM 2**: سائبر سیکیورٹی پر مرکوز ماڈل، جسے کمزوریاں دریافت کرنے اور نقصاندہ کوڈ کا تجزیہ کرنے کے لیے تربیت دی گئی ہے<sup>[\[5\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-google-cloud-sec-ai-5)</sup>۔

### PaLM-E: کثیر طریقیتی ورژن

**PaLM-E** (Pathways Language Model Embodied) ایک کثیر طریقیتی ماڈل ہے جو PaLM زبانی ماڈل کو Vision Transformer (ViT) سے بصری ڈیٹا کے ساتھ یکجا کرتا ہے۔ اس سے ماڈل متن اور تصاویر دونوں کو پروسیس کرنے کی صلاحیت رکھتا ہے، اور مادی دنیا سے متعلق کام انجام دیتا ہے، مثلاً روبوٹس کو کنٹرول کرنے کے لیے<sup>[\[6\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-palm-e-blog-6)</sup>۔

## اخلاقی پہلو اور حدود

PaLM کے خالقین بڑے زبانی ماڈلز کی ذمہ دارانہ ترقی کی ضرورت پر زور دیتے ہیں۔ سرکاری سائنسی مقالے میں تیار کردہ متن میں ممکنہ **تعصبات اور زہریلے پن** کا تجزیہ کیا گیا۔ شفافیت کو یقینی بنانے کے لیے Google نے PaLM کے لیے **ماڈل کارڈ (Model Card)** اور **ڈیٹا شیٹ (Datasheet)** شائع کی، جہاں dataset کی خصوصیات، جانچ کے نتائج اور دریافت کردہ حدود درج ہیں<sup>[\[1\]](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_note-chowdhery2022-1)</sup>۔ یہ اقدامات ذمہ دار AI کے جدید طریقوں سے ہم آہنگ ہیں اور تعصبات اور نقصاندہ مواد کی تخلیق سے جڑے خطرات کو کم کرنے کے لیے بنائے گئے ہیں۔

## حوالہ جات

- Google کا PaLM کے بارے میں سرکاری بلاگ
- ڈویلپرز کے لیے PaLM API

## کتابیات

- Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. arXiv:2204.02311.
- Anil, R. et al. (2023). *PaLM 2 Technical Report*. arXiv:2305.10403.
- Driess, D. et al. (2023). *PaLM-E: An Embodied Multimodal Language Model*. arXiv:2303.03378.
- Singhal, K. et al. (2022). *Large Language Models Encode Clinical Knowledge*. arXiv:2212.13138.
- Singhal, K. et al. (2023). *Towards Expert-Level Medical Question Answering with Large Language Models*. arXiv:2305.09617.
- Barham, P. et al. (2022). *Pathways: Asynchronous Distributed Dataflow for ML*. arXiv:2203.12533.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903.
- Zhang, Z. et al. (2022). *Automatic Chain of Thought Prompting in Large Language Models*. arXiv:2210.03493.
- Wei, J. et al. (2022). *Emergent Abilities of Large Language Models*. arXiv:2206.07682.
- Schaeffer, R. et al. (2023). *Are Emergent Abilities of Large Language Models a Mirage?*. arXiv:2304.15004.
- Lu, S. et al. (2023). *Are Emergent Abilities in Large Language Models just In-Context Learning?*. arXiv:2309.01809.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Rae, J. W. et al. (2021). *Scaling Language Models: Methods, Analysis & Insights from Training Gopher*. arXiv:2112.11446.
- Diao, S. et al. (2023). *Active Prompting with Chain-of-Thought for Large Language Models*. arXiv:2302.12246.

## حواشی

1.  <span id="cite_note-chowdhery2022-1">↑ <sup>[1.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-chowdhery2022_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-chowdhery2022_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-chowdhery2022_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-chowdhery2022_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-chowdhery2022_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-chowdhery2022_1-5)</sup> <sup>[1.6](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-chowdhery2022_1-6)</sup> Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; et al. «PaLM: Scaling Language Modeling with Pathways». *arXiv*. <a href="https://arxiv.org/abs/2204.02311" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-google-blog-pathways-intro-2">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-google-blog-pathways-intro_2-0) «Introducing Pathways: A next-generation AI architecture». *Google AI Blog*. <a href="https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-google-blog-palm-scaling-3">↑ <sup>[3.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-google-blog-palm-scaling_3-0)</sup> <sup>[3.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-google-blog-palm-scaling_3-1)</sup> <sup>[3.2](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-google-blog-palm-scaling_3-2)</sup> «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance». *Google Research Blog*. <a href="https://research.google/blog/pathways-language-model-palm-scaling-to-540-billion-parameters-for-breakthrough-performance/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-google-blog-palm2-4">↑ <sup>[4.0](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-google-blog-palm2_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-google-blog-palm2_4-1)</sup> «Google AI: What to know about the PaLM 2 large language model». *Google AI Blog*. <a href="https://blog.google/technology/ai/google-palm-2-ai-large-language-model/" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-google-cloud-sec-ai-5">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-google-cloud-sec-ai_5-0) «New AI capabilities that can help address your security challenges». *Google Cloud Blog*. <a href="https://cloud.google.com/blog/products/identity-security/security-ai-next23" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-palm-e-blog-6">[↑](https://systems-analysis.info/int/PaLM_(Pathways_Language_Model)_(UR)#cite_ref-palm-e-blog_6-0) «PaLM-E: An embodied multimodal language model». *Google Research Blog*. <a href="https://research.google/blog/palm-e-an-embodied-multimodal-language-model/" class="external autonumber" rel="nofollow">[6]</a></span>