PaLM (Pathways Language Model) (UR)

PaLM (Pathways Language Model) — یہ بڑے زبانی ماڈلز (LLM) کا ایک خاندان ہے جسے Google نے تیار کیا ہے۔ ماڈل کا پہلا ورژن اپریل 2022 میں پیش کیا گیا، جس میں 540 ارب پیرامیٹرز تھے اور یہ اس وقت دنیا کے سب سے بڑے زبانی ماڈلز میں سے ایک بن گیا، جس نے بڑے پیمانے پر اسکیلنگ کے نتیجے میں حاصل ہونے والی انقلابی صلاحیتوں کا مظاہرہ کیا۔

PaLM کی بنیادی تکنیکی اساس Pathways تھی — Google کی مشین لرننگ سسٹمز کی ایک نئی architecture، جو ہزاروں ایکسیلریٹر چپس پر تقسیم شدہ کمپیوٹیشن کو مؤثر طریقے سے مربوط کرنے کی صلاحیت رکھتی ہے۔ PaLM اس سسٹم کا پہلا بڑے پیمانے کا مظاہرہ تھا، جس نے وسیع پیمانے پر تربیت کی بے مثال کارکردگی ظاہر کی۔

Pathways سسٹم: اسکیلنگ کی بنیاد

Pathways کا تصور، جسے Google نے 2021 میں پیش کیا، ایک ایسی یکجا Neural Network بنانے کا تصور تھا جو مختلف شعبوں میں مؤثر طریقے سے علم کو عام کرنے اور بیک وقت ہزاروں کام انجام دینے کی صلاحیت رکھتی ہو۔ PaLM اس سسٹم کا پہلا بڑے پیمانے کا اطلاق تھی: اس کی تربیت کو 6144 خصوصی TPU v4 پروسیسرز پر متوازی بنایا گیا، جو دو کلاؤڈ کلسٹرز (TPU v4 Pods) میں جڑے ہوئے تھے۔

اپنی تخلیق کے وقت یہ TPU کی سب سے بڑی ترتیب تھی جو کبھی ایک ماڈل کی تربیت کے لیے استعمال کی گئی تھی۔ سسٹم نے ہارڈویئر صلاحیتوں کے استعمال کی ریکارڈ کارکردگی (57.8% FLOPs) حاصل کی، جس نے پیشرو منصوبوں کو پیمانے میں نمایاں طور پر پیچھے چھوڑ دیا اور نصف ٹریلین سے زیادہ پیرامیٹرز والے ماڈل کی کامیاب تربیت ممکن بنائی۔

Architecture اور تربیتی ڈیٹا

ماڈل کی Architecture

PaLM ایک گھنا (غیر نادر) زبانی ماڈل ہے جس کی «صرف decoder» (decoder-only) architecture ہے، جو GPT سیریز کے ماڈلز سے ملتی جلتی ہے۔ اس قسم کی architecture اگلے token کی پیشگوئی کے کاموں کے لیے بنائی گئی ہے اور متن کی تخلیق کے لیے موزوں ہے۔ معیاری transformer architecture کے برخلاف، PaLM کارکردگی بڑھانے کے لیے چند اہم ترامیم استعمال کرتی ہے:

• متوازی تہیں: توجہ (attention) کے طریقہ کار اور مکمل طور پر جڑی تہیں متوازی طور پر حساب کی جاتی ہیں، جس سے تربیت تقریباً 15% تیز ہوئی۔
• SwiGLU ایکٹیویشن: معیاری ReLU کی جگہ SwiGLU ایکٹیویشن فنکشن کا استعمال، جس نے ماڈل کے معیار کو نمایاں طور پر بہتر کیا۔

تربیتی ڈیٹا

PaLM کو 780 ارب tokens کے حجم والے اعلیٰ معیار کے ڈیٹا کارپس پر تربیت دی گئی۔ ڈیٹاسیٹ کثیر اللسانی اور متنوع تھا، جس میں شامل تھے:

• اعلیٰ معیار کی ویب دستاویزات اور کتابیں۔
• Wikipedia کے مضامین۔
• سوشل میڈیا سے مکالمے (کارپس کا 50%)۔
• GitHub سے سورس کوڈ (کارپس کا 5%)۔

تقریباً 78% ڈیٹا انگریزی میں تھا، اور باقی 22% کثیر اللسانی مجموعہ تھا۔ tokenization کے لیے ایک خاص «بے نقصان» طریقہ استعمال کیا گیا جو تمام خالی جگہیں محفوظ رکھتا تھا (کوڈ کے لیے ضروری) اور نامعلوم Unicode علامات کو bytes میں تقسیم کرتا تھا۔

صلاحیتیں اور نتائج

ابھرتی صلاحیتیں اور few-shot سیکھنا

PaLM نے یہ ثابت کیا کہ ماڈل کے پیمانے، ڈیٹا اور کمپیوٹیشنل صلاحیتوں میں اضافہ ابھرتی (غیر متوقع طور پر ظاہر ہونے والی) صلاحیتوں کا باعث بن سکتا ہے۔ بہت سے کاموں میں ماڈل کی کارکردگی صرف زیادہ سے زیادہ پیمانے پر پہنچنے پر اچانک اور غیر خطی انداز میں بڑھتی تھی، جو پہلے کبھی نہ دیکھی گئی نئی صلاحیتوں کے ظہور کی نشاندہی کرتی تھی۔

ماڈل کا جائزہ few-shot سیکھنے کے انداز میں لیا گیا (fine-tuning کے بغیر، prompt میں چند مثالوں کے ساتھ) اور اس نے 29 میں سے 28 مشہور NLP benchmarks پر پچھلے بڑے ماڈلز (جیسے GPT-3 اور LaMDA) کو پیچھے چھوڑ دیا۔ پیچیدہ کاموں کے مجموعے BIG-bench پر PaLM پہلا ماڈل بنا جس کے نتائج نے انسانی آزمائشی شرکاء کی اوسط سطح کو پار کیا۔

خیالات کی زنجیر (Chain-of-Thought) استدلال

PaLM کی سب سے نمایاں کامیابیوں میں سے ایک «خیالات کی زنجیر» (chain-of-thought prompting) تکنیک کے استعمال سے کثیر مرحلاتی منطقی استدلال کی صلاحیت تھی۔ اس طریقے میں ماڈل کو ایسی مثالیں فراہم کی جاتی ہیں جہاں مسئلے کا حل مرحلہ وار بیان کیا گیا ہو۔ ایسی مثالوں پر تربیت پاکر PaLM نئے پیچیدہ مسائل حل کرنے کے لیے اپنی «خیالات کی زنجیر» بنانے کے قابل ہو گئی، جیسے:

• ریاضی کے مسائل: GSM8K ٹیسٹ (ابتدائی سطح کے مسائل) پر PaLM نے 58% مسائل حل کیے، جو fine-tuned ماڈل کے حاصل کردہ پچھلے state-of-the-art نتیجے سے بہتر تھا۔
• عقل سلیم کے مسائل: ماڈل پیچیدہ مسائل کے لیے تفصیلی وضاحتیں تیار کرنے کے قابل ہوا، مثلاً پہلے کبھی نہ سنے گئے لطیفوں کی تشریح کرنا۔

اس صلاحیت نے ماڈل کے «سوچنے» کے عمل کو زیادہ شفاف اور انسانی انداز سے ملتا جلتا بنا دیا۔

کوڈ کی تخلیق اور کثیر اللسانیت

اس حقیقت کے باوجود کہ سورس کوڈ تربیتی ڈیٹا کا صرف 5% تھا، PaLM نے کوڈ کی تخلیق اور تبدیلی کے کاموں میں OpenAI کے خصوصی ماڈل Codex کے ہم پلہ سطح دکھائی۔ ماڈل نے ترجمے سمیت کثیر اللسانی کاموں میں بھی مضبوط صلاحیتوں کا مظاہرہ کیا۔

ارتقاء اور جانشین: PaLM خاندان

PaLM، Google کی جانب سے تیار کردہ ماڈلز کے پورے خاندان کی بنیاد بنی۔

PaLM 2

مئی 2023 میں پیش کردہ PaLM 2 ایک زیادہ مؤثر اور کثیر اللسانی جانشین بنی۔ پیرامیٹرز کی تعداد کے پیچھے بھاگنے کے بجائے، زور تربیتی ڈیٹا کے معیار اور architecture کی کارکردگی پر منتقل کیا گیا۔ PaLM 2 کو 100 سے زیادہ زبانوں میں متن پر تربیت دی گئی اور یہ منطق، پروگرامنگ اور ترجمے میں بہتر صلاحیتوں کا مظاہرہ کرتی ہے۔ ماڈل چار سائزوں میں جاری کیا جاتا ہے (سب سے چھوٹے سے بڑے تک): Gecko، Otter، Bison اور Unicorn۔ سب سے چھوٹا ورژن (Gecko) موبائل آلات پر آف لائن حالت میں کام کرنے کے لیے کافی ہلکا ہے۔

خصوصی ورژن

PaLM اور PaLM 2 کی بنیاد پر مخصوص شعبوں کے لیے ورژن بنائے گئے:

• Med-PaLM 2: طب کے لیے خصوصی ماڈل۔ یہ امریکہ میں ڈاکٹر کے لائسنسنگ امتحان (USMLE) کے سوالات پر ماہر سطح تک پہنچنے والا پہلا AI سسٹم بنا۔
• Sec-PaLM 2: سائبر سیکیورٹی پر مرکوز ماڈل، جسے کمزوریاں دریافت کرنے اور نقصاندہ کوڈ کا تجزیہ کرنے کے لیے تربیت دی گئی ہے۔

PaLM-E: کثیر طریقیتی ورژن

PaLM-E (Pathways Language Model Embodied) ایک کثیر طریقیتی ماڈل ہے جو PaLM زبانی ماڈل کو Vision Transformer (ViT) سے بصری ڈیٹا کے ساتھ یکجا کرتا ہے۔ اس سے ماڈل متن اور تصاویر دونوں کو پروسیس کرنے کی صلاحیت رکھتا ہے، اور مادی دنیا سے متعلق کام انجام دیتا ہے، مثلاً روبوٹس کو کنٹرول کرنے کے لیے۔

اخلاقی پہلو اور حدود

PaLM کے خالقین بڑے زبانی ماڈلز کی ذمہ دارانہ ترقی کی ضرورت پر زور دیتے ہیں۔ سرکاری سائنسی مقالے میں تیار کردہ متن میں ممکنہ تعصبات اور زہریلے پن کا تجزیہ کیا گیا۔ شفافیت کو یقینی بنانے کے لیے Google نے PaLM کے لیے ماڈل کارڈ (Model Card) اور ڈیٹا شیٹ (Datasheet) شائع کی، جہاں dataset کی خصوصیات، جانچ کے نتائج اور دریافت کردہ حدود درج ہیں۔ یہ اقدامات ذمہ دار AI کے جدید طریقوں سے ہم آہنگ ہیں اور تعصبات اور نقصاندہ مواد کی تخلیق سے جڑے خطرات کو کم کرنے کے لیے بنائے گئے ہیں۔

حوالہ جات

• Google کا PaLM کے بارے میں سرکاری بلاگ
• ڈویلپرز کے لیے PaLM API

کتابیات

• Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. arXiv:2204.02311.
• Anil, R. et al. (2023). PaLM 2 Technical Report. arXiv:2305.10403.
• Driess, D. et al. (2023). PaLM-E: An Embodied Multimodal Language Model. arXiv:2303.03378.
• Singhal, K. et al. (2022). Large Language Models Encode Clinical Knowledge. arXiv:2212.13138.
• Singhal, K. et al. (2023). Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617.
• Barham, P. et al. (2022). Pathways: Asynchronous Distributed Dataflow for ML. arXiv:2203.12533.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Schaeffer, R. et al. (2023). Are Emergent Abilities of Large Language Models a Mirage?. arXiv:2304.15004.
• Lu, S. et al. (2023). Are Emergent Abilities in Large Language Models just In-Context Learning?. arXiv:2309.01809.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Rae, J. W. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
• Diao, S. et al. (2023). Active Prompting with Chain-of-Thought for Large Language Models. arXiv:2302.12246.