Pre-training of large language models — پری ٹریننگ
بڑے لینگویج ماڈلز (LLM) کی پری ٹریننگ — یہ جدید بڑے لینگویج ماڈلز کی تخلیق میں ایک بنیادی مرحلہ ہے، جس میں انہیں غیر لیبل شدہ متن کے وسیع اور متنوع مجموعوں پر تربیت دی جاتی ہے۔ یہ عمل ماڈلز کو عمومی لسانی اصولوں، دنیا کے بارے میں معلومات اور معنوی روابط کو سمجھنے کے قابل بناتا ہے، اور ایک بنیادی ماڈل (foundation model) تشکیل دیتا ہے جسے بعد میں مخصوص مسائل کے حل کے لیے ڈھالا جا سکتا ہے۔
Pre-training کیا ہے؟
پری ٹریننگ (pre-training) تربیت کا ابتدائی مرحلہ ہے، جس میں LLM کو خود نگران تعلیم (self-supervised learning) کے طریقوں کے ذریعے بڑے پیمانے پر متنی ڈیٹاسیٹس پر تربیت دی جاتی ہے۔ اس کا مطلب یہ ہے کہ تربیتی اشارے (لیبلز) خود ڈیٹا سے حاصل کیے جاتے ہیں، اور انسان کے ہاتھ سے لیبل لگانے کی ضرورت نہیں ہوتی۔
اس مرحلے کا بنیادی مقصد متن کے پوشیدہ یا آنے والے حصوں کا اندازہ لگانا ہے۔ آرکیٹیکچر کے لحاظ سے دو اہم کام استعمال کیے جاتے ہیں:
- Causal Language Modeling (CLM): ماڈل تمام پچھلے الفاظ کی بنیاد پر ترتیب میں اگلے لفظ (token) کا اندازہ لگانا سیکھتا ہے۔ یہ طریقہ GPT جیسے تخلیقی ماڈلز کی بنیاد ہے۔
- Masked Language Modeling (MLM): ماڈل متن میں بے ترتیب طور پر «ماسک کیے گئے» (چھپائے گئے) الفاظ کو بحال کرنا سیکھتا ہے، اور اس کے لیے ارد گرد کا دو طرفہ سیاق و سباق (بائیں اور دائیں کے الفاظ) استعمال کرتا ہے۔ یہ طریقہ BERT جیسے ماڈلز میں استعمال ہوتا ہے۔
ان کاموں کی بدولت، ماڈل کامیابی سے اندازے لگانے کے لیے نحو، معنیات اور دنیا کے بارے میں حقیقی معلومات کا مطالعہ کرنے پر مجبور ہوتا ہے۔
پری ٹریننگ کا ڈیٹا
پری ٹریننگ کی افادیت کا زیادہ تر انحصار تربیتی ڈیٹا کے معیار اور تنوع پر ہوتا ہے۔ درج ذیل اہم ذرائع استعمال کیے جاتے ہیں:
- ویب صفحات: Common Crawl اور C4 جیسے ڈیٹاسیٹس موضوعات، انداز اور زبانوں کی وسیع رینج فراہم کرتے ہیں، اور انٹرنیٹ کی «تصویر» پیش کرتے ہیں۔
- کتابیں: BookCorpus اور The Pile جیسے مجموعے منظم اور مربوط متن فراہم کرتے ہیں، جو طویل مدتی انحصار اور داستانوں کو سمجھنے کے لیے مفید ہیں۔
- گفتگو کا ڈیٹا: فورمز (مثلاً Reddit) اور سوشل نیٹ ورکس کا ڈیٹا، جو ماڈلز کو غیر رسمی زبان اور مکالماتی patterns سیکھنے میں مدد دیتا ہے۔
- مخصوص ڈیٹا: سائنسی مضامین (arXiv سے)، پروگرامنگ کوڈ (GitHub اور The Stack سے) یا ماڈل کی مخصوص صلاحیتوں کو بہتر بنانے کے لیے کثیر لسانی متون۔
ڈیٹا کی تقسیم کی مثالیں
مختلف ماڈلز ذرائع کا مختلف تناسب استعمال کرتے ہیں، جو ان کی حتمی صلاحیتوں پر اثر انداز ہوتا ہے:
- GPT-3 (175 ارب پیرامیٹرز):** 16% کتابیں، 84% ویب صفحات۔
- PaLM (540 ارب پیرامیٹرز):** 5% کتابیں، 14% ویب صفحات، 50% گفتگو کا ڈیٹا، 31% دیگر۔
- LLaMA (65 ارب پیرامیٹرز):** 5% کتابیں، 2% ویب صفحات، 87% گفتگو کا ڈیٹا۔
یہ تقسیمیں ظاہر کرتی ہیں کہ ڈیٹا کا انتخاب ایک حکمت عملی فیصلہ ہے جو ماڈل کے اہداف کے لحاظ سے مختلف ہوتا ہے۔
عام طور پر استعمال ہونے والے corpus
| Corpus | حجم | ماخذ | آخری تازہ کاری |
|---|---|---|---|
| BookCorpus | 5GB | کتابیں | دسمبر-2015 |
| Gutenberg | - | کتابیں | دسمبر-2021 |
| C4 | 800GB | Common Crawl | اپریل-2019 |
| CC-Stories-R | 31GB | Common Crawl | ستمبر-2019 |
| CC-NEWS | 78GB | Common Crawl | فروری-2019 |
| REALNEWS | 120GB | Common Crawl | اپریل-2019 |
| OpenWebText | 38GB | Reddit لنکس | مارچ-2023 |
| Pushshift.io | 2TB | Reddit لنکس | مارچ-2023 |
| Wikipedia | 21GB | ویکیپیڈیا | مارچ-2023 |
| The Pile | 800GB | دیگر | دسمبر-2020 |
| ROOTS | 1.6TB | دیگر | جون-2022 |
تربیت کی تکنیکیں
LLM کی پری ٹریننگ کے لیے قابل ذکر کمپیوٹنگ وسائل درکار ہوتے ہیں۔ اس عمل کو منظم کرنے کے لیے درج ذیل تکنیکیں استعمال کی جاتی ہیں:
- تقسیم شدہ تربیت (Distributed Learning): متوازی پروسیسنگ کے لیے متعدد GPU یا TPU کا استعمال۔
- Mixed Precision: حسابات کو تیز کرنے اور میموری کے استعمال کو کم کرنے کے لیے کم درستگی والے عددی فارمیٹس (مثلاً 32-بٹ کی جگہ 16-بٹ) کا استعمال۔
- Gradient Checkpointing: کچھ درمیانی activations کو ذخیرہ کرنے کے بجائے دوبارہ حساب لگا کر میموری بچانے کی تکنیک۔
- Model Parallelism: خود ماڈل کو متعدد آلات پر تقسیم کرنا۔
GPT-3 جیسے ماڈل کی تربیت ہزاروں GPU پر کئی مہینے لے سکتی ہے۔
اسکیلنگ کے قوانین
OpenAI کی تحقیق (Kaplan et al., 2020) جیسے مطالعات نے ظاہر کیا ہے کہ لینگویج ماڈلز کی کارکردگی تین عوامل کے بڑھنے کے ساتھ قابل پیشگوئی طریقے سے بہتر ہوتی ہے:
- ماڈل کا حجم (پیرامیٹرز کی تعداد)۔
- ڈیٹا کا حجم۔
- کمپیوٹنگ وسائل۔
یہ تجرباتی انحصار، جو اسکیلنگ کے قوانین کے نام سے مشہور ہیں، ڈویلپرز کو بڑے اور زیادہ طاقتور ماڈلز کے ڈیزائن اور تربیت میں رہنمائی فراہم کرتے ہیں اور کمپیوٹنگ بجٹ کو بہترین طریقے سے تقسیم کرنے میں مدد دیتے ہیں۔
چیلنجز اور کامیابیاں
- اسکیلنگ: پری ٹریننگ کی سب سے بڑی کامیابی یہ ہے کہ بہترین کارکردگی حاصل کرنے کے لیے ماڈل، ڈیٹا اور حسابات کے حجم کے درمیان توازن قائم کرنا ممکن ہے۔
- ڈیٹا کا معیار: تربیتی ڈیٹا کی صفائی، تنوع اور تعصب سے پاک ہونا یقینی بنانا ایک اہم چیلنج ہے۔
- کارکردگی: کمپیوٹنگ اخراجات کو کم کرنے کے طریقے تیار کرنا، جیسے مسلسل پری ٹریننگ یا زیادہ موثر آرکیٹیکچرز۔
- کثیر لسانیت: ایسے ماڈلز بنانا جو متعدد زبانوں کو مؤثر طریقے سے سنبھال سکیں، ڈیٹا کے محتاط انتخاب اور توازن کا تقاضا کرتے ہیں۔
یہ بھی دیکھیں
- بڑے لینگویج ماڈلز
- BERT
- GPT