LLaMA (Meta AI) (UR)
LLaMA (Large Language Model Meta AI) — بڑے لسانی ماڈلوں (LLM) کا ایک ایسا خاندان ہے جو بنیادی طور پر اوپن سورس ہے اور Meta AI کے تحقیقی شعبے کی جانب سے تیار کیا جا رہا ہے۔ LLaMA کے ماڈل ترمیم شدہ transformer آرکیٹیکچر پر مبنی ہیں اور اعلیٰ کمپیوٹیشنل کارکردگی، جدید AI ٹیکنالوجی تک رسائی کو عام بنانے، اور مخصوص کاموں کے لیے آسان موافقت پر توجہ مرکوز کرتے ہیں۔ یہ خاندان LLaMA 1 کے ابتدائی تحقیقی ریلیز (فروری 2023) سے ارتقاء پذیر ہو کر LLaMA 4 کے ملٹی موڈل ماڈلز (متوقع ریلیز 2026) تک پہنچا ہے۔
نام کی وضاحت
اختصار LLaMA کی مکمل شکل Large Language Model Meta AI (بڑا لسانی ماڈل Meta AI) ہے۔
- Large Language Model — ماڈلوں کی وسعت کو اجاگر کرتا ہے، جن کے پیرامیٹرز اربوں سے کھربوں تک ناپے جاتے ہیں۔
- Meta AI — ڈویلپر، یعنی Meta کے تحقیقی گروپ کی نشاندہی کرتا ہے۔
تاریخچہ
LLaMA کی تیاری 2022 کے آخر میں OpenAI کے ChatGPT کی کامیابی کے جواب میں Meta کی ایک حکمت عملی کے طور پر شروع ہوئی۔ مارک زکربرگ نے ایک کثیر الشعبہ ٹیم تشکیل دی جس میں FAIR (Facebook AI Research) لیبارٹری کے محققین شامل تھے۔ FAIR کے سربراہ Yann LeCun، جو 2013 سے لیبارٹری کی تمام تحقیقات کو مکمل طور پر عوامی رکھنے کے اصول پر کاربند تھے، نے اس منصوبے کے فلسفے میں کلیدی کردار ادا کیا۔
پہلا ورژن، LLaMA 1، فروری 2023 میں تحقیقی لائسنس کے ساتھ جاری کیا گیا۔ ریلیز کے فوری بعد، مارچ 2023 میں، ماڈل کے weights BitTorrent کے ذریعے انٹرنیٹ پر لیک ہو گئے۔ یہ واقعہ، خدشات کے برعکس، منصوبے کی ترقی کو روک نہیں سکا بلکہ اس نے دنیا بھر کے آزاد محققین اور شوقین افراد کو ماڈل کے ساتھ تجربات کرنے کا موقع دے کر ترقی کو مزید تیز کر دیا۔ اس کے نتیجے میں Hugging Face پلیٹ فارم پر ہزاروں ماخوذ ماڈل سامنے آئے۔ بعد کے ورژن، LLaMA 2 سے شروع ہو کر، تجارتی لائسنس کے ساتھ جاری کیے گئے[1]، جس سے LLaMA کا اوپن AI ماڈلز کی مارکیٹ میں کلیدی کھلاڑی کا درجہ مستحکم ہوا۔
ماڈلوں کا ارتقاء اور ریلیز کا تسلسل
| ورژن | تاریخ اجراء | پیرامیٹرز کی حد | اہم اختراعات اور خصوصیات |
|---|---|---|---|
| LLaMA 1 | فروری 2023 | 7B – 65B | بنیادی آرکیٹیکچر (RMSNorm، SwiGLU، RoPE)۔ 1.4 ٹریلین tokens پر training۔ context window 2048 tokens۔ تحقیقی لائسنس۔ |
| LLaMA 2 | جولائی 2023 | 7B – 70B | مکالموں کے لیے fine-tuning (RLHF)۔ Grouped-Query Attention (GQA) کا نفاذ۔ context window 4096 tokens۔ پہلا تجارتی لائسنس۔ |
| Code Llama | اگست 2023 | 7B – 70B | کوڈ کے لیے مخصوص ورژن۔ 500 ارب code tokens پر fine-tuning۔ اقسام: بنیادی، Python-مخصوص، instruction-tuned۔ |
| LLaMA 3 | اپریل 2024 | 8B, 70B | 15 ٹریلین tokens پر training۔ 128 ہزار tokens کی vocabulary کے ساتھ بہتر tokenizer۔ اعلیٰ کارکردگی (MMLU پر 82%)۔ |
| LLaMA 3.1 | جولائی 2024[2] | 8B, 70B, 405B | GPT-4o کے ہم پلہ flagship ماڈل 405B۔ context window 128 ہزار tokens تک۔ تصاویر پروسیس کرنے کی صلاحیت کا اضافہ۔ |
| LLaMA 4 | (منصوبہ: اپریل 2025) | 109B (Scout)، 400B (Maverick)، 2T (Behemoth) | Mixture-of-Experts (MoE) آرکیٹیکچر۔ مقامی ملٹی موڈیلٹی (متن، تصاویر، ویڈیو)۔ context window 10 ملین tokens تک۔ |
آرکیٹیکچر
LLaMA ایک autoregressive decoder-only transformer آرکیٹیکچر استعمال کرتا ہے، لیکن اس میں کئی اہم بہتریاں شامل ہیں جو کمپیوٹیشنل کارکردگی اور تیار کردہ متن کے معیار کو بڑھاتی ہیں:
- Pre-normalization (پیشگی نارملائزیشن)۔ نارملائزیشن transformer کے ہر sub-layer کے آؤٹ پٹ کی بجائے ان پٹ پر لاگو کی جاتی ہے۔ یہ طریقہ انتہائی گہرے نیٹ ورکس کی training کو مستحکم کرتا ہے اور gradients کے مسائل سے بچاتا ہے۔
- RMSNorm (Root Mean Square Layer Normalization)۔ معیاری LayerNorm کی جگہ RMSNorm استعمال کیا جاتا ہے۔ یہ نارملائزیشن تکنیک اوسط تفریق کے آپریشن کو ختم کرتی ہے، جس سے استحکام برقرار رکھتے ہوئے حسابات 10 سے 50 فیصد تیز ہو جاتے ہیں۔
- SwiGLU (Swish-Gated Linear Unit)۔ ReLU یا GELU کی جگہ activation function کے طور پر SwiGLU استعمال کیا جاتا ہے۔ یہ gating mechanism زیادہ ہموار gradient flow پیدا کرتا ہے اور ماڈل کا معیار بہتر بناتا ہے۔
- RoPE (Rotary Position Embeddings، گردشی پوزیشنل embeddings)۔ tokens کی پوزیشن انکوڈ کرنے کے لیے relative positional embeddings RoPE استعمال کیے جاتے ہیں، جو ماڈل کو training کے دوران استعمال ہونے والی sequences سے زیادہ لمبی sequences پر بہتر extrapolation کرنے کی اجازت دیتے ہیں۔
- GQA (Grouped-Query Attention)۔ LLaMA 2 میں متعارف کرائی گئی یہ تکنیک multi-head attention کی ایک اصلاح ہے جو میموری کی ضروریات کو نمایاں طور پر کم کرتی ہے اور متن کی تیاری کو تیز کرتی ہے۔
- Mixture-of-Experts (MoE) (LLaMA 4 میں متوقع)۔ یہ آرکیٹیکچر ماڈل کے پیرامیٹرز کو "ماہر" sub-networks میں تقسیم کرتی ہے اور ہر request کے لیے ان کا صرف ایک چھوٹا حصہ فعال کرتی ہے۔ اس سے inference کے کمپیوٹیشنل اخراجات میں نمایاں کمی آتی ہے۔
LLaMA 1 کی کنفیگریشنز
| ماڈل | پیرامیٹرز | hidden state کی جہت | تہوں کی تعداد | attention heads کی تعداد | training ڈیٹا کا حجم |
|---|---|---|---|---|---|
| 7B | 6.7B | 4096 | 32 | 32 | 1.0T tokens |
| 13B | 13.0B | 5120 | 40 | 40 | 1.0T tokens |
| 33B | 32.5B | 6656 | 60 | 52 | 1.4T tokens |
| 65B | 65.2B | 8192 | 80 | 64 | 1.4T tokens |
تربیتی ڈیٹا
تربیتی corpus کا حجم LLaMA 1 کے لیے 1.4 ٹریلین tokens سے بڑھ کر LLaMA 3 کے لیے 15 ٹریلین تک پہنچ گیا۔ تربیت کے لیے عوامی طور پر دستیاب ذرائع استعمال کیے جاتے ہیں، جن میں Common Crawl (ڈیٹا کا 67% تک)، C4، GitHub، Wikipedia، Books، ArXiv اور Stack Exchange شامل ہیں۔ LLaMA 3 کے لیے اعلیٰ معیار کا نجی ڈیٹا بھی استعمال کیا گیا۔
کارکردگی اور موازنہ
- benchmarks پر: LLaMA 3.1 (405B) ماڈل GPT-4o کے قریب نتائج دکھاتا ہے: MMLU ٹیسٹ پر یہ 88.6% حاصل کرتا ہے، جو GPT-4o سے صرف 0.1 فیصد پوائنٹ کم ہے۔ کوڈ generation کے کام HumanEval پر LLaMA 3.1 کا نتیجہ 89% ہے (GPT-4o کا 90.2%)۔
- پیرامیٹری کارکردگی: کم پیرامیٹرز والے LLaMA ماڈل اکثر حریف کمپنیوں کے بڑے ماڈلوں سے بہتر کارکردگی دکھاتے ہیں۔ مثلاً LLaMA 1 (13B) نے اکثر ٹیسٹس میں GPT-3 (175B) کو پیچھے چھوڑ دیا۔
- لاگت: مقامی hosting کی صورت میں LLaMA کا inference خرچ proprietary APIs کے مقابلے میں 50 گنا تک کم ہو سکتا ہے، جو اس ٹیکنالوجی کو چھوٹے اور درمیانے کاروباروں کے لیے قابل رسائی بناتا ہے۔
لائسنسنگ
- LLaMA 1 غیر تجارتی تحقیقی لائسنس کے ساتھ درخواست پر رسائی کی بنیاد پر تقسیم کی گئی۔
- LLaMA 2 اور بعد کے ورژن Llama Community License کے تحت تقسیم کیے جاتے ہیں، جو تجارتی استعمال اور ترمیم کی اجازت دیتا ہے۔ تاہم لائسنس میں پابندیاں بھی ہیں: ماہانہ 700 ملین سے زیادہ فعال صارفین رکھنے والی کمپنیوں کو Meta سے خصوصی اجازت لینی ہوگی۔ اس سے یہ بحث چھڑ گئی ہے کہ آیا LLaMA مکمل طور پر اوپن ماڈل ہے یا نہیں۔
استعمال
LLaMA ماڈل ہزاروں کمپنیوں کی مصنوعات میں شامل ہیں اور مختلف شعبوں میں استعمال ہو رہے ہیں:
- کارپوریٹ شعبہ: Zoom، LLaMA کو AI Companion میں میٹنگز کے خلاصے کے لیے استعمال کرتا ہے؛ Shopify، مصنوعات کے میٹاڈیٹا کو بہتر بنانے کے لیے روزانہ 4 سے 6 کروڑ requests کی پروسیسنگ کے لیے؛ Instacart، داخلی معاون Ava میں۔
- سائنس اور معاشرہ: Meditron (LLaMA کی موافقت) محدود وسائل والے علاقوں میں طبی تشخیص کے لیے استعمال ہوتا ہے؛
- حکومتی شعبہ اور صنعت: Meta نے Lockheed Martin اور Palantir کے ساتھ شراکت داری قائم کی ہے۔ NASA، بین الاقوامی خلائی اسٹیشن پر LLaMA 3 کو زمین سے رابطے کے بغیر اہم آپریشنز کی انجام دہی کے لیے آف لائن معاون کے طور پر استعمال کرتا ہے۔
حدود اور تنقید
- تعصب اور حفاظت: آزاد آڈٹس سے پتہ چلتا ہے کہ LLaMA ماڈل، حفاظتی اقدامات کے باوجود، نقصاندہ دقیانوسی تصورات کو دہرا سکتے ہیں۔ LLaMA 1 کے weights کا لیک ہونا ٹیکنالوجی کے ممکنہ بدنیتی پر مبنی استعمال کے بارے میں سوالات کو مزید تیز کر گیا۔
- علمی خلاء: انتہائی مخصوص شعبوں میں LLaMA علمی خلاء دکھا سکتا ہے۔ مثلاً طبی ٹیسٹ nephSAP پر درستگی 17 سے 30 فیصد رہی، جبکہ GPT-4 کی 73 فیصد تھی۔
- توانائی کی کھپت: بڑے ماڈلوں کی تربیت کے لیے بے پناہ وسائل درکار ہوتے ہیں۔ LLaMA 1 کی training کے لیے 2,638 MWh توانائی درکار ہوئی، جو 1,015 ٹن CO₂ کے اخراج کے برابر ہے۔
مستقبل
Meta 2025 تک AI انفراسٹرکچر میں 65 ارب ڈالر تک سرمایہ کاری کرنے کا ارادہ رکھتا ہے۔ LLaMA 4 Behemoth ماڈل، جس میں 2 ٹریلین پیرامیٹرز ہوں گے، زیر تیاری ہے۔ یہ 200 سے زیادہ زبانوں کو سپورٹ کرے گا اور metaverse مصنوعات کے ساتھ گہری یکجائی حاصل کرے گا۔
حوالہ جات
- Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
- Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
- Grattafiori, A. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
- Jiang, Z. et al. (2023). Pre‑RMSNorm and Pre‑CRMSNorm Transformers: Equivalent and Efficient Pre‑LN Transformers. arXiv:2305.14858.
- Rozière, B. et al. (2023). Code Llama: Open Foundation Models for Code. arXiv:2308.12950.
- Shazeer, N. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
- Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
- Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971.
- Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine‑Tuned Chat Models. arXiv:2307.09288.
- Zhang, B.; Sennrich, R. (2019). Root Mean Square Layer Normalization. arXiv:1910.07467.
حواشی
- ↑ Лицензия LLaMA не соответствует всем критериям открытого ПО, так как накладывает ограничения на коммерческое использование крупнейшими компаниями и требует раскрытия информации о модификациях.
- ↑ LLaMA 3.1 была анонсирована и выпущена в июле 2024 года. См. официальный анонс Meta.
مزید دیکھیے
- GPT
- بڑے لسانی ماڈل
- Transformer (نیورل نیٹ ورک آرکیٹیکچر)