Phi (Microsoft) (UR)

From Systems analysis Wiki
Jump to navigation Jump to search

Phi — یہ Microsoft Research کی تیار کردہ چھوٹی زبان کی ماڈلز (Small Language Models, SLM) کا خاندان ہے۔ یہ ماڈلز AI کی ترقی میں ایک پیراڈائمی تبدیلی کی نمائندگی کرتی ہیں اور یہ ظاہر کرتی ہیں کہ کمپیکٹ اور کم وسائل استعمال کرنے والی ماڈلز بھی ایسی کارکردگی حاصل کر سکتی ہیں جو بہت بڑے نظاموں سے موازنہ کے قابل ہو۔ روایتی طریقے کے برعکس، جو پیرامیٹرز کی تعداد بڑھانے پر مبنی ہے، Phi کا فلسفہ تربیتی ڈیٹا کے معیار اور جدید تربیتی طریقوں پر مرکوز ہے[1]۔

Phi ماڈلز ان کاموں کے لیے بہتر بنائی گئی ہیں جن میں گہری منطقی استدلال کی ضرورت ہوتی ہے، جیسے پروگرامنگ، ریاضی اور متن کا تجزیہ۔ اپنے چھوٹے حجم کی وجہ سے، یہ مقامی آلات (on-device AI) پر تعیناتی کے لیے بہترین ہیں، جن میں اسمارٹ فونز اور لیپ ٹاپ شامل ہیں، جو AI کو عام لوگوں تک پہنچانے کے نئے امکانات کھولتی ہیں[2]۔

فلسفہ: «درسی کتابیں ہی سب کچھ ہیں»

Phi منصوبے کی بنیادی مفروضہ یہ ہے کہ اعلی کارکردگی والی ماڈل کی تربیت کے لیے ڈیٹا کا معیار، اس کی مقدار سے زیادہ اہم ہے۔ یہ خیال پہلی بار تحقیقی مقالے «Textbooks Are All You Need»[3] میں بیان کیا گیا۔ بغیر فلٹر شدہ ویب سے اربوں token پر تربیت کی بجائے، Phi ماڈلز ایک احتیاط سے منتخب اور مصنوعی طور پر تیار کردہ dataset پر تربیت پاتی ہیں، جو معیار کے لحاظ سے درسی کتاب جیسی ہوتی ہے۔

اس طریقے کے بنیادی اصول:

  • «درسی کتاب کے معیار» کا ڈیٹا: تربیتی مواد صاف، منطقی طور پر مربوط اور وضاحتی مواد پر مشتمل ہے، جو بچوں کی کتابوں سے متاثر ہے۔
  • مصنوعی ڈیٹا: ڈیٹا کا ایک بڑا حصہ بڑی ماڈلز (مثلاً GPT-4) کی مدد سے تیار کیا جاتا ہے۔ مثال کے طور پر، Phi-4 کی تربیت کے لیے 50 سے زائد صارف پائپ لائنز کے ذریعے 400 ارب token اعلی معیار کا مصنوعی مواد تیار کیا گیا[4][5]۔
  • تکراری تربیت: ڈیٹا بنانے اور ماڈل کی تربیت کا عمل تکرار کے ساتھ ہوتا ہے، جو ڈیٹا اور خود ماڈل دونوں کے معیار کو مسلسل بہتر بنانے کی اجازت دیتا ہے۔

یہ طریقہ Phi ماڈلز کو محض اعداد و شمار کے pattern یاد کرنے کی بجائے گہری استدلال کی صلاحیتیں پیدا کرنے میں مدد دیتا ہے۔

Phi ماڈلز کا ارتقاء

  • Phi-1 (1.3 ارب پیرامیٹرز): پہلی ماڈل، جو جون 2023 میں پیش کی گئی، Python زبان میں پروگرامنگ پر مرکوز تھی۔ اس نے HumanEval اور MBPP benchmark پر بہترین کارکردگی کا مظاہرہ کیا، جس سے معیاری ڈیٹا پر مبنی طریقے کی افادیت ثابت ہوئی[6]۔
  • Phi-2 (2.7 ارب پیرامیٹرز): دسمبر 2023 میں جاری کی گئی Phi-2 نے اپنی صلاحیتوں کو عمومی زبان کی سمجھ تک بڑھایا، کمپیکٹ آرکیٹیکچر کو برقرار رکھتے ہوئے۔ اس ماڈل نے ظاہر کیا کہ SLM ایسی ماڈلز کے برابر کارکردگی حاصل کر سکتی ہیں جو درجنوں گنا بڑی ہوں[7]۔
  • Phi-3 (3.8 - 14 ارب پیرامیٹرز): اپریل 2024 میں پیش کیا گیا یہ خاندان موبائل AI کے میدان میں ایک پیش رفت ثابت ہوا۔ Phi-3-mini (3.8 ارب) اسمارٹ فونز پر چلنے کی صلاحیت رکھتی ہے اور Mixtral 8x7B اور GPT-3.5 سے موازنہ کے قابل کارکردگی حاصل کرتی ہے[8]۔ اس خاندان میں Phi-3-small (7 ارب) اور Phi-3-medium (14 ارب) ورژن بھی شامل ہیں۔
  • Phi-3.5 (3.8 - 6.6 ارب فعال پیرامیٹرز): 2024 میں اعلان کردہ اس خاندان میں تین اہم ماڈلز شامل ہیں:
    • Phi-3.5-mini-instruct: بہتر کثیر اللسان حمایت کے ساتھ بہتر بنایا گیا ورژن۔
    • Phi-3.5-MoE-instruct: Mixture-of-Experts آرکیٹیکچر پر مبنی ماڈل جس میں 16 ماہرین اور 6.6 ارب فعال پیرامیٹرز ہیں۔
    • Phi-3.5-Vision-instruct: متن اور تصاویر کی پروسیسنگ کے لیے ملٹی موڈل ماڈل[9]۔
  • Phi-4 (14 ارب پیرامیٹرز): پیچیدہ ریاضیاتی استدلال میں مہارت رکھنے والی ماڈل۔ یہ Gemini-1.5-Flash اور GPT-4o-mini سے موازنہ کے قابل کارکردگی ظاہر کرتی ہے، حالانکہ اس کا حجم کافی چھوٹا ہے۔ Phi-4-reasoning نے DeepSeek-R1-Distill-Llama-70B کو پیچھے چھوڑ دیا ہے[10]۔
  • Phi-4-Multimodal (5.6 ارب پیرامیٹرز): خاندان کی پہلی مکمل ملٹی موڈل ماڈل، جو بیک وقت متن، تصاویر اور آڈیو پروسیس کرنے کی صلاحیت رکھتی ہے۔ یہ مختلف طریقوں (modalities) کو ایک دوسرے میں مداخلت کے بغیر مؤثر طریقے سے پروسیس کرنے کے لیے جدید Mixture-of-LoRAs طریقہ استعمال کرتی ہے[11]۔

آرکیٹیکچر اور تکنیکی خصوصیات

  • آرکیٹیکچر: Phi ماڈلز «صرف ڈیکوڈر» (decoder-only) قسم کا معیاری transformer آرکیٹیکچر استعمال کرتی ہیں، جس میں کارکردگی بڑھانے کے لیے Grouped Query Attention اور Flash Attention جیسی اہم اصلاحات شامل ہیں[12]۔
  • مقامی تعیناتی: ماڈلز محدود وسائل والے آلات پر کام کرنے کے لیے بہتر بنائی گئی ہیں۔ مثال کے طور پر، Phi-3-mini کو 4-bit quantization کے ساتھ صرف 1.8 GB میموری درکار ہے اور یہ iPhone 14 پر چل سکتی ہے[13]۔
  • فریم ورکس کی حمایت: Phi ماڈلز Microsoft Azure AI Model Catalog، Hugging Face، Ollama اور NVIDIA NIM microservices کے ذریعے دستیاب ہیں، جو ڈویلپرز کے لیے ان کا وسیع انضمام اور رسائی یقینی بناتی ہیں[14]۔

کارکردگی اور benchmark

اہم benchmark پر Phi ماڈلز کی تقابلی کارکردگی
ماڈل پیرامیٹرز MMLU MT-Bench HumanEval
Phi-3-mini 3.8B 69% 8.38 -
Phi-3-small 7B 75% 8.7 -
Phi-3-medium 14B 78% 8.9 -
Phi-4 14B - - GPT-4 سے بہتر

Phi-4 ریاضی کے مسائل میں، بشمول American Mathematics Competitions (AMC)، غیر معمولی نتائج ظاہر کرتی ہے اور Gemini-1.5-Flash سے موازنہ کے قابل کارکردگی دکھاتی ہے[15]۔ ملٹی موڈل Phi-3.5-Vision ہم پیمانہ حریفوں کو پیچھے چھوڑتی ہے اور BLINK benchmark پر 57.0% حاصل کرتی ہے[16]۔

مخصوص استعمالات

Phi ماڈلز مخصوص شعبوں میں اعلی کارکردگی ظاہر کرتی ہیں:

  • طب: تحقیق سے ظاہر ہوتا ہے کہ طبی اور کھیلوں کے متون میں Phi-3 کے جوابات اور ماہرین کی تشخیصات کے درمیان معتدل تعلق موجود ہے[17]۔
  • نفرت انگیز تقریر کا پتہ لگانا: Phi-2 پر مبنی HateTinyLLM ماڈل نے LoRA fine-tuning کے ساتھ اس کام میں 80% سے زائد درستگی حاصل کی[18]۔
  • گیمنگ حکمت عملیاں: SC-Phi2 ماڈل نے StarCraft II کھیل میں حکمت عملیوں کی پیش گوئی میں صلاحیتیں ظاہر کیں[19]۔

ذمہ دار AI اور حفاظت

Phi خاندان کو Microsoft Responsible AI کے معیارات کے مطابق تیار کیا گیا ہے، جن میں احتساب، شفافیت، انصاف اور حفاظت کے اصول شامل ہیں۔ ماڈلز ہمہ جہت حفاظتی جائزے سے گزرتی ہیں، جن میں Supervised Fine-Tuning (SFT) اور Direct Preference Optimization (DPO)، نیز مختلف زبانوں اور خطرات کی اقسام میں جانچ شامل ہے[20]۔

حدود

متاثر کن نتائج کے باوجود، Phi ماڈلز بعض پیچیدہ کاموں میں مخصوص بڑی ماڈلز سے پیچھے رہ سکتی ہیں۔ مثال کے طور پر، Phi-4 chain-of-thought استدلال میں اچھے نتائج دکھاتی ہے، لیکن function calling کی سہولت نہ ہونے کی وجہ سے محدود ہے[21]۔ اس کے علاوہ، اگرچہ Phi-3.5 20 سے زائد زبانوں کی حمایت کرتی ہے، اس کی کارکردگی متفاوت ہو سکتی ہے، اور تحقیق انگریزی کے علاوہ دیگر زبانوں میں جوابات میں غلطیاں ظاہر کرتی ہے[22]۔

کتابیات

  • Gunasekar, S.; et al. (2023). Textbooks Are All You Need. arXiv:2306.11644.
  • Gunasekar, S.; et al. (2023). Textbooks Are All You Need II: phi‑1.5 Technical Report. arXiv:2309.05463.
  • Dao, T.; et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
  • Zheng, S.; et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models for Faster Decoding. arXiv:2305.13245.
  • Feng, W.; et al. (2024). Mixture‑of‑LoRAs: An Efficient Multitask Tuning for Large Language Models. arXiv:2403.03432.
  • Wu, X.; et al. (2024). Mixture of LoRA Experts. arXiv:2404.13628.
  • Microsoft Research (2024). Phi‑3 Technical Report. arXiv:2404.14219.
  • Abdin, M.; et al. (2024). Phi‑4 Technical Report. arXiv:2412.08905.
  • Microsoft Research (2025). Phi‑4‑reasoning Technical Report. PDF.
  • Microsoft Research (2025). Phi‑4‑Multimodal: Mixture‑of‑Modality‑LoRAs. arXiv:2503.01743.

حواشی

  1. ↑ «The Phi-3 small language models with big potential». Microsoft Source Features. [1]
  2. ↑ «Microsoft's Phi-3: Revolutionising AI with efficient and accessible small language models». Landing.Jobs Blog. [2]
  3. ↑ «Textbooks Are All You Need». Microsoft Research. [3]
  4. ↑ «Introducing Phi-4: Microsoft’s newest Small Language Model, specializing in complex reasoning». Microsoft Tech Community. [4]
  5. ↑ «Exploring Phi-4: A Deep Dive into Microsoft's Latest Language Model». OpenCV Blog. [5]
  6. ↑ «Unlocking the Power of Small Language Models (SLMs): The Evolution of Phi». LinkedIn. [6]
  7. ↑ «Новая ИИ-модель Phi-2 от Microsoft училась по учебникам». TechInsider. [7]
  8. ↑ «Phi-3 Technical Report». arXiv. [8]
  9. ↑ «Discover the new multi-lingual, high-quality Phi-3.5 SLMs». Microsoft Tech Community. [9]
  10. ↑ «Phi-4 Technical Report». arXiv. [10]
  11. ↑ «Mixture-of-Modality-LoRAs: A Low-Rank Approach to Natively Multimodal Foundation Models». arXiv. [11]
  12. ↑ «Phi-3: A Tutorial on Microsoft's Small Language Models (SLMs)». DataCamp. [12]
  13. ↑ «Unlocking the Power of Small Language Models (SLMs): The Evolution of Phi». LinkedIn. [13]
  14. ↑ «Microsoft Phi». Microsoft Azure. [14]
  15. ↑ «Exploring Phi-4: A Deep Dive into Microsoft's Latest Language Model». OpenCV Blog. [15]
  16. ↑ «Phi-3.5-vision-instruct». Hugging Face. [16]
  17. ↑ «Small But Mighty: Exploring the Capabilities of Small Language Models in Medical and Sport-Specific Applications». arXiv. [17]
  18. ↑ «HateTinyLLMs: A Small Language Model for Hate Speech Detection». arXiv. [18]
  19. ↑ «SC-Phi2: A Specialized Small Language Model for StarCraft II». MDPI. [19]
  20. ↑ «Microsoft’s Phi-3.5: a responsible, small language model». Skymod. [20]
  21. ↑ «Phi-4: A New Era of Small Language Models». Meta-quantum.today. [21]
  22. ↑ «A Multi-faceted Analysis of Language-specific Bias in Large Language Models». U.S. Securities and Exchange Commission. [22]
Retrieved from "https://systems-analysis.info/int/index.php?title=Phi_(Microsoft)_(UR)&oldid=5617"