Phi (Microsoft) (TR)

From Systems analysis Wiki
Jump to navigation Jump to search

Phi — Microsoft Research tarafından geliştirilen küçük dil modelleri (Small Language Models, SLM) ailesidir. Bu modeller, yapay zeka geliştirmede paradigmatik bir dönüşümü temsil etmekte ve kompakt ile hesaplama açısından verimli modellerin çok daha büyük sistemlerle kıyaslanabilir bir performansa ulaşabileceğini göstermektedir. Parametre sayısını ölçeklendirmeye dayalı geleneksel yaklaşımın aksine, Phi felsefesi eğitim verilerinin kalitesine ve yenilikçi eğitim yöntemlerine odaklanmaktadır[1].

Phi modelleri; programlama, matematik ve metin analizi gibi derin mantıksal çıkarım gerektiren görevler için optimize edilmiştir. Küçük boyutları sayesinde, akıllı telefonlar ve dizüstü bilgisayarlar dahil olmak üzere yerel cihazlarda (on-device AI) dağıtım için ideal olup yapay zekanın demokratikleşmesi açısından yeni olanaklar sunmaktadır[2].

Felsefe: «Textbooks Are All You Need - Ders Kitapları İhtiyacınız Olan Her Şeydir»

Phi projesinin temelinde yatan ana hipotez, yüksek performanslı bir modeli eğitmek için veri miktarından çok veri kalitesinin daha önemli olduğudur. Bu fikir ilk olarak «Textbooks Are All You Need» başlıklı araştırma makalesinde dile getirilmiştir[3]. Filtrelenmemiş web kaynaklarından elde edilen trilyonlarca token üzerinde eğitim almak yerine, Phi modelleri kalite açısından bir ders kitabını andıran, titizlikle seçilmiş ve sentetik olarak üretilmiş bir dataset üzerinde eğitilmektedir.

Bu yaklaşımın temel ilkeleri:

  • «Ders kitabı kalitesinde» veriler: Eğitim derlemleri, çocuk kitaplarından ilham alınan temiz, mantıksal olarak tutarlı ve açıklayıcı materyallerden oluşmaktadır.
  • Sentetik veriler: Verilerin önemli bir bölümü büyük modeller (örneğin GPT-4) aracılığıyla üretilmektedir. Örneğin Phi-4 modelini eğitmek için 50'den fazla özel pipeline üzerinden 400 milyar token yüksek kaliteli sentetik içerik oluşturulmuştur[4][5].
  • Yinelemeli eğitim: Veri oluşturma ve model eğitimi süreci yinelemeli biçimde gerçekleşmekte; bu sayede hem verilerin hem de modelin kalitesi sürekli olarak iyileştirilmektedir.

Bu yaklaşım, Phi modellerinin yalnızca istatistiksel kalıpları ezberlemek yerine derin çıkarım yetenekleri geliştirmesine olanak tanımaktadır.

Phi Modellerinin Evrimi

  • Phi-1 (1,3 milyar parametre): Haziran 2023'te tanıtılan ilk model, Python programlamaya odaklanmıştır. HumanEval ve MBPP benchmark'larında üstün performans sergileyerek nitelikli veriye dayalı yaklaşımın etkinliğini kanıtlamıştır[6].
  • Phi-2 (2,7 milyar parametre): Aralık 2023'te yayımlanan Phi-2, kompakt mimarisini koruyarak genel dil anlayışına yönelik yeteneklerini genişletti. Bu model, SLM'lerin kendilerinden onlarca kat daha büyük modellerle kıyaslanabilir performansa ulaşabildiğini ortaya koymuştur[7].
  • Phi-3 (3,8 - 14 milyar parametre): Nisan 2024'te tanıtılan bu aile, mobil yapay zeka alanında bir atılım olarak değerlendirilmektedir. Phi-3-mini (3,8 milyar), akıllı telefonlarda çalışabilmekte ve Mixtral 8x7B ile GPT-3.5 ile kıyaslanabilir bir performansa ulaşmaktadır[8]. Aile aynı zamanda Phi-3-small (7 milyar) ve Phi-3-medium (14 milyar) sürümlerini de kapsamaktadır.
  • Phi-3.5 (3,8 - 6,6 milyar aktif parametre): 2024 yılında duyurulan bu aile üç temel modeli kapsamaktadır:
    • Phi-3.5-mini-instruct: Geliştirilmiş çok dilli desteğe sahip optimize edilmiş sürüm.
    • Phi-3.5-MoE-instruct: 16 uzman ve 6,6 milyar aktif parametreye sahip Mixture-of-Experts mimarisine dayalı model.
    • Phi-3.5-Vision-instruct: Metin ve görüntü işleme için çok modlu (multimodal) model[9].
  • Phi-4 (14 milyar parametre): Karmaşık matematiksel çıkarıma odaklanmış bu model, çok daha küçük boyutuna karşın Gemini-1.5-Flash ve GPT-4o-mini ile kıyaslanabilir bir performans sergilemektedir. Phi-4-reasoning, DeepSeek-R1-Distill-Llama-70B'yi geride bırakmaktadır[10].
  • Phi-4-Multimodal (5,6 milyar parametre): Ailenin ilk tam çok modlu modeli olup metin, görüntü ve sesi eş zamanlı olarak işleyebilmektedir. Farklı modaliteleri karşılıklı girişim olmaksızın verimli biçimde işlemek için yenilikçi Mixture-of-LoRAs yaklaşımını kullanmaktadır[11].

Mimari ve Teknik Özellikler

  • Mimari: Phi modelleri, verimlilik artışı için Grouped Query Attention ve Flash Attention gibi temel optimizasyonlara sahip standart yalnızca-decoder (decoder-only) transformer mimarisini kullanmaktadır[12].
  • Yerel dağıtım: Modeller, sınırlı kaynaklara sahip cihazlarda çalışmak üzere optimize edilmiştir. Örneğin Phi-3-mini, 4-bit kuantalama ile yalnızca 1,8 GB bellek gerektirmekte ve iPhone 14 üzerinde çalışabilmektedir[13].
  • Framework desteği: Phi modelleri, Microsoft Azure AI Model Catalog, Hugging Face, Ollama ve NVIDIA NIM microservices aracılığıyla erişilebilir durumdadır; bu sayede geliştiriciler için geniş entegrasyon ve erişilebilirlik sağlanmaktadır[14].

Performans ve Benchmark'lar

Phi modellerinin temel benchmark'lardaki karşılaştırmalı performansı
Model Parametre MMLU MT-Bench HumanEval
Phi-3-mini 3.8B 69% 8.38 -
Phi-3-small 7B 75% 8.7 -
Phi-3-medium 14B 78% 8.9 -
Phi-4 14B - - GPT-4'ü geride bırakıyor

Phi-4, American Mathematics Competitions (AMC) dahil matematiksel görevlerde üstün sonuçlar sergileyerek Gemini-1.5-Flash ile kıyaslanabilir bir performans ortaya koymaktadır[15]. Çok modlu Phi-3.5-Vision ise BLINK benchmark'ında %57,0 oranına ulaşarak aynı boyuttaki rakiplerini geride bırakmaktadır[16].

Özel Uygulama Alanları

Phi modelleri, niş alanlarda yüksek verimlilik sergilemektedir:

  • Tıp: Araştırmalar, Phi-3'ün tıbbi ve sportif metinlerde uzman değerlendirmeleriyle orta düzeyde bir korelasyon gösterdiğini ortaya koymaktadır[17].
  • Nefret söylemi tespiti: Phi-2 tabanlı HateTinyLLM modeli, LoRA fine-tuning kullanarak bu görevde %80'in üzerinde doğruluk oranına ulaşmaktadır[18].
  • Oyun stratejileri: SC-Phi2 modeli, StarCraft II oyununda strateji tahminleri konusundaki yeteneklerini ortaya koymuştur[19].

Sorumlu Yapay Zeka ve Güvenlik

Phi ailesi, hesap verebilirlik, şeffaflık, adalet ve güvenlik ilkelerini kapsayan Microsoft Responsible AI standartlarına uygun olarak geliştirilmiştir. Modeller, çeşitli dillerde ve risk kategorilerinde Supervised Fine-Tuning (SFT) ve Direct Preference Optimization (DPO) dahil olmak üzere çok boyutlu güvenlik değerlendirmelerinden geçirilmektedir[20].

Sınırlamalar

Etkileyici sonuçlarına karşın, Phi modelleri bazı karmaşık görevlerde özel büyük modellerin gerisinde kalabilmektedir. Örneğin Phi-4, chain-of-thought çıkarımında iyi sonuçlar vermekle birlikte, fonksiyon çağırma (function calling) desteğinin eksikliği nedeniyle sınırlı kalmaktadır[21]. Bunun yanı sıra, Phi-3.5 20'den fazla dili desteklese de performansı değişkenlik gösterebilmekte; araştırmalar İngilizce dışındaki dillerdeki yanıtlarda tutarsızlıklar olduğunu ortaya koymaktadır[22].

Kaynakça

  • Gunasekar, S.; et al. (2023). Textbooks Are All You Need. arXiv:2306.11644.
  • Gunasekar, S.; et al. (2023). Textbooks Are All You Need II: phi‑1.5 Technical Report. arXiv:2309.05463.
  • Dao, T.; et al. (2022). FlashAttention: Fast and Memory‑Efficient Exact Attention with IO‑Awareness. arXiv:2205.14135.
  • Zheng, S.; et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models for Faster Decoding. arXiv:2305.13245.
  • Feng, W.; et al. (2024). Mixture‑of‑LoRAs: An Efficient Multitask Tuning for Large Language Models. arXiv:2403.03432.
  • Wu, X.; et al. (2024). Mixture of LoRA Experts. arXiv:2404.13628.
  • Microsoft Research (2024). Phi‑3 Technical Report. arXiv:2404.14219.
  • Abdin, M.; et al. (2024). Phi‑4 Technical Report. arXiv:2412.08905.
  • Microsoft Research (2025). Phi‑4‑reasoning Technical Report. PDF.
  • Microsoft Research (2025). Phi‑4‑Multimodal: Mixture‑of‑Modality‑LoRAs. arXiv:2503.01743.

Notlar

  1. ↑ «The Phi-3 small language models with big potential». Microsoft Source Features. [1]
  2. ↑ «Microsoft's Phi-3: Revolutionising AI with efficient and accessible small language models». Landing.Jobs Blog. [2]
  3. ↑ «Textbooks Are All You Need». Microsoft Research. [3]
  4. ↑ «Introducing Phi-4: Microsoft’s newest Small Language Model, specializing in complex reasoning». Microsoft Tech Community. [4]
  5. ↑ «Exploring Phi-4: A Deep Dive into Microsoft's Latest Language Model». OpenCV Blog. [5]
  6. ↑ «Unlocking the Power of Small Language Models (SLMs): The Evolution of Phi». LinkedIn. [6]
  7. ↑ «Новая ИИ-модель Phi-2 от Microsoft училась по учебникам». TechInsider. [7]
  8. ↑ «Phi-3 Technical Report». arXiv. [8]
  9. ↑ «Discover the new multi-lingual, high-quality Phi-3.5 SLMs». Microsoft Tech Community. [9]
  10. ↑ «Phi-4 Technical Report». arXiv. [10]
  11. ↑ «Mixture-of-Modality-LoRAs: A Low-Rank Approach to Natively Multimodal Foundation Models». arXiv. [11]
  12. ↑ «Phi-3: A Tutorial on Microsoft's Small Language Models (SLMs)». DataCamp. [12]
  13. ↑ «Unlocking the Power of Small Language Models (SLMs): The Evolution of Phi». LinkedIn. [13]
  14. ↑ «Microsoft Phi». Microsoft Azure. [14]
  15. ↑ «Exploring Phi-4: A Deep Dive into Microsoft's Latest Language Model». OpenCV Blog. [15]
  16. ↑ «Phi-3.5-vision-instruct». Hugging Face. [16]
  17. ↑ «Small But Mighty: Exploring the Capabilities of Small Language Models in Medical and Sport-Specific Applications». arXiv. [17]
  18. ↑ «HateTinyLLMs: A Small Language Model for Hate Speech Detection». arXiv. [18]
  19. ↑ «SC-Phi2: A Specialized Small Language Model for StarCraft II». MDPI. [19]
  20. ↑ «Microsoft’s Phi-3.5: a responsible, small language model». Skymod. [20]
  21. ↑ «Phi-4: A New Era of Small Language Models». Meta-quantum.today. [21]
  22. ↑ «A Multi-faceted Analysis of Language-specific Bias in Large Language Models». U.S. Securities and Exchange Commission. [22]
Retrieved from "https://systems-analysis.info/int/index.php?title=Phi_(Microsoft)_(TR)&oldid=5616"