Few-Shot and Zero-Shot Learning — Few-shot اور Zero-shot

From Systems analysis Wiki
Jump to navigation Jump to search

تھوڑے نمونوں سے سیکھنا (Few-shot Learning, FSL) اور بغیر نمونوں کے سیکھنا (Zero-shot Learning, ZSL) — یہ Machine Learning کی وہ طرزِ فکر ہیں جو لیبل شدہ ڈیٹا کی کمی کے مسئلے کو حل کرنے کے لیے وضع کی گئی ہیں۔ یہ ماڈلز کو انتہائی محدود معلومات کی بنیاد پر سیکھنے اور علم کو عام کرنے کے قابل بناتی ہیں، جو ان حقیقی منظرناموں میں مصنوعی ذہانت کے اطلاق کے لیے کلیدی حیثیت رکھتا ہے جہاں بڑے dataset جمع کرنا ناممکن یا غیر عملی ہو۔

ڈیٹا کی کمی کا ہر جگہ موجود مسئلہ

جدید گہری تعلیم (deep learning) کے ماڈل متاثر کن نتائج دیتے ہیں، لیکن ان کی کارکردگی عموماً براہِ راست لیبل شدہ ڈیٹا کی وسیع مقدار پر منحصر ہوتی ہے۔ ایسا ڈیٹا جمع کرنا اور اسے annotate کرنا ایک مہنگا، محنت طلب، اور اکثر اوقات ناممکن عمل ہے۔ یہ مسئلہ، جسے «معلوماتی قحط» کہا جاتا ہے، خاص طور پر درج ذیل شعبوں میں نمایاں ہے:

  • نایاب بیماریوں کی تشخیص۔
  • خصوصی صنعتی پیداوار۔
  • روبوٹکس اور نئی اشیاء کے ساتھ تعامل۔
  • مسلسل سامنے آنے والی نئی مصنوعات یا موضوعات کی درجہ بندی۔

FSL اور ZSL «بڑے ڈیٹا» سے «ذہین ڈیٹا» کی طرف توجہ منتقل کر کے ایک حل پیش کرتے ہیں، جس میں علم کی مؤثر منتقلی اور تعمیم پر زور دیا جاتا ہے۔

تھوڑے نمونوں سے سیکھنا (Few-shot Learning)

Few-shot Learning (FSL) ایک ایسی طرزِ فکر ہے جس میں ماڈل بہت کم تعداد میں لیبل شدہ نمونوں (عموماً 1 سے 5) — جنہیں support set کہا جاتا ہے — کی بنیاد پر نئے classes کو پہچاننا سیکھتا ہے۔

کلیدی خیال

FSL کا بنیادی خیال یہ نہیں کہ مخصوص classes کے لیے محض خصائص سیکھے جائیں، بلکہ سیکھنے کا عمل (learning to learn) خود سیکھا جائے۔ ماڈل کو چاہیے کہ کم سے کم نمونوں کے ذریعے نئے، پہلے سے ناواقف کاموں کے لیے تیزی سے ڈھل جائے۔ یہ پہلے سے حاصل شدہ علم اور موافقت کی حکمتِ عملیوں کے استعمال سے ممکن ہوتا ہے۔

FSL میں بنیادی طریقے

  • میٹا لرننگ («سیکھنا سیکھنا»): یہ FSL میں غالب طرزِ فکر ہے۔ ماڈل کو متعدد متنوع کاموں پر تربیت دی جاتی ہے تاکہ وہ نئے کاموں میں مؤثر طریقے سے ڈھلنا سیکھے۔
    • میٹرکس کی بنیاد پر: ماڈل (مثلاً Siamese یا Prototypical Networks) ایسی embedding space بنانا سیکھتے ہیں جہاں vectors کے درمیان فاصلہ معنوی قربت کی عکاسی کرے۔ نئے نمونے کی درجہ بندی اس کے embedding کا support set کے embeddings سے موازنہ کر کے ہوتی ہے۔
    • اصلاح کی بنیاد پر: ماڈل (مثلاً MAML) ایسی پیرامیٹر initialization تلاش کرنا سیکھتے ہیں جو نئے کام کے لیے چند gradient descent مراحل میں تیز fine-tuning کی اجازت دے۔
  • سیاق و سباق میں سیکھنا (In-Context Learning): بڑے language models (LLM) کی آمد کے ساتھ ایک ایسا طریقہ مقبول ہوا جس میں support set کے نمونے ماڈل کو براہِ راست prompt میں فراہم کیے جاتے ہیں۔ ماڈل inference کے دوران «ضمنی میٹا لرننگ» انجام دیتا ہے اور weights کو اپ ڈیٹ کیے بغیر کام کے مطابق ڈھل جاتا ہے۔

FSL میں توسیع یافتہ طریقے

  • One-shot Learning: یہ FSL کا ایک خاص معاملہ ہے جہاں ہر class کے لیے نمونوں کی تعداد ایک ہوتی ہے ("N-way K-shot" اشارے میں K=1)۔ کلاسیکی architectural مثالیں Matching Networks اور Siamese Networks ہیں۔
  • جنریٹو طریقے اور ڈیٹا augmentation: FSL فعال طور پر generative models (GAN, VAE، diffusion models) کو اضافی ڈیٹا نمونوں کی ترکیب کے لیے استعمال کرتا ہے۔ اس سے support set کو مصنوعی طور پر وسعت دینا اور درجہ بندی کا معیار بہتر بنانا ممکن ہوتا ہے، خاص طور پر نایاب یا غیر معمولی classes کے لیے۔
  • Transductive FSL: معیاری (inductive) طریقے کے برعکس، یہاں ماڈل موافقت کے دوران صرف لیبل شدہ support set کو نہیں بلکہ تمام unlabeled test نمونوں (queries) کے مجموعے کو بھی مدِنظر رکھتا ہے۔ اس سے queries میں ڈیٹا کی ساخت کو پکڑنا ممکن ہوتا ہے، مثلاً label propagation تکنیکوں کے ذریعے، اور درجہ بندی کی استحکامیت بہتر ہوتی ہے۔

بغیر نمونوں کے سیکھنا (Zero-shot Learning)

Zero-shot Learning (ZSL) ایک ایسی طرزِ فکر ہے جس میں ماڈل ان classes کو پہچاننے کی صلاحیت رکھتا ہے جن کا ایک بھی نمونہ اس نے تربیت کے مرحلے میں نہیں دیکھا۔

کلیدی خیال

یہ معاون معنوی معلومات کے استعمال سے حاصل ہوتا ہے، جو دیکھی اور نہ دیکھی دونوں classes کو بیان کرتی ہے۔ ماڈل ان پٹ خصائص کی space (مثلاً تصاویر) سے مشترک معنوی space میں mapping سیکھتا ہے۔

معنوی معلومات کے میکانزم

  • معنوی خصائص: Classes کو انسانی تعریف شدہ خصائص کے مجموعے سے بیان کیا جاتا ہے (مثلاً «زیبرا» class کے لیے: [دھاریاں_ہیں، کھر_ہیں، ممالیہ_ہے])۔
  • لفظی ویکٹر نمائندگی (Word Embeddings): Classes کے نام یا ان کی متنی وضاحتیں پہلے سے تربیت یافتہ language models (مثلاً Word2Vec, BERT) کی مدد سے embeddings میں تبدیل کی جاتی ہیں۔
  • LLM میں Prompting: CLIP جیسے multimodal models کی آمد کے ساتھ، ZSL تصویر کے embedding کا classes کی متنی وضاحتوں کے embeddings (مثلاً «کتے کی تصویر»، «بلی کی تصویر») سے موازنہ کر کے انجام دی جا سکتی ہے۔

ZSL کی اقسام: روایتی، عمومی، Inductive اور Transductive

  • روایتی ZSL: جانچ کے مرحلے میں ماڈل کو صرف ناشناختہ classes کے نمونوں کی درجہ بندی کرنی ہوتی ہے۔
  • عمومی ZSL (Generalized ZSL, GZSL): ایک زیادہ حقیقت پسندانہ اور پیچیدہ منظرنامہ، جہاں ماڈل کو دیکھی اور نہ دیکھی دونوں classes کے نمونوں کی درجہ بندی کرنی ہوتی ہے۔ اس کے لیے ماڈل کو نئے کو پہچاننے کے ساتھ ساتھ اسے پہلے سے جانے پہچانے سے ممتاز کرنا بھی ضروری ہوتا ہے، اور دیکھی ہوئی classes کی طرف جھکاؤ سے لڑنا پڑتا ہے۔
  • Inductive ZSL: معیاری ترتیب، جہاں ماڈل صرف دیکھی ہوئی classes کے ڈیٹا اور معنوی وضاحتوں پر تربیت پاتا ہے، بغیر ناشناختہ classes کی معلومات تک کسی رسائی کے۔
  • Transductive ZSL: ایک زیادہ پیشرفتہ طریقہ، جہاں ماڈل تربیت کے دوران ناشناختہ classes کے unlabeled نمونوں کو استعمال کر سکتا ہے۔ اس سے معنوی space کو پہلے سے موافق بنانا اور حتمی معیار کو بہتر بنانا ممکن ہوتا ہے۔

ZSL میں جنریٹو طریقے

  • ناشناختہ classes کے خصائص کی تخلیق: GZSL میں جھکاؤ کے مسئلے کو حل کرنے کے لیے generative models (VAE, GAN) کا وسیع استعمال ہوتا ہے۔ یہ خود تصاویر نہیں بلکہ ناشناختہ classes کے لیے ان کی معنوی وضاحتوں کی بنیاد پر ان کے feature vectors (embeddings) ترکیب کرتے ہیں۔ اس سے حتمی classifier کی تربیت کے لیے dataset کو متوازن بنانا ممکن ہوتا ہے۔

تقابلی تجزیہ اور ہم آہنگی

محدود ڈیٹا کے ساتھ سیکھنے کی طرزوں کا موازنہ
پہلو تھوڑے نمونوں سے سیکھنا (FSL) بغیر نمونوں کے سیکھنا (ZSL)
بنیادی خیال چند نمونوں کی بنیاد پر نئے classes کے لیے تیزی سے ڈھلنا سیکھنا۔ معنوی وضاحتوں کی بنیاد پر نئے classes کو پہچاننا سیکھنا۔
نئے کام/class کے لیے ڈیٹا کی ضروریات ہر نئے class کے لیے چند لیبل شدہ نمونے (1-5)۔ صفر لیبل شدہ نمونے؛ معنوی وضاحت ضروری ہے۔
علم کی منتقلی طریقہ کار کے علم کا حصول («کیسے ڈھلنا ہے») یا اچھی feature space۔ معنوی تعلقات اور خصائص کا حصول، مشترک معنوی space کے ذریعے علم کی منتقلی۔
مخصوص استعمال کے معاملات تیز prototyping، ذاتی سازی، نایاب اشیاء کی شناخت، روبوٹکس۔ نئی انواع کی دریافت، ابھرتے ہوئے موضوعات کی درجہ بندی، بالکل نئی قسم کی مصنوعات کی پروسیسنگ۔

کلیدی باریکیاں اور جدید رجحانات

  • Zero-shot Learning اور Zero-shot Prompting میں فرق: ان تصورات میں امتیاز کرنا ضروری ہے۔ ZSL ایک architectural Machine Learning طرزِ فکر ہے جس کے لیے خصوصی ماڈل اور معنوی معلومات درکار ہوتی ہیں۔ Zero-shot Prompting prompt engineering کی ایک عملی تکنیک ہے جہاں ایک بڑا language model (مثلاً GPT-4) prompt میں نمونوں کے بغیر محض اپنے داخلی علم پر انحصار کرتے ہوئے کام حل کرتا ہے۔
  • وسیع پیمانے پر پیشگی تربیت کا کردار: FSL اور ZSL کی جدید کامیابی بڑی حد تک طاقتور بنیادی ماڈلز (BERT, CLIP, GPT-4) کی بدولت ہے۔ ان کی وسیع ڈیٹا پر پیشگی تربیت ایک عالمگیر اور معنویت سے بھرپور embedding front-end تخلیق کرتی ہے، جو ڈیٹا کی کمی کے حالات میں تیز موافقت اور معنوی استنتاج کے لیے ایک بہترین بنیاد کا کام کرتی ہے۔

FSL اور ZSL ڈیٹا کے مؤثر استعمال کے spectrum پر مختلف مقامات کی نمائندگی کرتے ہیں اور اکثر مل کر استعمال ہوتے ہیں۔ مثلاً ZSL کو نمائندگیوں کی initialization کے لیے استعمال کیا جا سکتا ہے، جنہیں پھر FSL کے ذریعے اس وقت fine-tune کیا جاتا ہے جب کسی نئے class کے پہلے نمونے دستیاب ہو جائیں۔

کلیدی تحقیقی ادارے اور شرکاء

FSL اور ZSL کے شعبے میں تحقیق علمی حلقوں اور صنعتی لیبارٹریوں دونوں میں فعال طور پر جاری ہے۔

  • یونیورسٹیاں: اسٹینفورڈ یونیورسٹی، پیکنگ یونیورسٹی، نیشنل یونیورسٹی آف سنگاپور۔
  • صنعتی لیبارٹریاں: Google AI, Meta AI, OpenAI۔

طاقتور بنیادی ماڈلز کی آمد کے ساتھ تحقیق کا مرکز FSL/ZSL کے لیے خصوصی architectures کی تیاری سے ہٹ کر ان ماڈلز کی مؤثر موافقت کے طریقوں کی طرف منتقل ہو گیا ہے۔

کتابیات

  • Finn, C. et al. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. arXiv:1703.03400.
  • Koch, G. et al. (2015). Siamese Neural Networks for One-Shot Image Recognition. PDF.
  • Vinyals, O. et al. (2016). Matching Networks for One Shot Learning. arXiv:1606.04080.
  • Snell, J. et al. (2017). Prototypical Networks for Few-Shot Learning. arXiv:1703.05175.
  • Sung, F. et al. (2018). Learning to Compare: Relation Network for Few-Shot Learning. arXiv:1711.06025.
  • Chen, Y. et al. (2021). Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning. arXiv:2003.04390.
  • Wang, Y. et al. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. arXiv:1904.05046.
  • Xian, Y. et al. (2018). Zero-Shot Learning — A Comprehensive Evaluation of the State of the Art. arXiv:1707.00600.
  • Verma, V. K. et al. (2018). Generalized Zero-Shot Learning via Synthesized Examples. arXiv:1712.03878.
  • Radford, A. et al. (2021). Learning Transferable Visual Models from Natural Language Supervision. arXiv:2103.00020.
  • Xian, Y. et al. (2019). Zero-Shot Learning via Simultaneous Generating and Learning. arXiv:1910.09446.
  • Verma, V. K. et al. (2017). Zero-Shot Learning via Generative Adversarial Training of Class-Conditional Feature Vectors. arXiv:1712.00981.

یہ بھی دیکھیں

  • بڑے زبانی ماڈل
Retrieved from "https://systems-analysis.info/int/index.php?title=Few-Shot_and_Zero-Shot_Learning_—_Few-shot_اور_Zero-shot&oldid=2144"