Few-Shot and Zero-Shot Learning — फ्यू-शॉट और ज़ीरो-शॉट

From Systems analysis Wiki
Jump to navigation Jump to search

कम उदाहरणों के साथ अधिगम (Few-shot Learning, FSL) और बिना उदाहरण के अधिगम (Zero-shot Learning, ZSL) — ये Machine Learning की ऐसी प्रतिमान (paradigms) हैं जो लेबल किए गए डेटा की कमी की समस्या को हल करने के लिए बनाई गई हैं। ये मॉडलों को अत्यंत सीमित जानकारी के आधार पर सीखने और ज्ञान का सामान्यीकरण करने में सक्षम बनाती हैं, जो वास्तविक परिदृश्यों में कृत्रिम बुद्धिमत्ता के अनुप्रयोग के लिए अत्यंत महत्वपूर्ण है, जहाँ बड़े डेटासेट संग्रह करना असंभव या अव्यावहारिक होता है।

डेटा की व्यापक कमी की समस्या

आधुनिक Deep Learning मॉडल प्रभावशाली परिणाम प्रदर्शित करते हैं, परंतु उनकी प्रभावशीलता सामान्यतः भारी मात्रा में लेबल किए गए डेटा पर प्रत्यक्ष रूप से निर्भर करती है। ऐसे डेटा का संग्रह और अनुलेखन (annotation) एक महँगी, श्रम-साध्य और प्रायः असंभव प्रक्रिया है। «सूचना का अकाल» के नाम से जानी जाने वाली यह समस्या विशेष रूप से निम्नलिखित क्षेत्रों में गंभीर है:

  • दुर्लभ रोगों का निदान।
  • विशेषीकृत औद्योगिक उत्पादन।
  • रोबोटिक्स और नए वस्तुओं के साथ संपर्क।
  • निरंतर उभरते नए उत्पादों या विषयों की श्रेणीकरण।

FSL और ZSL एक समाधान प्रस्तुत करते हैं, जिसमें «बड़े डेटा» से «स्मार्ट डेटा» की ओर ध्यान केंद्रित किया जाता है और ज्ञान के कुशल स्थानांतरण तथा सामान्यीकरण पर जोर दिया जाता है।

कम उदाहरणों के साथ अधिगम (Few-shot Learning)

Few-shot Learning (FSL) एक ऐसी प्रतिमान है जिसमें मॉडल बहुत कम लेबल किए गए उदाहरणों (सामान्यतः 1 से 5) के आधार पर नए वर्गों को पहचानना सीखता है, जिन्हें सहायक समुच्चय (support set) कहा जाता है।

मुख्य विचार

FSL का मूल विचार यह है कि केवल विशिष्ट वर्गों के लिए लक्षण (features) सीखना नहीं, बल्कि सीखने की प्रक्रिया (learning to learn) को सीखना है। मॉडल को न्यूनतम उदाहरणों का उपयोग करके नए, पहले से अपरिचित कार्यों के प्रति शीघ्र अनुकूलन करना होता है। यह पूर्व-अर्जित ज्ञान और अनुकूलन रणनीतियों के उपयोग से संभव होता है।

FSL में मुख्य दृष्टिकोण

  • मेटा-अधिगम («सीखना सीखना»): यह FSL में प्रभावी प्रतिमान है। मॉडल विविध कार्यों के समुच्चय पर प्रशिक्षित होता है ताकि नए कार्यों के प्रति कुशलतापूर्वक अनुकूलन करना सीख सके।
    • Metric पर आधारित: मॉडल (जैसे Siamese या Prototypical Networks) एक embedding स्थान बनाना सीखते हैं जहाँ vectors के बीच की दूरी अर्थपूर्ण निकटता को दर्शाती है। नए उदाहरण का वर्गीकरण उसके embedding की तुलना support set के embeddings से करके होता है।
    • Optimization पर आधारित: मॉडल (जैसे MAML) ऐसे parameter initialization खोजना सीखते हैं जो gradient descent के कुछ ही चरणों में नए कार्य के लिए शीघ्र fine-tuning की अनुमति देता है।
  • संदर्भ-आधारित अधिगम (In-Context Learning): बड़े भाषा मॉडलों (LLM) के उद्भव के साथ यह दृष्टिकोण लोकप्रिय हुआ है, जहाँ support set के उदाहरण सीधे prompt में मॉडल को प्रदान किए जाते हैं। मॉडल inference के दौरान «अंतर्निहित मेटा-अधिगम» करता है और weights अद्यतन किए बिना कार्य के प्रति अनुकूलित होता है।

FSL में विस्तारित दृष्टिकोण

  • One-shot Learning: यह FSL का एक विशेष मामला है जब प्रत्येक वर्ग के लिए उदाहरणों की संख्या एक होती है ("N-way K-shot" अंकन में K=1)। आर्किटेक्चर के क्लासिक उदाहरण हैं Matching Networks और Siamese Networks।
  • जनरेटिव विधियाँ और डेटा Augmentation: FSL जनरेटिव मॉडलों (GAN, VAE, diffusion models) का सक्रिय रूप से उपयोग अतिरिक्त डेटा उदाहरणों के संश्लेषण के लिए करता है। इससे support set को कृत्रिम रूप से विस्तारित करना और वर्गीकरण की गुणवत्ता में सुधार करना संभव होता है, विशेष रूप से दुर्लभ या असामान्य वर्गों के लिए।
  • Transductive FSL: मानक (inductive) दृष्टिकोण के विपरीत, यहाँ मॉडल अनुकूलन के दौरान केवल लेबल किए गए support set को नहीं, बल्कि सभी अनलेबल परीक्षण उदाहरणों (queries) की समग्रता को भी ध्यान में रखता है। इससे queries में डेटा की संरचना को पकड़ना संभव होता है, उदाहरण के लिए label propagation तकनीकों के माध्यम से, और वर्गीकरण की स्थिरता में सुधार होता है।

बिना उदाहरण के अधिगम (Zero-shot Learning)

Zero-shot Learning (ZSL) एक ऐसी प्रतिमान है जिसमें मॉडल उन वर्गों को पहचानने में सक्षम होता है जिनका एक भी उदाहरण उसने प्रशिक्षण के दौरान नहीं देखा होता।

मुख्य विचार

यह सहायक अर्थपूर्ण जानकारी के उपयोग से संभव होता है, जो देखे गए और न देखे गए दोनों वर्गों का वर्णन करती है। मॉडल इनपुट feature स्थान (जैसे, छवियाँ) से सामान्य अर्थपूर्ण स्थान में प्रतिचित्रण (mapping) सीखता है।

अर्थपूर्ण जानकारी के तंत्र

  • अर्थपूर्ण गुण (Semantic Attributes): वर्गों का वर्णन मानव-परिभाषित गुणों के समुच्चय द्वारा किया जाता है (उदाहरण के लिए, «ज़ेब्रा» वर्ग के लिए: [धारियाँ_हैं, खुर_हैं, स्तनपायी_है])।
  • शब्द सदिश प्रतिनिधित्व (Word Embeddings): वर्गों के नाम या उनके पाठ्य विवरण पूर्व-प्रशिक्षित भाषा मॉडलों (जैसे Word2Vec, BERT) की सहायता से embeddings में रूपांतरित किए जाते हैं।
  • LLM में Prompting: CLIP जैसे multimodal मॉडलों के उद्भव के साथ, ZSL छवि के embedding की तुलना वर्गों के पाठ्य विवरणों के embeddings से करके किया जा सकता है (जैसे, «कुत्ते की फोटो», «बिल्ली की फोटो»)।

ZSL के प्रकार: पारंपरिक, सामान्यीकृत, Inductive और Transductive

  • पारंपरिक ZSL: परीक्षण चरण में मॉडल को केवल न देखे गए वर्गों के उदाहरणों का वर्गीकरण करना होता है।
  • सामान्यीकृत ZSL (Generalized ZSL, GZSL): यह अधिक यथार्थवादी और जटिल परिदृश्य है जहाँ मॉडल को देखे गए और न देखे गए दोनों वर्गों के उदाहरणों का वर्गीकरण करना होता है। इसके लिए मॉडल को न केवल नए को पहचानना होता है, बल्कि उसे पहले से परिचित से अलग करना होता है, जिसमें देखे गए वर्गों की ओर पूर्वाग्रह (bias) से लड़ना पड़ता है।
  • Inductive ZSL: यह मानक स्थिति है जहाँ मॉडल केवल देखे गए वर्गों के डेटा और अर्थपूर्ण विवरणों पर प्रशिक्षित होता है, बिना न देखे गए वर्गों की किसी जानकारी तक पहुँच के।
  • Transductive ZSL: यह अधिक उन्नत योजना है जहाँ मॉडल प्रशिक्षण के दौरान न देखे गए वर्गों के अनलेबल उदाहरणों का उपयोग कर सकता है। इससे अर्थपूर्ण स्थान को पहले से अनुकूलित करना और अंतिम गुणवत्ता में सुधार करना संभव होता है।

ZSL में जनरेटिव दृष्टिकोण

  • न देखे गए वर्गों के features का निर्माण: GZSL में पूर्वाग्रह की समस्या को हल करने के लिए जनरेटिव मॉडलों (VAE, GAN) का व्यापक उपयोग किया जाता है। वे स्वयं छवियाँ नहीं, बल्कि उनके feature vectors (embeddings) को न देखे गए वर्गों के लिए उनके अर्थपूर्ण विवरणों के आधार पर संश्लेषित करते हैं। इससे अंतिम classifier के प्रशिक्षण के लिए dataset को संतुलित करना संभव होता है।

तुलनात्मक विश्लेषण और समन्वय

सीमित डेटा के साथ अधिगम प्रतिमानों की तुलना
पहलू कम उदाहरणों के साथ अधिगम (FSL) बिना उदाहरण के अधिगम (ZSL)
मूल विचार कुछ उदाहरणों के आधार पर नए वर्गों के प्रति शीघ्र अनुकूलन करना सीखना। अर्थपूर्ण विवरणों के आधार पर नए वर्गों को पहचानना सीखना।
नए कार्य/वर्ग के लिए डेटा आवश्यकताएँ प्रत्येक नए वर्ग के लिए कुछ लेबल किए गए उदाहरण (1-5)। शून्य लेबल किए गए उदाहरण; अर्थपूर्ण विवरण आवश्यक।
ज्ञान स्थानांतरण प्रक्रियागत ज्ञान («कैसे अनुकूलित करें») या अच्छे feature स्थान का अधिगम। अर्थपूर्ण संबंधों और गुणों का अधिगम, सामान्य अर्थपूर्ण स्थान के माध्यम से ज्ञान स्थानांतरण।
विशिष्ट उपयोग के मामले शीघ्र प्रोटोटाइपिंग, वैयक्तिकरण, दुर्लभ वस्तुओं की पहचान, रोबोटिक्स। नई प्रजातियों की खोज, उभरते विषयों की श्रेणीकरण, बिल्कुल नए प्रकार के उत्पादों का प्रसंस्करण।

मुख्य सूक्ष्मताएँ और आधुनिक रुझान

  • Zero-shot Learning और Zero-shot Prompting के बीच अंतर: इन अवधारणाओं को अलग करना महत्वपूर्ण है। ZSL एक आर्किटेक्चरल Machine Learning प्रतिमान है जिसके लिए विशेष मॉडल और अर्थपूर्ण जानकारी की आवश्यकता होती है। Zero-shot Prompting एक व्यावहारिक prompt engineering तकनीक है जहाँ बड़ा भाषा मॉडल (जैसे GPT-4) prompt में बिना उदाहरणों के, केवल अपने आंतरिक ज्ञान पर निर्भर होकर कार्य हल करता है।
  • बड़े पैमाने के पूर्व-प्रशिक्षण की भूमिका: FSL और ZSL की आधुनिक सफलता काफी हद तक शक्तिशाली foundation models (BERT, CLIP, GPT-4) के कारण है। विशाल डेटा सरणियों पर उनका पूर्व-प्रशिक्षण एक सार्वभौमिक और अर्थपूर्ण embedding frontend बनाता है, जो डेटा की कमी की स्थिति में शीघ्र अनुकूलन और अर्थपूर्ण अनुमान के लिए उत्कृष्ट आधार के रूप में कार्य करता है।

FSL और ZSL डेटा उपयोग दक्षता के स्पेक्ट्रम पर अलग-अलग बिंदुओं का प्रतिनिधित्व करते हैं और अक्सर संयुक्त रूप से उपयोग किए जाते हैं। उदाहरण के लिए, ZSL का उपयोग प्रतिनिधित्वों को आरंभ करने के लिए किया जा सकता है, जिन्हें बाद में FSL की सहायता से तब fine-tune किया जाता है जब नए वर्ग के पहले उदाहरण उपलब्ध होते हैं।

मुख्य शोध संस्थान और प्रतिभागी

FSL और ZSL के क्षेत्र में शोध शैक्षणिक जगत और औद्योगिक प्रयोगशालाओं दोनों में सक्रिय रूप से किया जा रहा है।

  • विश्वविद्यालय: स्टैनफोर्ड विश्वविद्यालय, पेकिंग विश्वविद्यालय, सिंगापुर राष्ट्रीय विश्वविद्यालय।
  • औद्योगिक प्रयोगशालाएँ: Google AI, Meta AI, OpenAI।

शक्तिशाली foundation models के उद्भव के साथ, शोध का ध्यान FSL/ZSL के लिए विशेषीकृत आर्किटेक्चर के विकास से इन मॉडलों के कुशल अनुकूलन के तरीकों की ओर स्थानांतरित हो गया है।

साहित्य

  • Finn, C. et al. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. arXiv:1703.03400.
  • Koch, G. et al. (2015). Siamese Neural Networks for One-Shot Image Recognition. PDF.
  • Vinyals, O. et al. (2016). Matching Networks for One Shot Learning. arXiv:1606.04080.
  • Snell, J. et al. (2017). Prototypical Networks for Few-Shot Learning. arXiv:1703.05175.
  • Sung, F. et al. (2018). Learning to Compare: Relation Network for Few-Shot Learning. arXiv:1711.06025.
  • Chen, Y. et al. (2021). Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning. arXiv:2003.04390.
  • Wang, Y. et al. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. arXiv:1904.05046.
  • Xian, Y. et al. (2018). Zero-Shot Learning — A Comprehensive Evaluation of the State of the Art. arXiv:1707.00600.
  • Verma, V. K. et al. (2018). Generalized Zero-Shot Learning via Synthesized Examples. arXiv:1712.03878.
  • Radford, A. et al. (2021). Learning Transferable Visual Models from Natural Language Supervision. arXiv:2103.00020.
  • Xian, Y. et al. (2019). Zero-Shot Learning via Simultaneous Generating and Learning. arXiv:1910.09446.
  • Verma, V. K. et al. (2017). Zero-Shot Learning via Generative Adversarial Training of Class-Conditional Feature Vectors. arXiv:1712.00981.

यह भी देखें

  • बड़े भाषा मॉडल
Retrieved from "https://systems-analysis.info/int/index.php?title=Few-Shot_and_Zero-Shot_Learning_—_फ्यू-शॉट_और_ज़ीरो-शॉट&oldid=2147"