Few-shot och Zero-shot

Inlärning med få exempel (Few-shot Learning, FSL) och inlärning utan exempel (Zero-shot Learning, ZSL) — är paradigmer inom Machine Learning som syftar till att lösa problemet med brist på annoterade data. De gör det möjligt för modeller att lära sig och generalisera kunskap utifrån en mycket begränsad mängd information, vilket är avgörande för tillämpning av artificiell intelligens i verkliga scenarier där insamling av stora dataset är omöjlig eller opraktisk.

Det genomgripande problemet med databrist

Moderna modeller för djupinlärning uppvisar imponerande resultat, men deras effektivitet är i regel direkt beroende av enorma mängder annoterade data. Att samla in och annotera sådana data är en kostsam, tidskrävande och ofta omöjlig process. Detta problem, känt som "informationshunger", är särskilt akut inom områden som:

• Diagnostik av sällsynta sjukdomar.
• Specialiserad industriell tillverkning.
• Robotik och interaktion med nya objekt.
• Kategorisering av ständigt tillkommande nya produkter eller ämnen.

FSL och ZSL erbjuder en lösning genom att förskjuta fokus från "big data" till "smart data", med inriktning på effektiv kunskapsöverföring och generalisering.

Inlärning med få exempel (Few-shot Learning)

Few-shot Learning (FSL) — är ett paradigm där modellen lär sig att känna igen nya klasser utifrån ett mycket litet antal annoterade exempel (vanligtvis 1 till 5), kallade stöduppsättningen (support set).

Grundläggande idé

Huvudidén med FSL är inte bara att lära sig kännetecken för specifika klasser, utan att lära sig inlärningsprocessen (learning to learn). Modellen måste snabbt anpassa sig till nya, tidigare okända uppgifter med ett minimalt antal exempel. Detta uppnås genom att utnyttja tidigare förvärvad kunskap och anpassningsstrategier.

Huvudsakliga tillvägagångssätt inom FSL

• Metainlärning ("Att lära sig att lära"): Detta är det dominerande paradigmet inom FSL. Modellen tränas på en mängd olika uppgifter för att lära sig att effektivt anpassa sig till nya.
  • Metrikbaserad: Modeller (t.ex. siamesiska nätverk eller protypiska nätverk) lär sig att bygga ett embeddingutrymme där avståndet mellan vektorer speglar semantisk likhet. Klassificering av ett nytt exempel sker genom att jämföra dess embedding med embeddings från stöduppsättningen.
  • Optimeringsbaserad: Modeller (t.ex. MAML) lär sig att hitta en sådan parameterinitialisering som möjliggör snabb vidareinlärning (med några steg av gradientbaserad nedstigning) för en ny uppgift.
• Kontextuell inlärning (In-Context Learning): Med framväxten av stora språkmodeller (LLM) har ett tillvägagångssätt blivit populärt där exempel från stöduppsättningen tillhandahålls modellen direkt i prompten. Modellen utför "implicit metainlärning" under inferens och anpassar sig till uppgiften utan att uppdatera vikterna.

Avancerade tillvägagångssätt inom FSL

• One-shot Learning: Detta är ett specialfall av FSL där antalet exempel för varje klass är ett (K=1 i notationen "N-way K-shot"). Klassiska arkitekturexempel är Matching Networks och Siamese Networks.
• Generativa metoder och dataaugmentering: FSL använder aktivt generativa modeller (GAN, VAE, diffusionsmodeller) för att syntetisera ytterligare dataexempel. Detta gör det möjligt att artificiellt utöka stöduppsättningen och förbättra klassificeringskvaliteten, särskilt för sällsynta eller ovanliga klasser.
• Transduktiv FSL: Till skillnad från det standardmässiga (induktiva) tillvägagångssättet tar modellen här vid anpassning hänsyn inte bara till den annoterade stöduppsättningen, utan också till hela samlingen av oannoterade testexempel (frågor). Detta gör det möjligt att fånga datastrukturen i frågorna, till exempel med hjälp av tekniker för etikettspridning (label propagation), och förbättra klassificeringens robusthet.

Inlärning utan exempel (Zero-shot Learning)

Zero-shot Learning (ZSL) — är ett paradigm där modellen kan känna igen klasser som den inte sett ett enda exempel av under träningsfasen.

Grundläggande idé

Detta uppnås genom att använda kompletterande semantisk information som beskriver både sedda och osedda klasser. Modellen lär sig en avbildning från utrymmet för inmatningskännetecken (t.ex. bilder) till ett gemensamt semantiskt utrymme.

Mekanismer för semantisk information

• Semantiska attribut: Klasser beskrivs med en uppsättning mänskligt definierade attribut (t.ex. för klassen "zebra": [har_ränder, har_hovar, är_däggdjur]).
• Vektorrepresentationer av ord (Word Embeddings): Klassnamn eller deras textbeskrivningar omvandlas till embeddings med hjälp av förtränade språkmodeller (t.ex. Word2Vec, BERT).
• Prompting i LLM: Med framväxten av multimodala modeller som CLIP kan ZSL utföras genom att jämföra en bilds embedding med embeddings för textbeskrivningar av klasser (t.ex. "ett foto av en hund", "ett foto av en katt").

Typer av ZSL: Traditionell, Generaliserad, Induktiv och Transduktiv

• Traditionell ZSL: Under testfasen ska modellen klassificera exempel enbart från osedda klasser.
• Generaliserad ZSL (Generalized ZSL, GZSL): Ett mer realistiskt och komplext scenario där modellen ska klassificera exempel från både sedda och osedda klasser. Detta kräver att modellen inte bara känner igen det nya, utan också särskiljer det från det redan bekanta, och motverkar förskjutning mot sedda klasser.
• Induktiv ZSL: Standarduppsättningen, där modellen tränas enbart på data och semantiska beskrivningar av sedda klasser, utan någon som helst tillgång till information om osedda.
• Transduktiv ZSL: Ett mer avancerat schema där modellen under träningen kan använda oannoterade exempel från osedda klasser. Detta gör det möjligt att i förväg anpassa det semantiska utrymmet och förbättra slutresultatet.

Generativa tillvägagångssätt inom ZSL

• Generering av kännetecken för osedda klasser: För att lösa förskjutningsproblemet i GZSL används generativa modeller (VAE, GAN) i stor utsträckning. De syntetiserar inte bilderna i sig, utan deras känneteckensvektorer (embeddings) för osedda klasser baserat på deras semantiska beskrivningar. Detta gör det möjligt att balansera datasetet för träning av den slutliga klassificeraren.

Jämförande analys och synergi

Jämförelse av inlärningsparadigmer med begränsade data

Aspekt	Inlärning med få exempel (FSL)	Inlärning utan exempel (ZSL)
Grundläggande idé	Lära sig att snabbt anpassa sig till nya klasser utifrån några få exempel.	Lära sig att känna igen nya klasser utifrån deras semantiska beskrivningar.
Datakrav för ny uppgift/klass	Några få annoterade exempel (1–5) för varje ny klass.	Noll annoterade exempel; semantisk beskrivning krävs.
Kunskapsöverföring	Inlärning av procedurell kunskap ("hur man anpassar sig") eller ett bra känneteckensutrymme.	Inlärning av semantiska relationer och attribut, kunskapsöverföring via ett gemensamt semantiskt utrymme.
Typiska användningsfall	Snabb prototyputveckling, personalisering, igenkänning av sällsynta objekt, robotik.	Upptäckt av nya arter, kategorisering av framväxande ämnen, hantering av helt nya produkttyper.

Viktiga nyanser och moderna trender

• Skillnaden mellan Zero-shot Learning och Zero-shot Prompting: Det är viktigt att skilja på dessa begrepp. ZSL är ett arkitekturellt paradigm inom Machine Learning som kräver en specialiserad modell och semantisk information. Zero-shot Prompting är en tillämpad teknik inom prompt-engineering där en stor språkmodell (t.ex. GPT-4) löser en uppgift utan exempel i prompten, enbart med stöd av sin interna kunskap.
• Rollen av storskalig förträning: Den moderna framgången för FSL och ZSL beror i hög grad på kraftfulla grundmodeller (BERT, CLIP, GPT-4). Deras förträning på enorma datamängder skapar ett universellt och semantiskt rikt embedding-gränssnitt som utgör en utmärkt grund för snabb anpassning och semantisk slutledning under förhållanden med databrist.

FSL och ZSL representerar olika punkter på spektrumet av datautnyttjandeeffektivitet och används ofta tillsammans. Till exempel kan ZSL användas för att initialisera representationer som sedan vidareutbildas med FSL när de första exemplen av en ny klass dyker upp.

Viktiga forskningsinstitutioner och aktörer

Forskning inom FSL och ZSL bedrivs aktivt både i akademiska kretsar och i industriella laboratorier.

• Universitet: Stanford University, Peking University, National University of Singapore.
• Industriella laboratorier: Google AI, Meta AI, OpenAI.

Med framväxten av kraftfulla grundmodeller har forskningsfokus förskjutits från utveckling av specialiserade arkitekturer för FSL/ZSL till metoder för effektiv anpassning av dessa modeller.

Litteratur

• Finn, C. et al. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. arXiv:1703.03400.
• Koch, G. et al. (2015). Siamese Neural Networks for One-Shot Image Recognition. PDF.
• Vinyals, O. et al. (2016). Matching Networks for One Shot Learning. arXiv:1606.04080.
• Snell, J. et al. (2017). Prototypical Networks for Few-Shot Learning. arXiv:1703.05175.
• Sung, F. et al. (2018). Learning to Compare: Relation Network for Few-Shot Learning. arXiv:1711.06025.
• Chen, Y. et al. (2021). Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning. arXiv:2003.04390.
• Wang, Y. et al. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. arXiv:1904.05046.
• Xian, Y. et al. (2018). Zero-Shot Learning — A Comprehensive Evaluation of the State of the Art. arXiv:1707.00600.
• Verma, V. K. et al. (2018). Generalized Zero-Shot Learning via Synthesized Examples. arXiv:1712.03878.
• Radford, A. et al. (2021). Learning Transferable Visual Models from Natural Language Supervision. arXiv:2103.00020.
• Xian, Y. et al. (2019). Zero-Shot Learning via Simultaneous Generating and Learning. arXiv:1910.09446.
• Verma, V. K. et al. (2017). Zero-Shot Learning via Generative Adversarial Training of Class-Conditional Feature Vectors. arXiv:1712.00981.

Se även

• Stora språkmodeller