Few-shot at Zero-shot
Pag-aaral na may kaunting halimbawa (Few-shot Learning, FSL) at pag-aaral na walang halimbawa (Zero-shot Learning, ZSL) — ito ay mga paradigma ng machine learning na naglalayong lutasin ang problema ng kakulangan ng may-label na datos. Nagbibigay-daan ang mga ito sa mga modelo na matuto at mag-generalize ng kaalaman batay sa napaka-limitadong halaga ng impormasyon, na susi para sa paggamit ng artificial intelligence sa mga tunay na sitwasyon kung saan ang pangongolekta ng malalaking dataset ay imposible o hindi praktikal.
Ang Laganap na Problema ng Kakulangan ng Datos
Ang mga modernong modelo ng deep learning ay nagpapakita ng kahanga-hangang mga resulta, ngunit ang kanilang bisa, sa pangkalahatan, ay direktang nakasalalay sa napakalaking dami ng may-label na datos. Ang pangongolekta at pag-anotasyon ng naturang datos ay isang mahal, matrabahong, at kadalasang imposibleng proseso. Ang problemang ito, na kilala bilang "gutom sa impormasyon", ay lalong malinaw sa mga larangang tulad ng:
- Diagnosis ng mga bihirang sakit.
- Espesyalisadong industriyal na produksyon.
- Robotics at pakikipag-ugnayan sa mga bagong bagay.
- Kategorisasyon ng patuloy na lumalabas na mga bagong produkto o paksa.
Nag-aalok ang FSL at ZSL ng solusyon sa pamamagitan ng paglipat ng diin mula sa "malaking datos" patungo sa "matalinong datos", na nakatuon sa mahusay na paglilipat at pag-generalize ng kaalaman.
Pag-aaral na may Kaunting Halimbawa (Few-shot Learning)
Few-shot Learning (FSL) — ito ay isang paradigma kung saan natututo ang modelo na kilalanin ang mga bagong klase batay sa napakaliit na bilang ng may-label na halimbawa (karaniwang 1 hanggang 5), na tinatawag na support set (oporong hanay).
Pangunahing Ideya
Ang pangunahing ideya ng FSL — hindi lamang matuto ng mga katangian para sa mga partikular na klase, kundi matuto ng proseso ng pag-aaral (learning to learn). Ang modelo ay dapat na mabilis na mag-adapt sa mga bago, hindi pa nararanasang gawain, gamit ang pinakamaliit na bilang ng mga halimbawa. Ito ay nakamit sa pamamagitan ng paggamit ng mga nauna nang nakuhang kaalaman at mga estratehiya ng adaptation.
Mga Pangunahing Pamamaraan sa FSL
- Meta-learning («Pag-aaral ng Pag-aaral»): Ito ang nangingibabaw na paradigma sa FSL. Natututo ang modelo sa maraming iba't ibang gawain upang matuto na mabisang mag-adapt sa mga bago.
- Batay sa Metrika: Ang mga modelo (halimbawa, siamese o prototypical networks) ay natututo na bumuo ng espasyo ng embedding, kung saan ang distansya sa pagitan ng mga vector ay sumasalamin sa semantikong pagkakatulad. Ang pag-uuri ng bagong halimbawa ay nangyayari sa pamamagitan ng paghahambing ng embedding nito sa mga embedding mula sa support set.
- Batay sa Optimization: Ang mga modelo (halimbawa, MAML) ay natututo na hanapin ang naturang inisyalisasyon ng mga parameter na nagbibigay-daan sa mabilis na pag-fine-tune (sa ilang hakbang ng gradient descent) para sa bagong gawain.
- In-Context Learning: Sa pagdating ng malalaking language model (LLM), naging popular ang pamamaraan kung saan ang mga halimbawa mula sa support set ay ibinibigay sa modelo nang direkta sa prompt. Isinasagawa ng modelo ang «implicit na meta-learning» sa panahon ng inference, na ina-adapt ang sarili sa gawain nang walang pag-update ng mga timbang.
Mga Pinalawak na Pamamaraan sa FSL
- One-shot Learning: Ito ay isang espesyal na kaso ng FSL, kung saan ang bilang ng mga halimbawa para sa bawat klase ay katumbas ng isa (K=1 sa notasyong "N-way K-shot"). Ang mga klasikong halimbawa ng arkitektura — Matching Networks at Siamese Networks.
- Mga Generative na Pamamaraan at Augmentation ng Datos: Aktibong gumagamit ang FSL ng mga generative na modelo (GAN, VAE, diffusion models) para sa synthesis ng karagdagang mga halimbawa ng datos. Nagbibigay-daan ito na artipisyal na palawakin ang support set at mapabuti ang kalidad ng pag-uuri, lalo na para sa mga bihirang o hindi pangkaraniwang klase.
- Transductive FSL: Hindi tulad ng karaniwang (inductive) pamamaraan, dito ang modelo sa panahon ng adaptation ay isinasaalang-alang hindi lamang ang may-label na support set, kundi pati na rin ang kabuuan ng mga walang label na halimbawa ng pagsubok (mga query). Nagbibigay-daan ito na mahuli ang istraktura ng datos sa mga query, halimbawa, sa pamamagitan ng mga teknik ng label propagation, at mapataas ang katatagan ng pag-uuri.
Pag-aaral na Walang Halimbawa (Zero-shot Learning)
Zero-shot Learning (ZSL) — ito ay isang paradigma kung saan ang modelo ay kayang kilalanin ang mga klase, wala kahit isang halimbawa nito ang nakita nito sa yugto ng pagsasanay.
Pangunahing Ideya
Ito ay nakamit sa pamamagitan ng paggamit ng pantulong na semantikong impormasyon, na naglalarawan ng parehong nakita at hindi pa nakitang mga klase. Natututo ang modelo ng pagmamapa mula sa espasyo ng mga input na katangian (halimbawa, mga larawan) patungo sa isang karaniwang semantikong espasyo.
Mga Mekanismo ng Semantikong Impormasyon
- Semantikong Katangian: Ang mga klase ay inilarawan ng isang hanay ng mga katangiang tinutukoy ng tao (halimbawa, para sa klase na «zebra»: [may_guhit, may_kuko, mammal]).
- Word Embeddings (Vector na Representasyon ng mga Salita): Ang mga pangalan ng klase o kanilang mga tekstwal na paglalarawan ay iko-convert sa mga embedding gamit ang mga pre-trained na language model (halimbawa, Word2Vec, BERT).
- Prompting sa LLM: Sa pagdating ng mga multimodal na modelo, tulad ng CLIP, maaaring isagawa ang ZSL sa pamamagitan ng paghahambing ng embedding ng larawan sa mga embedding ng mga tekstwal na paglalarawan ng klase (halimbawa, «litrato ng aso», «litrato ng pusa»).
Mga Uri ng ZSL: Tradisyonal, Pangkalahatang, Inductive at Transductive
- Tradisyonal na ZSL: Sa yugto ng pagsubok, kailangang i-classify ng modelo ang mga halimbawa mula lamang sa hindi pa nakitang mga klase.
- Pangkalahatang ZSL (Generalized ZSL, GZSL): Isang mas makatotohanan at mas kumplikadong sitwasyon, kung saan kailangang i-classify ng modelo ang mga halimbawa mula sa parehong nakita at hindi pa nakitang mga klase. Nangangailangan ito sa modelo na hindi lamang makilala ang bago, kundi makilala rin ito mula sa mga kilala na, na nakikipaglaban sa pagkiling patungo sa mga nakitang klase.
- Inductive ZSL: Ang karaniwang pagtatakda, kung saan ang modelo ay sinaanay lamang sa datos at semantikong paglalarawan ng mga nakitang klase, nang walang anumang access sa impormasyon tungkol sa hindi pa nakita.
- Transductive ZSL: Isang mas advanced na pamamaraan, kung saan ang modelo sa panahon ng pagsasanay ay maaaring gumamit ng mga walang label na halimbawa mula sa hindi pa nakitang mga klase. Nagbibigay-daan ito na maaga nang i-adapt ang semantikong espasyo at mapabuti ang panghuling kalidad.
Mga Generative na Pamamaraan sa ZSL
- Pagbuo ng mga Katangian ng Hindi Pa Nakitang mga Klase: Para sa paglutas ng problema ng pagkiling sa GZSL, malawakang ginagamit ang mga generative na modelo (VAE, GAN). Nag-synthesize ang mga ito hindi ng mga larawan mismo, kundi ng kanilang mga feature vector (mga embedding) para sa hindi pa nakitang mga klase batay sa kanilang mga semantikong paglalarawan. Nagbibigay-daan ito na balansehin ang dataset para sa pagsasanay ng panghuling classifier.
Paghahambing na Pagsusuri at Synergy
| Aspeto | Pag-aaral na may Kaunting Halimbawa (FSL) | Pag-aaral na Walang Halimbawa (ZSL) |
|---|---|---|
| Pangunahing Ideya | Matuto na mabilis na mag-adapt sa mga bagong klase batay sa ilang halimbawa. | Matuto na kilalanin ang mga bagong klase batay sa kanilang mga semantikong paglalarawan. |
| Mga Kinakailangan sa Datos para sa Bagong Gawain/Klase | Ilang may-label na halimbawa (1-5) para sa bawat bagong klase. | Zero na may-label na halimbawa; kinakailangan ang semantikong paglalarawan. |
| Paglilipat ng Kaalaman | Pag-aaral ng procedural na kaalaman («paano mag-adapt») o isang mahusay na espasyo ng katangian. | Pag-aaral ng mga semantikong relasyon at katangian, paglilipat ng kaalaman sa pamamagitan ng isang karaniwang semantikong espasyo. |
| Karaniwang Mga Kaso ng Paggamit | Mabilis na prototyping, personalisasyon, pagkilala sa mga bihirang bagay, robotics. | Pagtuklas ng mga bagong uri, kategorisasyon ng mga lumalabas na paksa, paghawak ng ganap na bagong uri ng mga produkto. |
Mga Pangunahing Nuansya at Mga Modernong Tendensya
- Pagkakaiba sa pagitan ng Zero-shot Learning at Zero-shot Prompting: Mahalaga na makilala ang mga konseptong ito. Ang ZSL — ito ay isang arkitekturang paradigma ng machine learning, na nangangailangan ng espesyal na modelo at semantikong impormasyon. Ang Zero-shot Prompting — ito ay isang praktikal na teknik ng prompt engineering, kung saan ang isang malaking language model (halimbawa, GPT-4) ay nalulutas ng gawain nang walang mga halimbawa sa prompt, na umaasa nang eksklusibo sa sarili nitong panloob na kaalaman.
- Papel ng Malawakang Pre-training: Ang modernong tagumpay ng FSL at ZSL ay malaking bahagi ay dahil sa mga makapangyarihang pundasyon na modelo (BERT, CLIP, GPT-4). Ang kanilang pre-training sa napakalaking dami ng datos ay lumilikha ng isang unibersal at semantikong-mayayamang embedding frontend, na nagsisilbing mahusay na pundasyon para sa mabilis na adaptation at semantikong inference sa kondisyon ng kakulangan ng datos.
Ang FSL at ZSL ay kumakatawan sa iba't ibang punto sa spectrum ng kahusayan ng paggamit ng datos at kadalasang ginagamit nang magkasama. Halimbawa, maaaring gamitin ang ZSL para sa inisyalisasyon ng mga representasyon, na pagkatapos ay fine-tuned gamit ang FSL, kapag lumabas ang mga unang halimbawa ng bagong klase.
Mga Pangunahing Institusyon ng Pananaliksik at mga Kalahok
Ang pananaliksik sa larangan ng FSL at ZSL ay aktibong isinasagawa kapwa sa mga akademikong lupon at sa mga industriyal na laboratoryo.
- Mga Unibersidad: Stanford University, Peking University, National University of Singapore.
- Mga Industriyal na Laboratoryo: Google AI, Meta AI, OpenAI.
Sa pagdating ng mga makapangyarihang pundasyon na modelo, ang pokus ng pananaliksik ay lumipat mula sa pagbuo ng mga espesyalisadong arkitektura para sa FSL/ZSL patungo sa mga pamamaraan ng mahusay na adaptation ng mga modelong ito.
Talasanggunian
- Finn, C. et al. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. arXiv:1703.03400.
- Koch, G. et al. (2015). Siamese Neural Networks for One-Shot Image Recognition. PDF.
- Vinyals, O. et al. (2016). Matching Networks for One Shot Learning. arXiv:1606.04080.
- Snell, J. et al. (2017). Prototypical Networks for Few-Shot Learning. arXiv:1703.05175.
- Sung, F. et al. (2018). Learning to Compare: Relation Network for Few-Shot Learning. arXiv:1711.06025.
- Chen, Y. et al. (2021). Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning. arXiv:2003.04390.
- Wang, Y. et al. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. arXiv:1904.05046.
- Xian, Y. et al. (2018). Zero-Shot Learning — A Comprehensive Evaluation of the State of the Art. arXiv:1707.00600.
- Verma, V. K. et al. (2018). Generalized Zero-Shot Learning via Synthesized Examples. arXiv:1712.03878.
- Radford, A. et al. (2021). Learning Transferable Visual Models from Natural Language Supervision. arXiv:2103.00020.
- Xian, Y. et al. (2019). Zero-Shot Learning via Simultaneous Generating and Learning. arXiv:1910.09446.
- Verma, V. K. et al. (2017). Zero-Shot Learning via Generative Adversarial Training of Class-Conditional Feature Vectors. arXiv:1712.00981.
Tingnan Din
- Malalaking Language Model