Few-shot dan Zero-shot
Pembelajaran dengan sedikit contoh (Few-shot Learning, FSL) dan pembelajaran tanpa contoh (Zero-shot Learning, ZSL) — adalah paradigma Machine Learning yang ditujukan untuk mengatasi masalah kekurangan data berlabel. Keduanya memungkinkan model untuk belajar dan menggeneralisasi pengetahuan berdasarkan informasi yang sangat terbatas, yang merupakan hal krusial bagi penerapan kecerdasan buatan dalam skenario nyata di mana pengumpulan dataset besar tidak mungkin atau tidak praktis dilakukan.
Masalah Kekurangan Data yang Meluas
Model deep learning modern menunjukkan hasil yang mengesankan, namun efektivitasnya umumnya sangat bergantung pada volume data berlabel yang sangat besar. Pengumpulan dan anotasi data semacam itu merupakan proses yang mahal, memakan waktu, dan seringkali tidak memungkinkan. Masalah ini, yang dikenal sebagai "kelaparan informasi", sangat terasa di bidang-bidang seperti:
- Diagnosis penyakit langka.
- Produksi industri yang terspesialisasi.
- Robotika dan interaksi dengan objek-objek baru.
- Kategorisasi produk atau topik baru yang terus bermunculan.
FSL dan ZSL menawarkan solusi dengan menggeser fokus dari "big data" ke "smart data", dengan menekankan transfer dan generalisasi pengetahuan yang efisien.
Pembelajaran dengan Sedikit Contoh (Few-shot Learning)
Few-shot Learning (FSL) — adalah paradigma di mana model belajar mengenali kelas-kelas baru berdasarkan sejumlah kecil contoh berlabel (biasanya 1 hingga 5), yang disebut support set (himpunan pendukung).
Ide Pokok
Ide utama FSL bukan sekadar mempelajari fitur untuk kelas-kelas tertentu, melainkan mempelajari proses pembelajaran itu sendiri (learning to learn). Model harus mampu beradaptasi dengan cepat terhadap tugas-tugas baru yang belum pernah ditemui sebelumnya, menggunakan jumlah contoh yang minimal. Hal ini dicapai melalui pemanfaatan pengetahuan yang diperoleh sebelumnya dan strategi adaptasi.
Pendekatan Utama dalam FSL
- Meta-learning ("Belajar untuk Belajar"): Ini adalah paradigma dominan dalam FSL. Model dilatih pada berbagai tugas yang beragam agar dapat beradaptasi secara efisien terhadap tugas-tugas baru.
- Berbasis metrik: Model (misalnya, siamese networks atau prototypical networks) belajar membangun ruang embedding di mana jarak antar vektor mencerminkan kedekatan semantik. Klasifikasi contoh baru dilakukan dengan membandingkan embedding-nya dengan embedding dari support set.
- Berbasis optimasi: Model (misalnya, MAML) belajar menemukan inisialisasi parameter yang memungkinkan fine-tuning cepat (dalam beberapa langkah gradient descent) untuk tugas baru.
- In-Context Learning: Dengan munculnya Large Language Model (LLM), pendekatan yang populer adalah menyediakan contoh dari support set langsung di dalam prompt. Model melakukan "meta-learning implisit" selama inferensi, beradaptasi dengan tugas tanpa memperbarui bobot.
Pendekatan Lanjutan dalam FSL
- One-shot Learning: Ini adalah kasus khusus FSL di mana jumlah contoh untuk setiap kelas adalah satu (K=1 dalam notasi "N-way K-shot"). Contoh arsitektur klasik adalah Matching Networks dan Siamese Networks.
- Metode generatif dan augmentasi data: FSL secara aktif memanfaatkan model generatif (GAN, VAE, diffusion models) untuk mensintesis contoh data tambahan. Hal ini memungkinkan perluasan support set secara artifisial dan peningkatan kualitas klasifikasi, terutama untuk kelas yang langka atau tidak biasa.
- Transductive FSL: Berbeda dengan pendekatan standar (induktif), di sini model saat beradaptasi mempertimbangkan tidak hanya support set berlabel, tetapi juga keseluruhan kumpulan contoh uji (query) yang tidak berlabel. Hal ini memungkinkan penangkapan struktur data dalam query, misalnya dengan teknik label propagation, serta peningkatan ketahanan klasifikasi.
Pembelajaran Tanpa Contoh (Zero-shot Learning)
Zero-shot Learning (ZSL) — adalah paradigma di mana model mampu mengenali kelas-kelas yang tidak satu pun contohnya pernah dilihat selama tahap pelatihan.
Ide Pokok
Hal ini dicapai melalui pemanfaatan informasi semantik tambahan yang mendeskripsikan baik kelas yang pernah dilihat maupun yang belum pernah dilihat. Model mempelajari pemetaan dari ruang fitur input (misalnya, gambar) ke ruang semantik bersama.
Mekanisme Informasi Semantik
- Atribut semantik: Kelas-kelas dideskripsikan menggunakan sekumpulan atribut yang didefinisikan oleh manusia (misalnya, untuk kelas "zebra": [memiliki_garis, memiliki_kuku, adalah_mamalia]).
- Representasi vektor kata (Word Embeddings): Nama kelas atau deskripsi teks kelas diubah menjadi embedding menggunakan model bahasa yang telah dilatih sebelumnya (misalnya, Word2Vec, BERT).
- Prompting dalam LLM: Dengan munculnya model multimodal seperti CLIP, ZSL dapat dilakukan dengan membandingkan embedding gambar dengan embedding deskripsi teks kelas (misalnya, "foto seekor anjing", "foto seekor kucing").
Jenis-jenis ZSL: Tradisional, Umum, Induktif, dan Transduktif
- ZSL Tradisional: Pada tahap pengujian, model harus mengklasifikasikan contoh hanya dari kelas-kelas yang belum pernah dilihat.
- ZSL Umum (Generalized ZSL, GZSL): Skenario yang lebih realistis dan kompleks, di mana model harus mengklasifikasikan contoh baik dari kelas yang pernah dilihat maupun yang belum pernah dilihat. Hal ini menuntut model tidak hanya mengenali hal baru, tetapi juga membedakannya dari yang sudah dikenal, sembari melawan bias terhadap kelas yang pernah dilihat.
- ZSL Induktif: Formulasi standar di mana model hanya dilatih pada data dan deskripsi semantik dari kelas yang pernah dilihat, tanpa akses apa pun terhadap informasi tentang kelas yang belum pernah dilihat.
- ZSL Transduktif: Skema yang lebih canggih, di mana model selama pelatihan dapat menggunakan contoh-contoh tidak berlabel dari kelas yang belum pernah dilihat. Hal ini memungkinkan adaptasi ruang semantik lebih awal dan peningkatan kualitas akhir.
Pendekatan Generatif dalam ZSL
- Pembangkitan fitur kelas yang belum pernah dilihat: Untuk mengatasi masalah bias dalam GZSL, model generatif (VAE, GAN) banyak digunakan. Model tersebut mensintesis bukan gambar itu sendiri, melainkan vektor fitur (embedding) untuk kelas yang belum pernah dilihat berdasarkan deskripsi semantiknya. Hal ini memungkinkan penyeimbangan dataset untuk pelatihan klasifikator akhir.
Analisis Komparatif dan Sinergi
| Aspek | Pembelajaran dengan Sedikit Contoh (FSL) | Pembelajaran Tanpa Contoh (ZSL) |
|---|---|---|
| Ide pokok | Belajar beradaptasi dengan cepat terhadap kelas baru berdasarkan beberapa contoh. | Belajar mengenali kelas baru berdasarkan deskripsi semantiknya. |
| Kebutuhan data untuk tugas/kelas baru | Beberapa contoh berlabel (1–5) untuk setiap kelas baru. | Nol contoh berlabel; deskripsi semantik diperlukan. |
| Transfer pengetahuan | Mempelajari pengetahuan prosedural ("cara beradaptasi") atau ruang fitur yang baik. | Mempelajari relasi dan atribut semantik, transfer pengetahuan melalui ruang semantik bersama. |
| Kasus penggunaan umum | Prototipe cepat, personalisasi, pengenalan objek langka, robotika. | Penemuan spesies baru, kategorisasi topik yang muncul, penanganan jenis produk yang sepenuhnya baru. |
Nuansa Kunci dan Tren Terkini
- Perbedaan antara Zero-shot Learning dan Zero-shot Prompting: Penting untuk membedakan kedua konsep ini. ZSL adalah paradigma arsitektur Machine Learning yang memerlukan model khusus dan informasi semantik. Zero-shot Prompting adalah teknik prompt engineering terapan, di mana Large Language Model (misalnya, GPT-4) menyelesaikan tugas tanpa contoh dalam prompt, hanya mengandalkan pengetahuan internalnya sendiri.
- Peran pre-training berskala besar: Keberhasilan FSL dan ZSL modern sebagian besar disebabkan oleh model fondasi yang kuat (BERT, CLIP, GPT-4). Pre-training mereka pada korpus data yang sangat besar menciptakan embedding frontend yang universal dan kaya semantik, yang menjadi landasan yang sangat baik untuk adaptasi cepat dan inferensi semantik dalam kondisi kekurangan data.
FSL dan ZSL mewakili titik-titik berbeda pada spektrum efisiensi penggunaan data dan sering digunakan secara bersamaan. Misalnya, ZSL dapat digunakan untuk menginisialisasi representasi yang kemudian di-fine-tune menggunakan FSL ketika contoh pertama dari kelas baru mulai tersedia.
Lembaga Penelitian dan Kontributor Utama
Penelitian di bidang FSL dan ZSL secara aktif dilakukan baik di lingkungan akademis maupun di laboratorium industri.
- Universitas: Universitas Stanford, Universitas Peking, Universitas Nasional Singapura.
- Laboratorium industri: Google AI, Meta AI, OpenAI.
Dengan munculnya model fondasi yang kuat, fokus penelitian telah bergeser dari pengembangan arsitektur khusus untuk FSL/ZSL menuju metode adaptasi efisien dari model-model tersebut.
Literatur
- Finn, C. et al. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. arXiv:1703.03400.
- Koch, G. et al. (2015). Siamese Neural Networks for One-Shot Image Recognition. PDF.
- Vinyals, O. et al. (2016). Matching Networks for One Shot Learning. arXiv:1606.04080.
- Snell, J. et al. (2017). Prototypical Networks for Few-Shot Learning. arXiv:1703.05175.
- Sung, F. et al. (2018). Learning to Compare: Relation Network for Few-Shot Learning. arXiv:1711.06025.
- Chen, Y. et al. (2021). Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning. arXiv:2003.04390.
- Wang, Y. et al. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. arXiv:1904.05046.
- Xian, Y. et al. (2018). Zero-Shot Learning — A Comprehensive Evaluation of the State of the Art. arXiv:1707.00600.
- Verma, V. K. et al. (2018). Generalized Zero-Shot Learning via Synthesized Examples. arXiv:1712.03878.
- Radford, A. et al. (2021). Learning Transferable Visual Models from Natural Language Supervision. arXiv:2103.00020.
- Xian, Y. et al. (2019). Zero-Shot Learning via Simultaneous Generating and Learning. arXiv:1910.09446.
- Verma, V. K. et al. (2017). Zero-Shot Learning via Generative Adversarial Training of Class-Conditional Feature Vectors. arXiv:1712.00981.
Lihat Juga
- Model Bahasa Besar