Few-shot ve Zero-shot
Az örnekle öğrenme (Few-shot Learning, FSL) ve örneksiz öğrenme (Zero-shot Learning, ZSL) — etiketli veri yetersizliği sorununu çözmeye yönelik makine öğrenmesi paradigmalarıdır. Bu paradigmalar, modellerin son derece sınırlı miktarda bilgiye dayanarak öğrenmesini ve bilgiyi genellemesini sağlar; bu durum, büyük veri kümelerinin toplanmasının imkânsız ya da pratik olmadığı gerçek dünya senaryolarında yapay zekanın uygulanması açısından kritik öneme sahiptir.
Veri Yetersizliğinin Yaygın Sorunu
Modern derin öğrenme modelleri etkileyici sonuçlar ortaya koymaktadır; ancak bunların etkinliği genellikle doğrudan büyük miktarda etiketli veriye bağlıdır. Bu tür verilerin toplanması ve etiketlenmesi pahalı, emek yoğun ve çoğu zaman imkânsız bir süreçtir. "Bilgi açlığı" olarak bilinen bu sorun özellikle şu alanlarda keskin biçimde hissedilmektedir:
- Nadir hastalıkların teşhisi.
- Özel endüstriyel üretim.
- Robotik ve yeni nesnelerle etkileşim.
- Sürekli ortaya çıkan yeni ürünlerin veya konuların kategorize edilmesi.
FSL ve ZSL, odağı "büyük veri"den "akıllı veri"ye kaydırarak bilginin verimli aktarımına ve genellenmesine odaklanarak bir çözüm sunmaktadır.
Few-shot Learning - Az Örnekle Öğrenme
Few-shot Learning (FSL) — modelin, destek kümesi (support set) olarak adlandırılan çok az sayıda etiketli örneğe (genellikle 1 ila 5) dayanarak yeni sınıfları tanımayı öğrendiği bir paradigmadır.
Temel Fikir
FSL'nin temel fikri, yalnızca belirli sınıflara ait özellikleri öğrenmek değil, öğrenme sürecini öğrenmektir (learning to learn). Model, minimum sayıda örnek kullanarak yeni ve daha önce hiç görmediği görevlere hızla uyum sağlamalıdır. Bu, önceden edinilmiş bilgiler ve uyum stratejileri aracılığıyla gerçekleştirilir.
FSL'deki Temel Yaklaşımlar
- Meta-öğrenme ("Öğrenmeyi Öğrenme"): FSL'de baskın paradigmadır. Model, yeni görevlere verimli biçimde uyum sağlamayı öğrenmek amacıyla çok çeşitli görevler üzerinde eğitilir.
- Metrik tabanlı: Modeller (örneğin Siamese veya prototipik ağlar), vektörler arasındaki mesafenin anlamsal yakınlığı yansıttığı bir embedding uzayı oluşturmayı öğrenir. Yeni bir örneğin sınıflandırılması, o örneğin embedding'inin destek kümesindeki embedding'lerle karşılaştırılmasıyla gerçekleşir.
- Optimizasyon tabanlı: Modeller (örneğin MAML), yeni bir göreve hızla (birkaç gradyan inişi adımıyla) ince ayar yapılmasına olanak tanıyan parametre başlangıç değerleri bulmayı öğrenir.
- Bağlam İçi Öğrenme (In-Context Learning): Büyük dil modellerinin (LLM) ortaya çıkmasıyla birlikte, destek kümesindeki örneklerin doğrudan prompt içinde modele sunulduğu bir yaklaşım popüler hale gelmiştir. Model, ağırlıklarını güncellemeden çıkarım sırasında göreve uyum sağlayarak "örtük meta-öğrenme" gerçekleştirir.
FSL'deki Gelişmiş Yaklaşımlar
- One-shot Learning: Her sınıf için örnek sayısının bire eşit olduğu ("N-way K-shot" notasyonunda K=1) FSL'nin özel bir durumudur. Klasik mimari örnekleri arasında Matching Networks ve Siamese Networks sayılabilir.
- Üretici Yöntemler ve Veri Artırma: FSL, ek veri örnekleri sentezlemek için üretici modelleri (GAN, VAE, difüzyon modelleri) yoğun biçimde kullanır. Bu yaklaşım, destek kümesini yapay olarak genişletmeye ve özellikle nadir ya da alışılmadık sınıflar için sınıflandırma kalitesini artırmaya olanak tanır.
- Tümevarımsız (Transductive) FSL: Standart (tümevarımlı) yaklaşımdan farklı olarak, bu yöntemde model uyum aşamasında yalnızca etiketli destek kümesini değil, tüm etiketsiz test örneklerini (sorguları) de hesaba katar. Bu sayede, örneğin etiket yayma (label propagation) gibi tekniklerle sorgulardaki veri yapısı yakalanabilir ve sınıflandırmanın sağlamlığı artırılabilir.
Zero-shot Learning - Örneksiz Öğrenme
Zero-shot Learning (ZSL) — modelin, eğitim aşamasında hiç görmediği sınıflara ait örnekleri tanıyabildiği bir paradigmadır.
Temel Fikir
Bu durum, hem görülen hem de görülmeyen sınıfları tanımlayan yardımcı anlamsal bilgilerin kullanılmasıyla sağlanır. Model, girdi özellik uzayından (örneğin görüntülerden) ortak bir anlamsal uzaya bir eşleme öğrenir.
Anlamsal Bilgi Mekanizmaları
- Anlamsal Nitelikler: Sınıflar, insan tarafından tanımlanmış nitelikler kümesiyle açıklanır (örneğin "zebra" sınıfı için: [çizgili, toynaklı, memeli]).
- Sözcük Vektörü Temsilleri (Word Embeddings): Sınıf adları veya metin açıklamaları, önceden eğitilmiş dil modelleri (örneğin Word2Vec, BERT) aracılığıyla embedding'lere dönüştürülür.
- LLM'lerde Prompting: CLIP gibi çok modlu modellerin ortaya çıkmasıyla ZSL, bir görüntünün embedding'ini sınıfların metin açıklamalarının embedding'leriyle (örneğin "bir köpeğin fotoğrafı", "bir kedinin fotoğrafı") karşılaştırarak gerçekleştirilebilir.
ZSL Türleri: Geleneksel, Genelleştirilmiş, Tümevarımlı ve Tümevarımsız
- Geleneksel ZSL: Test aşamasında model, yalnızca görülmemiş sınıflara ait örnekleri sınıflandırmalıdır.
- Genelleştirilmiş ZSL (Generalized ZSL, GZSL): Daha gerçekçi ve zorlu bir senaryo olup modelin hem görülmüş hem de görülmemiş sınıflara ait örnekleri sınıflandırması gerekmektedir. Bu durum, modelin yalnızca yeni olanı tanımasını değil, aynı zamanda onu tanıdıktan ayırt etmesini ve görülmüş sınıflara yönelik önyargıyla mücadele etmesini zorunlu kılar.
- Tümevarımlı ZSL: Standart bir yaklaşım olup model, yalnızca görülmüş sınıflara ait veriler ve anlamsal açıklamalar üzerinde, görülmemiş sınıflara ilişkin herhangi bir bilgiye erişim olmaksızın eğitilir.
- Tümevarımsız ZSL: Daha gelişmiş bir yaklaşım olup model, eğitim sürecinde görülmemiş sınıflara ait etiketsiz örnekleri kullanabilir. Bu sayede anlamsal uzay önceden uyarlanabilir ve nihai kalite artırılabilir.
ZSL'deki Üretici Yaklaşımlar
- Görülmemiş Sınıfların Özelliklerinin Üretimi: GZSL'deki önyargı sorununu çözmek amacıyla üretici modeller (VAE, GAN) yaygın biçimde kullanılmaktadır. Bu modeller, görüntülerin kendisini değil, anlamsal açıklamalarına dayanarak görülmemiş sınıfların özellik vektörlerini (embedding'lerini) sentezler. Bu yaklaşım, nihai sınıflandırıcının eğitimi için veri kümesinin dengelenmesine olanak tanır.
Karşılaştırmalı Analiz ve Sinerji
| Boyut | Az Örnekle Öğrenme (FSL) | Örneksiz Öğrenme (ZSL) |
|---|---|---|
| Temel Fikir | Birkaç örneğe dayanarak yeni sınıflara hızla uyum sağlamayı öğrenmek. | Anlamsal açıklamalarına dayanarak yeni sınıfları tanımayı öğrenmek. |
| Yeni Görev/Sınıf için Veri Gereksinimleri | Her yeni sınıf için birkaç etiketli örnek (1-5). | Sıfır etiketli örnek; anlamsal açıklama gereklidir. |
| Bilgi Transferi | Yordamsal bilginin ("nasıl uyum sağlanır") veya iyi bir özellik uzayının öğrenilmesi. | Anlamsal ilişkilerin ve niteliklerin öğrenilmesi, ortak anlamsal uzay aracılığıyla bilgi transferi. |
| Tipik Kullanım Durumları | Hızlı prototipleme, kişiselleştirme, nadir nesnelerin tanınması, robotik. | Yeni türlerin keşfi, ortaya çıkan konuların kategorize edilmesi, tamamen yeni ürün türlerinin işlenmesi. |
Temel Nüanslar ve Güncel Eğilimler
- Zero-shot Learning ile Zero-shot Prompting Arasındaki Fark: Bu kavramları birbirinden ayırt etmek önemlidir. ZSL, özel bir model ve anlamsal bilgi gerektiren bir makine öğrenmesi mimari paradigmasıdır. Zero-shot Prompting ise büyük bir dil modelinin (örneğin GPT-4) prompt içinde herhangi bir örnek olmaksızın, yalnızca kendi iç bilgisine dayanarak görevi çözdüğü uygulamalı bir prompt mühendisliği tekniğidir.
- Büyük Ölçekli Ön Eğitimin Rolü: FSL ve ZSL'deki çağdaş başarı, büyük ölçüde güçlü temel modellerden (BERT, CLIP, GPT-4) kaynaklanmaktadır. Bu modellerin devasa veri kümelerinde ön eğitimi, veri yetersizliği koşullarında hızlı uyum ve anlamsal çıkarım için mükemmel bir temel oluşturan evrensel ve anlam bakımından zengin bir embedding ön ucu sağlar.
FSL ve ZSL, veri kullanım verimliliği spektrumunda farklı noktaları temsil etmekte olup sıklıkla birlikte kullanılmaktadır. Örneğin ZSL, temsilleri başlatmak amacıyla kullanılabilir; ardından yeni bir sınıfa ait ilk örnekler belirdiğinde bu temsiller FSL yardımıyla ince ayara tabi tutulabilir.
Temel Araştırma Kurumları ve Katkıda Bulunanlar
FSL ve ZSL alanındaki araştırmalar hem akademik çevrelerde hem de endüstriyel laboratuvarlarda aktif olarak sürdürülmektedir.
- Üniversiteler: Stanford Üniversitesi, Pekin Üniversitesi, Singapur Ulusal Üniversitesi.
- Endüstriyel Laboratuvarlar: Google AI, Meta AI, OpenAI.
Güçlü temel modellerin ortaya çıkmasıyla birlikte araştırmaların odağı, FSL/ZSL için özel mimariler geliştirmekten bu modellerin verimli uyum yöntemlerine kaymıştır.
Ayrıca bakınız
- Büyük Dil Modelleri
Literatür
- Finn, C. et al. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. arXiv:1703.03400.
- Koch, G. et al. (2015). Siamese Neural Networks for One-Shot Image Recognition. PDF.
- Vinyals, O. et al. (2016). Matching Networks for One Shot Learning. arXiv:1606.04080.
- Snell, J. et al. (2017). Prototypical Networks for Few-Shot Learning. arXiv:1703.05175.
- Sung, F. et al. (2018). Learning to Compare: Relation Network for Few-Shot Learning. arXiv:1711.06025.
- Chen, Y. et al. (2021). Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning. arXiv:2003.04390.
- Wang, Y. et al. (2020). Generalizing from a Few Examples: A Survey on Few-Shot Learning. arXiv:1904.05046.
- Xian, Y. et al. (2018). Zero-Shot Learning — A Comprehensive Evaluation of the State of the Art. arXiv:1707.00600.
- Verma, V. K. et al. (2018). Generalized Zero-Shot Learning via Synthesized Examples. arXiv:1712.03878.
- Radford, A. et al. (2021). Learning Transferable Visual Models from Natural Language Supervision. arXiv:2103.00020.
- Xian, Y. et al. (2019). Zero-Shot Learning via Simultaneous Generating and Learning. arXiv:1910.09446.
- Verma, V. K. et al. (2017). Zero-Shot Learning via Generative Adversarial Training of Class-Conditional Feature Vectors. arXiv:1712.00981.