In-Context Learning (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Pembelajaran dalam konteks (Inggris: In-Context Learning, ICL) — adalah kemampuan mendasar dari model bahasa besar (LLM) untuk mempelajari tugas-tugas baru "secara langsung", hanya menggunakan contoh-contoh (demonstrasi) yang disediakan dalam konteks (prompt) permintaan. Ciri utamanya adalah bahwa proses adaptasi ini terjadi tanpa pembaruan bobot (parameter) model, yaitu tanpa fine-tuning tradisional[1][2].

Mekanisme ini memungkinkan model menunjukkan fleksibilitas yang luar biasa, menyelesaikan tugas-tugas yang tidak secara khusus dilatihkan pada mereka. ICL telah menjadi salah satu terobosan kunci yang menjadikan model bahasa besar begitu kuat dan serbaguna[3].

Mekanisme Kerja

Pemahaman tepat tentang cara kerja ICL tetap menjadi area penelitian yang aktif, namun ada beberapa teori terkemuka yang menjelaskan fenomena ini.

Transformer sebagai Meta-Optimizer

Salah satu teori populer menyatakan bahwa arsitektur Transformer selama pra-pelatihan belajar mengimplementasikan algoritma pembelajaran dalam forward passes-nya. Ketika model menerima prompt berisi contoh-contoh, ia secara implisit melakukan semacam optimisasi untuk menyelesaikan tugas yang diberikan, menyesuaikan keadaan internalnya (aktivasi), bukan bobotnya[4].

Inferensi Bayesian

Teori lain memandang ICL sebagai bentuk inferensi Bayesian. Model yang telah dilatih sebelumnya pada sejumlah besar data memiliki representasi prior atas berbagai konsep. Contoh-contoh dalam konteks berfungsi sebagai bukti yang memungkinkan model memperhalus distribusi posterior atas konsep-konsep laten. Dengan kata lain, contoh-contoh membantu model "memahami" tugas mana dari ribuan tugas yang dikenalnya yang perlu diselesaikan saat ini[5].

Jenis-Jenis In-Context Learning

Berdasarkan jumlah contoh yang diberikan, ICL dibagi menjadi tiga jenis utama.

  • Few-shot Learning (pembelajaran dengan beberapa contoh): Ini adalah pendekatan yang paling umum dan seimbang. Model diberikan beberapa contoh demonstrasi (biasanya antara 2 hingga 10).

Contoh (klasifikasi sentimen): 

Текст: "Какой прекрасный день!"
Тональность: Позитивная

Текст: "Я ненавижу стоять в пробках."
Тональность: Негативная

Текст: "Этот фильм был довольно средним."
Тональность:

Jawaban yang diharapkan: 

Нейтральная
  • One-shot Learning (pembelajaran dengan satu contoh): Model hanya diberikan satu contoh. Ini sering kali cukup untuk menentukan format jawaban dan meningkatkan performa secara signifikan dibandingkan pendekatan zero-shot.
  • Zero-shot Learning (pembelajaran tanpa contoh): Model tidak diberikan contoh, hanya instruksi atau deskripsi tugas. Dalam hal ini, model sepenuhnya mengandalkan pengetahuan yang diperoleh selama pra-pelatihan.

Penerapan Praktis

Penerapan ICL yang tepat memungkinkan penyelesaian berbagai tugas tanpa pengembangan dan fine-tuning yang mahal.

  • Untuk tugas kreatif dan stilistik (pembuatan kode dalam gaya tertentu, penulisan teks dalam gaya penulis tertentu):
    • Direkomendasikan Few-shot Learning.
    • Contoh-contoh membantu model menangkap gaya, format, dan struktur keluaran yang diinginkan.
  • Untuk tugas sederhana dengan instruksi yang jelas (terjemahan, peringkasan, menjawab pertanyaan sederhana):
    • Seringkali Zero-shot Learning sudah cukup.
    • Model-model modern cukup baik menangani tugas-tugas tersebut jika tugas itu merupakan bagian dari pra-pelatihan mereka.
  • Untuk tugas di mana format keluaran penting (pembuatan JSON, ekstraksi entitas):
    • Direkomendasikan One-shot atau Few-shot Learning.
    • Bahkan satu contoh dapat secara jelas menentukan struktur jawaban yang diperlukan, mencegah kesalahan pemformatan.

Kelebihan dan Kekurangan

Perbandingan kelebihan dan kekurangan ICL
Kelebihan Kekurangan
  • Fleksibilitas dan kecepatan: Adaptasi instan terhadap tugas-tugas baru tanpa perlu pelatihan ulang.
  • Penghematan sumber daya: Tidak memerlukan pengumpulan data, pelabelan, dan daya komputasi untuk fine-tuning.
  • Aksesibilitas: Memungkinkan pengguna tanpa keahlian ML untuk menyesuaikan model menggunakan contoh teks sederhana.
  • Keterbatasan jendela konteks: Jumlah contoh dibatasi oleh panjang konteks maksimum model.
  • Sensitivitas terhadap contoh: Hasil sangat bergantung pada kualitas, urutan, dan format demonstrasi yang diberikan.
  • Biaya tinggi pada tahap inferensi: Prompt panjang dengan banyak contoh meningkatkan biaya dan waktu pembuatan.
  • Risiko keamanan: Mengirimkan informasi rahasia sebagai contoh bisa tidak aman.

Perbandingan dengan Paradigma Lain

ICL vs. Fine-tuning

Fine-tuning mengubah bobot model, "menanamkan" pengetahuan baru ke dalamnya. Ini menjadikan model seorang ahli di bidang yang sempit, tetapi mengurangi fleksibilitas umumnya. ICL, sebaliknya, tidak mengubah bobot dan lebih fleksibel, tetapi mungkin kalah dalam performa pada tugas-tugas yang sangat terspesialisasi yang memerlukan pengetahuan domain yang mendalam.

ICL vs. RAG (Retrieval-Augmented Generation)

Kedua metode memperluas konteks model, tetapi untuk tujuan yang berbeda:

  • ICL menggunakan contoh-contoh untuk mengajarkan model cara melaksanakan tugas (demonstrasi keterampilan).
  • RAG menggunakan informasi yang diambil untuk memberitahu model fakta-fakta yang diperlukan untuk menjawab (penyediaan pengetahuan).

Dalam praktiknya, ICL dan RAG sering dikombinasikan untuk mencapai hasil terbaik.

Daftar Pustaka

  • Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
  • Dai, D. et al. (2022). Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers. arXiv:2212.10559.
  • Panwar, M.; Ahuja, K.; Goyal, N. (2024). In-Context Learning through the Bayesian Prism. arXiv:2306.04891.
  • Müller, S. et al. (2021). Transformers Can Do Bayesian Inference. arXiv:2112.10510.
  • Garg, S. et al. (2022). What Can Transformers Learn In-Context? A Case Study of Simple Function Classes. arXiv:2208.01066.
  • Min, S. et al. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?. arXiv:2202.12837.
  • Wang, X. et al. (2023). Explaining and Finding Good Demonstrations for In-Context Learning. arXiv:2302.13971.
  • Xie, S. et al. (2024). A Survey on In-Context Learning. arXiv:2301.00234.
  • Yu, Z.; Ananiadou, S. (2024). How Do Large Language Models Learn In-Context? Query and Key Matrices of In-Context Heads Are Two Towers for Metric Learning. arXiv:2402.02872.
  • Wibisono, K. C.; Wang, Y. (2024). From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When. arXiv:2406.00131.
  • Chan, J. K. et al. (2022). Data Distributional Properties Drive Emergent In-Context Learning in Transformers. arXiv:2205.05055.
  • Hahn, M.; Goyal, N. (2023). A Theory of Emergent In-Context Learning as Implicit Structure Induction. arXiv:2303.07971.

Catatan

  1. ↑ What is In-Context Learning (ICL)? // Lakera.ai
  2. ↑ In-Context Learning (ICL) // Hopsworks.ai
  3. ↑ In-Context Learning, In Context // The Gradient
  4. ↑ Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers // arXiv, 2022.
  5. ↑ Understanding In-Context Learning // Stanford Human-Centered AI, 2023.
Retrieved from "https://systems-analysis.info/int/index.php?title=In-Context_Learning_(ID)&oldid=3205"