Generated Knowledge Prompting (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, prompting dengan generasi pengetahuan) — adalah metode prompt engineering yang dikembangkan untuk meningkatkan kemampuan large language model (LLM) dalam menyelesaikan tugas yang memerlukan penalaran dan ketergantungan pada pengetahuan faktual[1]. Ide utama GKP adalah memaksa model untuk menyelesaikan tugas dalam dua tahap: pertama, menghasilkan sekumpulan fakta yang relevan mengenai topik permintaan, kemudian, berdasarkan pengetahuan tersebut, merumuskan jawaban akhir[2].

Pendekatan ini memungkinkan LLM untuk mengaktifkan dan memanfaatkan pengetahuan internalnya yang terparametrisasi, yang secara implisit telah dikodekan dalam miliaran parameter, namun sering kali tidak dapat diakses melalui permintaan standar. GKP mengatasi masalah ketika model "tidak tahu apa yang mereka ketahui", dan membantu mereka menghubungkan fakta-fakta yang tersebar untuk membangun kesimpulan yang tepat[2].

Sejarah dan Asal-usul

Metode Generated Knowledge Prompting pertama kali diperkenalkan dalam artikel ilmiah berjudul "Generated Knowledge Prompting for Commonsense Reasoning", yang disusun oleh sekelompok peneliti di bawah pimpinan Jiacheng Liu. Versi awal karya ini diterbitkan di arsip pracetak arXiv pada 15 Oktober 2021, dan versi finalnya dipresentasikan pada konferensi bergengsi Association for Computational Linguistics (ACL) pada tahun 2022[1].

GKP menjadi salah satu metode pertama dan paling signifikan yang mengusulkan perubahan paradigma interaksi dengan LLM, menggeser fokus dari generasi jawaban seketika menuju proses kognitif dua tahap.

Mekanisme Kerja Dua Tahap

Mekanisme GKP membagi tugas yang kompleks menjadi dua subproses yang lebih sederhana: ekstraksi informasi yang relevan dan penggunaannya selanjutnya untuk penarikan kesimpulan.

Tahap 1: Generasi Pengetahuan (Knowledge Generation)

Pada tahap pertama, digunakan language model ("generator pengetahuan") untuk menghasilkan beberapa (M) fragmen pengetahuan yang relevan dengan pertanyaan asal. Proses ini diinisiasi menggunakan teknik few-shot prompting, di mana model diberikan beberapa contoh untuk pembelajaran "dalam konteks".

Prompt untuk generasi pengetahuan memiliki struktur yang terdefinisi dengan ketat:

  1. Instruksi: Petunjuk umum, misalnya: "Hasilkan beberapa fakta mengenai topik ini".
  2. Contoh demonstrasi: Beberapa pasang "pertanyaan-pengetahuan" yang ditulis oleh manusia. Contoh-contoh ini memainkan peran yang sangat penting, karena melatih model tentang jenis informasi apa yang dianggap berguna. Dalam hal ini, pengetahuan yang dihasilkan tidak boleh mengandung jawaban itu sendiri secara langsung.
  3. Pertanyaan baru: Permintaan asli pengguna, yang untuk itu perlu dihasilkan pengetahuan.

Untuk satu pertanyaan, dihasilkan M varian pengetahuan (dalam karya aslinya M=20), guna memperoleh kumpulan fakta yang beragam untuk tahap kedua[1].

Tahap 2: Integrasi Pengetahuan dan Pembentukan Jawaban (Knowledge Integration)

Pada tahap kedua, digunakan language model lain ("model untuk inferensi"), yang dapat bekerja baik dalam mode zero-shot maupun yang telah di-fine-tuning untuk tugas tertentu.

Proses integrasi berlangsung sebagai berikut:

  1. Augmentasi permintaan: Pertanyaan asal (q) digabungkan secara berurutan dengan setiap fragmen pengetahuan yang dihasilkan (km). Hasilnya adalah M+1 permintaan yang diaugmentasi (termasuk pertanyaan asli tanpa pengetahuan).
  2. Evaluasi dan pemilihan jawaban: Model inferensi mengevaluasi probabilitas bersyarat setiap kemungkinan varian jawaban (a) untuk setiap permintaan yang diaugmentasi. Jawaban final adalah varian yang mendapatkan skor probabilitas tertinggi pada setidaknya satu permintaan.

Mekanisme dua tahap ini memperkenalkan semacam proses metakognitif: "Sebelum menjawab, pikirkan dan rumuskan apa yang kamu ketahui tentang topik ini".

Efektivitas dan Hasil Pengujian

Efektivitas GKP telah diuji pada sejumlah benchmark akademik untuk mengevaluasi penalaran berbasis akal sehat. Metode ini menunjukkan peningkatan kinerja yang signifikan dibandingkan dengan pendekatan dasar.

Ringkasan hasil GKP pada benchmark utama (data dari Liu et al., 2022)[1]
Nama benchmark Tugas Akurasi model dasar (%) Akurasi dengan GKP (%) Peningkatan (%)
NumerSense Akal sehat numerik 64.05 72.47 +8.42
CommonsenseQA Akal sehat umum 39.89 47.26 +7.37
CommonsenseQA 2.0 Akal sehat umum 70.20 73.03 +2.83
QASC Akal sehat ilmiah 76.74 80.33 +3.59

Peningkatan terbesar terlihat dalam mode zero-shot, yang membuktikan kemampuan GKP untuk mengaktifkan pengetahuan internal model secara efektif tanpa fine-tuning tambahan.

Analisis Perbandingan dengan Teknik Lain

GKP vs. Chain-of-Thought (CoT)

Perbedaan utama antara GKP dan Chain-of-Thought (CoT) terletak pada jenis informasi yang dihasilkan:

  • GKP menghasilkan pengetahuan deklaratif — fakta, definisi, pernyataan tentang dunia ("apa"). Ia menyediakan konteks tambahan bagi model.
  • CoT menghasilkan pengetahuan prosedural — langkah-langkah logis, perhitungan, urutan inferensi ("bagaimana"). Ia menyediakan jalur penalaran bagi model.

Dengan demikian, GKP menyediakan basis faktual, sedangkan CoT menyediakan struktur logis inferensi[3].

GKP vs. Retrieval-Augmented Generation (RAG)

Berbeda dengan GKP, metode Retrieval-Augmented Generation (RAG) menggunakan sumber pengetahuan eksternal yang non-parametrik.

  • GKP menggunakan pengetahuan internal yang telah dipelajari model selama pelatihan. Ia memaksa model untuk "mengingat" apa yang sudah diketahuinya.
  • RAG menggunakan pengetahuan eksternal dari basis data, dokumen, atau internet. Ia memaksa model untuk "mencari" informasi di dunia luar.

Pilihan antara GKP dan RAG bergantung pada tugas: GKP efektif jika pengetahuan yang diperlukan bersifat umum dan terwakili dengan baik dalam data pelatihan, sedangkan RAG sangat diperlukan untuk data yang sangat khusus, terkini, atau bersifat proprietary.

Keterbatasan dan Risiko

  • Masalah "halusinasi": Risiko utama GKP adalah kemungkinan dihasilkannya fakta yang salah. Jika pada tahap pertama model menghasilkan pernyataan yang keliru, pada tahap kedua pernyataan tersebut akan dianggap sebagai kebenaran, yang akan menghasilkan jawaban yang meyakinkan namun sepenuhnya salah.
  • Biaya komputasi: Metode ini memerlukan beberapa kali pemanggilan LLM (M+1 pemanggilan untuk satu permintaan), yang secara signifikan meningkatkan waktu respons (latency) dan biaya penggunaan dibandingkan dengan prompting standar.
  • Kompleksitas pengembangan prompt: Efektivitas GKP sangat bergantung pada kualitas contoh few-shot, yang pembuatannya merupakan tugas yang tidak sepele dan memakan waktu.

Evolusi dan Pendekatan Hibrida

Gagasan-gagasan yang mendasari GKP menjadi katalis bagi pengembangan teknik prompting yang lebih canggih dan andal, seperti:

  • Hint-before-Solving (HSP): Penerus langsung GKP dari segi gagasan, yang menerapkan prinsip dua tahap ("pengetahuan dulu, baru tindakan") bukan pada jawaban sederhana, melainkan pada proses penalaran yang lebih kompleks dalam CoT[4].
  • Verify-and-Edit (VE): Kerangka kerja hibrida yang merupakan jawaban atas masalah "halusinasi" dalam GKP dan CoT. VE pertama-tama menghasilkan rantai penalaran (seperti CoT), kemudian secara otomatis memverifikasi fakta-fakta kunci menggunakan pencarian eksternal (seperti RAG) dan mengedit penalaran sebelum menghasilkan jawaban final[5].

Tautan

  • Generated Knowledge Prompting dalam Prompt Engineering Guide

Daftar Pustaka

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

Catatan

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(ID)&oldid=2588"