Automatic Prompt Engineer (APE) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Automatic Prompt Engineer (APE) — adalah metodologi pembuatan dan optimasi otomatis instruksi teks (prompt) untuk mengendalikan perilaku large language model (LLM). Pendekatan ini diusulkan pada tahun 2022 oleh sekelompok peneliti yang dipimpin oleh Yongchao Zhou[1].

Alih-alih pemilihan dan peningkatan prompt secara manual secara iteratif, APE memformalisasi rekayasa prompt sebagai masalah optimasi. Dalam kerangka masalah ini, prompt diperlakukan sebagai sebuah "program" dalam bahasa alami yang perlu disintesis untuk memaksimalkan fungsi kualitas tertentu (misalnya, akurasi atau keandalan jawaban model)[2].

Konsep dan Metode Utama

Metode APE menggunakan dua language model secara bersamaan: model generator dan model target. Prosesnya merupakan siklus pencarian dan seleksi iteratif (search-and-select):

  1. Pembuatan kandidat. Model generator menerima beberapa contoh pasangan "masukan-keluaran" untuk tugas target dan berdasarkan contoh tersebut menghasilkan sekumpulan prompt kandidat yang mungkin dapat menghasilkan hasil tersebut.
  2. Evaluasi. Setiap prompt kandidat yang dihasilkan diteruskan ke LLM target. Model target menjalankan instruksi pada kumpulan data pengujian baru, dan jawabannya dievaluasi berdasarkan metrik yang telah ditentukan sebelumnya (misalnya, akurasi, recall, F1-score).
  3. Seleksi. Prompt yang menunjukkan hasil terbaik berdasarkan evaluasi dipilih.
  4. Iterasi (opsional). Siklus dapat diulang. Model generator menerima perintah untuk menyempurnakan prompt terbaik yang ditemukan dengan membuat variasinya, kemudian proses evaluasi dan seleksi diulang untuk mencapai efisiensi maksimum[1].

Pendekatan ini memungkinkan reproduksi otomatis proses pemilihan prompt manual, menggunakan LLM untuk menghasilkan hipotesis (prompt) dan mengevaluasinya.

Metodologi Utama

Otomatisasi rekayasa prompt diwujudkan dengan menggunakan berbagai pendekatan algoritmik.

Otomatisasi Berbasis LLM

Ini adalah metode APE klasik yang dijelaskan di atas, di mana satu LLM digunakan untuk menghasilkan dan mengevaluasi prompt untuk LLM lain (atau yang sama). Pendekatan ini terbukti sangat efektif untuk prompt teks diskret[1].

Metode Evolusioner

Algoritma genetika atau beam search digunakan untuk membuat dan menyeleksi prompt, terutama yang panjang dan kompleks. Misalnya, framework APEX (Automatic Engineering of Long Prompts) menerapkan algoritma evolusioner untuk secara bertahap "menumbuhkan" dan menyempurnakan instruksi yang kompleks[3].

Metode Gradien (Soft Prompts)

Pendekatan ini bekerja dengan prompt kontinu atau lunak (soft prompts), yang merupakan vektor yang dapat dilatih (embedding), bukan instruksi teks. Vektor-vektor ini dioptimalkan menggunakan gradient descent secara langsung pada tugas target. Termasuk di sini adalah teknik seperti Prompt Tuning dan Prefix-Tuning.

Reinforcement Learning

Dalam paradigma ini, LLM berperan sebagai agen yang menghasilkan prompt (tindakan), dan lingkungan mengembalikan nilai kualitas jawaban (reward). Tujuannya adalah memaksimalkan reward kumulatif dengan menemukan strategi optimal pembuatan prompt melalui metode Reinforcement Learning (RL)[2].

Hasil dan Temuan

Eksperimen dalam penelitian APE orisinal menunjukkan bahwa instruksi yang dihasilkan secara otomatis dalam sebagian besar kasus melampaui kualitas prompt yang ditulis oleh manusia.

  • Dalam pengujian pada 24 tugas pemrosesan bahasa alami (NLP), APE menghasilkan prompt yang lebih efektif dibandingkan buatan manusia dalam 19 dari 24 kasus[1].
  • APE mampu secara otomatis "menemukan" formulasi yang lebih efektif untuk prompting bergaya Chain-of-Thought. Alih-alih frasa standar «Let's think step by step» (Mari berpikir langkah demi langkah), APE menghasilkan instruksi yang lebih terperinci dan efektif: «Let's work this out in a step by step way to be sure we have the right answer» (Mari kita kerjakan ini langkah demi langkah untuk memastikan kita mendapatkan jawaban yang benar). Formulasi ini meningkatkan akurasi penyelesaian soal matematika pada dataset seperti MultiArith dan GSM8K[1].

Penerapan dan Keunggulan

Penerapan

  • Peningkatan few-shot learning: Pemilihan otomatis contoh dan instruksi yang optimal.
  • Peningkatan keandalan model: APE dapat dikonfigurasi untuk mencari prompt yang meminimalkan "halusinasi" dan memaksimalkan kebenaran jawaban pada benchmark seperti TruthfulQA.
  • Otomatisasi pengembangan: Mempercepat pembuatan chatbot, sistem ekstraksi informasi, dan aplikasi LLM lainnya[4].

Keunggulan

  • Skalabilitas: Kemampuan untuk secara otomatis menghasilkan dan mengevaluasi ratusan hingga ribuan prompt tanpa keterlibatan manusia.
  • Adaptabilitas: Kemudahan penyesuaian LLM pada domain baru yang sangat terspesialisasi.
  • Penghematan sumber daya: Pengurangan signifikan waktu dan upaya yang dihabiskan untuk pemilihan prompt secara manual.

Perkembangan dan Pendekatan Terkait

Konsep APE terus berkembang. Sistem yang sepenuhnya otonom telah muncul, seperti APET (Automatic Prompt Engineering Toolbox), yang memungkinkan LLM (misalnya, GPT-4) untuk secara mandiri menerapkan strategi prompting yang kompleks (Expert Prompting, Chain of Thought, Tree of Thoughts) dan secara dinamis menyempurnakan instruksi tanpa intervensi eksternal[5].

APE merupakan bagian dari tren yang lebih luas menuju otomatisasi interaksi dengan LLM, yang juga mencakup:

  • AutoPrompt: Metode awal yang menggunakan pencarian gradien untuk menemukan token-token "pemicu" tertentu.
  • OPRO (Optimization by PROmpting): Pendekatan dari DeepMind yang serupa dengan APE, juga menggunakan LLM untuk optimasi prompt.

Pranala

  • Situs resmi proyek Automatic Prompt Engineer (APE)
  • Artikel ilmiah «Large Language Models Are Human-Level Prompt Engineers»
  • AutoPrompt (2020). AutoPrompt – Official GitHub Repository. GitHub.

Literatur

  • Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
  • Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
  • Hsieh, C.-J. et al. (2024). Automatic Engineering of Long Prompts. Findings of ACL 2024. 2024.findings-acl.634.
  • Hsieh, C.-J. et al. (2023). Automatic Long Prompt Engineering. arXiv:2311.10117.
  • Shin, T. et al. (2020). AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv:2010.15980.
  • Yang, C. et al. (2023). Large Language Models as Optimizers (OPRO). arXiv:2309.03409.
  • Liu, Y. et al. (2024). Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers. arXiv:2405.10276.
  • Kepel, D.; Valogianni, K. (2024). Autonomous Prompt Engineering in Large Language Models (APET). arXiv:2407.11000.
  • Yang, C. et al. (2024). Optimizing Instructions and Demonstrations for Multi-Stage LM Programs. arXiv:2406.11695.
  • Hsieh, C.-J. et al. (2024). APEX (code repository and results). PDF.

Catatan

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Zhou, Y. et al. «Large Language Models Are Human-Level Prompt Engineers». arXiv:2211.01910, 2022. [1]
  2. ↑ 2.0 2.1 Li, W. et al. «A Survey of Automatic Prompt Engineering: An Optimization Perspective». arXiv:2502.11560, 2025. [2]
  3. ↑ Hsieh, C.-J. et al. «Automatic Engineering of Long Prompts». Findings of the Association for Computational Linguistics: ACL 2024. [3]
  4. ↑ Fernandez-garcia, A. et al. «Automatic Prompt Engineering for Foundation Models: A Survey». MDPI Electronics, 2025. [4]
  5. ↑ Kepel, D. & Valogianni, K. «Autonomous Prompt Engineering in Large Language Models». arXiv:2407.11000, 2024. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Automatic_Prompt_Engineer_(APE)_(ID)&oldid=489"