Meta Prompting (ID)

Meta-prompting (Ingg. meta-prompting) — adalah metode prompt-engineering tingkat lanjut di mana large language model (LLM) digunakan untuk membuat, mengoreksi, dan mengoptimalkan instruksinya sendiri (prompt). Berbeda dengan pendekatan tradisional di mana manusia menulis instruksi terperinci secara manual, meta-prompting berfokus pada pendefinisian struktur penyelesaian tugas dan peran yang harus dijalankan oleh model. Dengan kata lain, metode ini mendeskripsikan bagaimana menyelesaikan suatu tugas, bukan apa yang harus dilakukan dalam setiap kasus tertentu.

Pendekatan ini memungkinkan LLM secara mandiri mendekomposisi masalah kompleks, memperhalus permintaan, dan secara iteratif meningkatkan responsnya, yang membuka jalan bagi penciptaan sistem kecerdasan buatan yang lebih otonom dan adaptif.

Metode dan Pendekatan Utama

Istilah «meta-prompting» mulai tersebar dalam literatur ilmiah pada akhir 2023 – awal 2024, ketika beberapa kelompok penelitian memperkenalkan pendekatan serupa dalam pengelolaan LLM.

Metode «skenario pembentuk» (Scaffolding)

Salah satu pendekatan utama diusulkan oleh para peneliti dari Universitas Stanford dan OpenAI. Dalam skema yang disebut scaffolding ini, satu model bahasa yang sama (GPT-4 dalam eksperimen) memainkan beberapa peran sekaligus:

• Konduktor (Conductor): Menerima meta-petunjuk tingkat tinggi dan membagi tugas kompleks menjadi sejumlah subtugas yang lebih sederhana.
• Pakar (Experts): «Konduktor» menginisialisasi beberapa instansi «pakar»-nya sendiri, yang masing-masing menyelesaikan subtugas terpisah berdasarkan instruksi yang ditetapkan secara khusus.
• Integrasi: «Konduktor» mengoordinasikan pekerjaan para «pakar» dan mengintegrasikan respons mereka ke dalam solusi akhir.

Pendekatan orkestrasi semacam ini memungkinkan peningkatan efisiensi penyelesaian tugas kompleks yang signifikan. Misalnya, dalam eksperimen, meta-prompting melampaui permintaan satu langkah biasa sebesar 17,1% dan metode canggih lainnya sebesar 15–17% pada kumpulan tugas yang memerlukan penalaran multikomponen (misalnya, permainan «24», teka-teki catur). Yang penting, metode ini bersifat task-agnostic dan bekerja dalam mode zero-shot, tanpa memerlukan contoh spesifik untuk setiap tugas baru.

Pendekatan Teoretis dan Template Struktural

Secara paralel, sekelompok peneliti dari Universitas Tsinghua mengusulkan konsep meta-prompting mereka sendiri, mengalihkan fokus dari substansi tugas ke sintaksis dan bentuk representasi data. Berdasarkan model kategorikal, mereka menunjukkan bahwa deskripsi abstrak dari struktur masalah memungkinkan model membangun penalaran yang mendekati kedalaman penalaran manusia dan secara efektif mendekomposisi pertanyaan kompleks menjadi langkah-langkah yang lebih sederhana.

Konsep Terkait

Gagasan meta-prompting juga muncul dalam metode-metode lain:

• Automatic Prompt Engineer (APE): Metode di mana LLM secara otomatis menghasilkan dan memilih instruksi yang efektif untuk dirinya sendiri, mengevaluasinya berdasarkan kualitas hasil yang diperoleh.
• Self-Refine: Pendekatan di mana model secara iteratif menyempurnakan responsnya, menganalisis secara kritis versi sebelumnya dan menghasilkan koreksi berdasarkan kritik tersebut.

Penerapan dan Keunggulan

Meta-prompting menunjukkan efektivitas tinggi dalam tugas-tugas yang memerlukan penalaran multikomponen yang kompleks, seperti pembuktian matematis, pemrograman, dan penyelesaian teka-teki langkah demi langkah. Keunggulan utama metode ini:

• Efisiensi token: Berkonsentrasi pada struktur umum tugas alih-alih mencantumkan banyak contoh sehingga mengurangi volume prompt. Meta-petunjuk merupakan template universal yang memerlukan lebih sedikit token.
• Stabilitas dan ketidakberpihakan: Metode ini menghindari ketergantungan pada contoh spesifik, sehingga membuat model kurang rentan terhadap bias ke arah hal-hal khusus dari sampel pelatihan.
• Adaptasi dinamis: Berbeda dengan prompt statis, meta-prompting memungkinkan penyempurnaan secara iteratif. Model dapat selama proses penyelesaian memperhalus instruksi, meminta informasi yang kurang, dan mengoreksi strategi.
• Generalisasi ke tugas baru: Instruksi tingkat tinggi lebih mudah diterapkan pada tugas-tugas baru yang belum pernah dijumpai sebelumnya, sehingga menjadikan meta-prompting sebagai bentuk pendekatan zero-shot yang lebih disempurnakan.

Keterbatasan dan Risiko

• Biaya dan kompleksitas komputasi: Metode ini memerlukan banyak panggilan ke model untuk satu tugas, yang meningkatkan biaya waktu dan permintaan API. Implementasi saat ini bekerja secara berurutan, sehingga menyulitkan paralelisasi.
• Ketergantungan pada kemampuan model: Efektivitas meta-prompting sangat bergantung pada kualitas LLM dasar. Penelitian menunjukkan bahwa GPT-3.5 hampir tidak mendapat manfaat dari metode ini, sementara untuk GPT-4 dan model-model yang lebih baru, manfaatnya meningkat secara signifikan.
• Keterbatasan fundamental LLM: Meta-prompting bukanlah obat mujarab. Jika suatu tugas berada di luar batas pengetahuan model dasar, bahkan meta-petunjuk yang dirumuskan dengan sempurna pun tidak menjamin hasil yang benar. Dalam kasus seperti itu, diperlukan fine-tuning atau integrasi dengan alat eksternal (misalnya, pencarian internet atau interpreter kode).

Tautan

• Contoh meta-prompting di OpenAI Cookbook
• Deskripsi metode dalam Prompt Engineering Guide

Literatur

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.