Least-to-most Prompting (ID)

Least-to-Most Prompting (LtM) — metode pengembangan prompt untuk large language model (LLM) yang memungkinkan penyelesaian tugas-tugas kompleks melalui dekomposisi menjadi tahapan-tahapan yang lebih sederhana, diikuti dengan penyelesaian sub-tugas tersebut secara berurutan. Pendekatan ini diusulkan pada tahun 2022 oleh sekelompok peneliti Google Brain yang dipimpin oleh Denny Zhou dan dipresentasikan pada konferensi ICLR 2023. Tujuan utama metode ini adalah mengatasi keterbatasan prompt Chain-of-Thought, yang kurang efektif dalam menangani tugas yang lebih kompleks daripada contoh-contoh yang ditunjukkan kepada model selama pelatihan prompt. Least-to-Most Prompting memungkinkan model untuk menggeneralisasi pada tugas dengan tingkat kesulitan lebih tinggi, sambil tetap dapat diinterpretasikan dan tanpa memerlukan pelatihan tambahan pada jaringan saraf. Nama metode ini dipinjam dari psikologi pendidikan, di mana "least to most prompting" berarti pemberian serangkaian petunjuk kepada siswa dengan tingkat bantuan yang semakin meningkat untuk menguasai keterampilan baru.

Deskripsi Metode

Metode Least-to-Most Prompting diimplementasikan dalam dua tahap, yang masing-masing diberikan kepada model bahasa itu sendiri melalui prompt yang dirancang dengan cermat (tanpa fine-tuning tambahan pada model):

1. Dekomposisi tugas. Pada tahap pertama, model menerima instruksi dan contoh-contoh yang mendemonstrasikan cara memecah tugas kompleks menjadi serangkaian sub-tugas yang lebih sederhana. Kemudian model dihadapkan pada pertanyaan kompleks yang spesifik, dan model harus menghasilkan daftar pertanyaan antara yang lebih sederhana. Misalnya, untuk tugas yang kompleks, model dapat secara mandiri merumuskan sub-pertanyaan klarifikasi yang menangani bagian dari masalah asal.
2. Penyelesaian sub-tugas secara berurutan. Pada tahap kedua, model menyelesaikan sub-tugas yang diperoleh satu per satu — dari yang paling sederhana hingga yang paling kompleks. Untuk itu, setiap sub-tugas didahului oleh konteks: contoh-contoh penyelesaian sub-masalah serupa, serta (jika tersedia) sub-tugas sebelumnya yang telah diselesaikan beserta jawabannya. Setelah menyelesaikan sub-tugas pertama, model menambahkan jawabannya ke teks prompt dan menerima sub-tugas berikutnya, menggunakan solusi sebelumnya sebagai konteks. Ini berlanjut hingga sub-tugas terakhir yang paling kompleks diselesaikan, yang secara langsung menjawab pertanyaan awal.

Contoh: soal teks awal dipecah menjadi dua tahap menggunakan metode Least-to-Most. Pertama, model merumuskan dan menyelesaikan pertanyaan antara ("How long does each trip take?" — "Berapa lama waktu yang dibutuhkan untuk satu perjalanan?"), mendapatkan jawaban "each trip takes 5 minutes" ("setiap perjalanan memakan waktu 5 menit"). Jawaban ini dimasukkan ke dalam prompt baru bersama sub-tugas berikutnya — pertanyaan awal ("How many times can she slide before it closes?" — "Berapa kali dia sempat meluncur sebelum wahana ditutup?"). Menggunakan hasil sebelumnya, model menghitung jawaban akhir (dalam contoh ini: 3 kali).

Secara prinsip, Least-to-Most Prompting berbeda dari pendekatan chain-of-thought standar karena memecah proses penalaran menjadi beberapa permintaan terpisah dengan akumulasi pengetahuan, alih-alih menghasilkan satu "rantai pemikiran" yang berkelanjutan dalam satu respons. Pendekatan bertahap dan rekursif ini memungkinkan model untuk secara bertahap beralih ke aspek-aspek tugas yang semakin kompleks, secara efektif mengatasi masalah easy-to-hard generalization (ketika model dihadapkan pada tugas yang lebih sulit daripada yang ada dalam contoh pelatihan). Perlu dicatat bahwa kedua tahap metode LtM diimplementasikan melalui few-shot prompting (demonstrasi beberapa contoh) dan tidak memerlukan pelatihan tambahan atau fine-tuning model pada data baru. Selain itu, metode ini kompatibel dengan teknik-teknik lain untuk meningkatkan penalaran LLM; misalnya, dapat dikombinasikan dengan chain-of-thought dan self-consistency (pengambilan sampel beberapa solusi secara berurutan) saat menghasilkan jawaban, meskipun hal ini tidak diwajibkan.

Hasil Eksperimental dan Penerapan

Dalam makalah yang mengusulkan Least-to-Most Prompting, ditunjukkan bahwa metode ini melampaui metode prompting standar (termasuk chain-of-thought) pada sejumlah tugas yang memerlukan penalaran multi-langkah yang kompleks. Metode ini berhasil mendemonstrasikan keunggulannya dalam tiga kategori tugas utama:

• Tugas simbolis dan algoritmik. Misalnya, dalam tugas konkatenasi huruf terakhir dari kata-kata (mengambil huruf terakhir dari setiap kata dalam daftar secara berurutan dan menyusunnya menjadi kata baru), metode LtM secara signifikan meningkatkan kemampuan model untuk menggeneralisasi pada urutan kata yang lebih panjang. Tanpa pelatihan khusus, model GPT-3 (code-davinci-002) dengan prompt chain-of-thought hanya menyelesaikan tugas semacam itu dengan benar sekitar 32% dari waktu ketika daftar kata memiliki panjang 12, sementara dengan Least-to-Most Prompting akurasi mencapai ~74%. Untuk daftar pendek (panjang yang ditemukan dalam contoh), kedua strategi bekerja dengan baik, namun seiring bertambahnya panjang urutan, kualitas chain-of-thought turun tajam, sementara Least-to-Most memberikan penurunan yang lebih mulus dan mempertahankan akurasi tinggi. Ini menunjukkan kemampuan metode LtM untuk menggeneralisasi logika penyelesaian pada data masukan yang lebih kompleks (lebih panjang).
• Generalisasi komposisional (compositional generalization). Kategori tugas ini mencakup, misalnya, penerjemahan instruksi teks menjadi urutan tindakan (seperti dalam benchmark SCAN, yang mengharuskan pelaksanaan perintah seperti "jump twice and run" dan menggeneralisasi pada kombinasi yang lebih panjang). Metode LtM memungkinkan LLM untuk berhasil menyelesaikan bahkan varian paling kompleks dari tugas-tugas tersebut. Secara khusus, model GPT-3 dengan prompt LtM mencapai akurasi 99% pada semua varian pembagian data dalam dataset SCAN (termasuk length split yang paling sulit, di mana urutan pengujian lebih panjang dari urutan pelatihan), hanya menggunakan 14 contoh dalam prompt. Sebagai perbandingan, pendekatan chain-of-thought standar hanya memberikan sekitar 16% akurasi dalam kondisi serupa. Terlebih lagi, hal ini dicapai tanpa melatih model pada data pelatihan, sementara solusi terbaik sebelumnya untuk SCAN mengandalkan arsitektur neuro-simbolis khusus atau metode augmentasi data yang memerlukan penggunaan seluruh set pelatihan yang terdiri dari >15.000 contoh. Dengan demikian, Least-to-Most Prompting menunjukkan kemampuan komposisional generalisasi yang belum pernah ada sebelumnya untuk model tanpa fine-tuning.
• Soal cerita matematika. Metode ini diuji pada soal-soal aritmetika dalam teks, misalnya dari dataset GSM8K (soal cerita kompleks tentang penjumlahan/pengurangan dan logika), serta pada sejumlah pertanyaan dari set DROP (yang menguji kemampuan mengekstrak dan menghitung informasi numerik dalam teks). Di sini pun, Least-to-Most Prompting menunjukkan peningkatan akurasi dibandingkan dengan chain-of-thought. Untuk GSM8K menggunakan model code-davinci-002, akurasi jawaban meningkat dari ~60,9% menjadi ~62,4%. Pada sub-tugas DROP, keuntungannya bahkan lebih terlihat: misalnya, pada sebagian pertanyaan tentang fakta "sepak bola", akurasi meningkat dari ~59,6% (chain-of-thought) menjadi ~73,4% dengan penerapan LtM. Meskipun peningkatan kualitas pada soal matematika kurang dramatis dibandingkan pada SCAN, para penulis mencatat hal penting: hampir setiap soal GSM8K dapat diselesaikan dengan benar jika model menerima dekomposisi masalah yang tepat. Ini menunjukkan bahwa kunci keberhasilan penyelesaian adalah pertanyaan-pertanyaan antara yang dirumuskan dengan baik; pendekatan LtM memang diarahkan pada pembuatan pertanyaan-pertanyaan tersebut secara otomatis dan penyelesaiannya secara berurutan.

Secara keseluruhan, eksperimen mengonfirmasi bahwa Least-to-Most Prompting secara signifikan melampaui baik few-shot prompting naif tanpa penalaran maupun metode chain-of-thought pada banyak jenis tugas yang memerlukan inferensi multi-langkah. Metode ini memungkinkan LLM untuk menyelesaikan masalah yang lebih kompleks daripada yang awalnya diperkenalkan kepada model melalui contoh-contoh, memperluas batas-batas in-context learning (pembelajaran on-the-fly melalui prompt).

Keterbatasan dan Arah Pengembangan Selanjutnya

Meskipun berhasil, metode Least-to-Most Prompting memiliki sejumlah keterbatasan. Pertama-tama, berbagai jenis tugas memerlukan pendekatan dekomposisi yang berbeda. Template prompt yang secara efektif memecah soal matematika mungkin sama sekali tidak cocok untuk tugas logika atau tugas akal sehat sehari-hari. Misalnya, prompt yang mengajarkan model untuk membagi soal cerita matematika menjadi beberapa langkah ternyata tidak berguna untuk pertanyaan dari domain akal sehat seperti "Apakah Aristoteles menggunakan laptop?" — untuk tugas semacam itu diperlukan strategi pembagian yang sama sekali berbeda. Oleh karena itu, untuk setiap domain atau jenis masalah baru, perlu menyiapkan kembali contoh-contoh pembagian tugas menjadi sub-tugas dan membentuk prompt yang sesuai yang menggambarkan struktur penyelesaian. Dengan kata lain, pengetahuan tentang cara mendekomposisi tugas dengan benar tidak digeneralisasikan secara universal oleh LLM itu sendiri; pengetahuan tersebut perlu diberikan melalui contoh-contoh untuk kelas tugas tertentu.

Lebih jauh lagi, efektivitas LtM sangat bergantung pada seberapa baik tugas dapat dipecah menjadi sub-tujuan yang mandiri. Jika model gagal merumuskan langkah-langkah antara dengan benar, atau jika beberapa sub-tugas yang diperlukan terlewatkan, solusi akhirnya pun akan salah. Namun demikian, para pengembang sendiri mencatat bahwa dalam banyak kasus kegagalan dapat diubah menjadi keberhasilan jika seseorang secara manual memberikan dekomposisi yang tepat — dalam hal itu, model dengan mudah menyelesaikan setiap bagian dan berhasil menggabungkan jawaban-jawabannya. Hal ini menegaskan potensi pengembangan lebih lanjut dari pendekatan ini: peningkatan kualitas pembuatan sub-tugas secara otomatis dan, kemungkinan, pelatihan model secara interaktif. Dalam kesimpulan, para penulis LtM menyarankan bahwa masa depan metode prompting mungkin mengarah pada dialog dua arah yang sesungguhnya dengan model, di mana model menerima umpan balik segera dan koreksi atas langkah-langkah antaranya. Metode Least-to-Most Prompting dapat dipandang sebagai langkah dalam arah ini, menunjukkan bahwa interaksi berurutan dengan model melalui pemecahan dan penyelesaian tugas secara bertahap memungkinkan untuk secara signifikan memperluas kemampuan berpikirnya tanpa pelatihan pada data baru.

Tautan

• Artikel asli "Least-to-Most Prompting Enables Complex Reasoning in Large Language Models" di arXiv
• Versi HTML dari artikel asli
• Apa itu Least-to-Most Prompting? — artikel AI Safety Info
• Ulasan metode di Medium
• Ulasan komprehensif metode-metode prompt engineering di arXiv

Daftar Pustaka

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.