Least-to-most Prompting (TH)
Least-to-Most Prompting (LtM) — วิธีการพัฒนาพรอมต์สำหรับโมเดลภาษาขนาดใหญ่ (LLM) ที่ช่วยให้สามารถแก้ปัญหาที่ซับซ้อนได้โดยการแยกย่อยปัญหาออกเป็นขั้นตอนย่อยที่ง่ายกว่า แล้วแก้ปัญหาย่อยเหล่านั้นตามลำดับ[1] แนวทางนี้ถูกเสนอขึ้นในปี 2022 โดยกลุ่มนักวิจัยจาก Google Brain ภายใต้การนำของ Denny Zhou และนำเสนอในการประชุม ICLR 2023[2] เป้าหมายหลักของวิธีการนี้คือการเอาชนะข้อจำกัดของพรอมต์แบบ Chain-of-Thought ซึ่งรับมือกับงานที่ซับซ้อนกว่าตัวอย่างที่แสดงให้โมเดลเห็นในช่วงการเรียนรู้จากพรอมต์ได้ไม่ดีนัก[2] Least-to-Most Prompting ช่วยให้โมเดลสามารถสรุปความรู้ไปยังงานที่มีความซับซ้อนสูงขึ้นได้ ในขณะที่ยังคงความสามารถในการตีความและไม่จำเป็นต้องฝึกอบรม Neural Network เพิ่มเติม[2] ชื่อของวิธีการนี้มาจากจิตวิทยาการสอน ซึ่ง «least to most prompting» หมายถึงการให้พรอมต์แก่ผู้เรียนเป็นชุดโดยมีระดับความช่วยเหลือเพิ่มขึ้นเรื่อยๆ เพื่อให้เชี่ยวชาญทักษะใหม่[3]
คำอธิบายวิธีการ
วิธีการ Least-to-Most Prompting ดำเนินการในสองขั้นตอน[2] โดยแต่ละขั้นตอนถูกกำหนดให้กับโมเดลภาษาผ่านพรอมต์ที่ออกแบบอย่างพิถีพิถัน (โดยไม่ต้องทำการ fine-tuning โมเดลเพิ่มเติม):
- การแยกย่อยงาน ในขั้นตอนแรก โมเดลจะได้รับคำสั่งและตัวอย่างที่แสดงให้เห็นวิธีการแบ่งงานที่ซับซ้อนออกเป็นลำดับของงานย่อยที่ง่ายกว่า จากนั้นโมเดลจะถูกนำเสนอคำถามที่ซับซ้อนเฉพาะเจาะจง และต้องสร้างรายการคำถามกลางที่ง่ายกว่า[2] ตัวอย่างเช่น สำหรับงานที่ซับซ้อน โมเดลอาจกำหนดคำถามย่อยที่ชัดเจนซึ่งตอบสนองต่อส่วนหนึ่งของปัญหาเดิมได้ด้วยตัวเอง
- การแก้งานย่อยตามลำดับ ในขั้นตอนที่สอง โมเดลจะแก้งานย่อยที่ได้รับทีละงาน — จากงานที่ง่ายที่สุดไปสู่งานที่ซับซ้อนที่สุด สำหรับสิ่งนี้ งานย่อยแต่ละงานจะมีบริบทนำหน้า ได้แก่ ตัวอย่างการแก้ปัญหาย่อยที่คล้ายกัน รวมถึงงานย่อยก่อนหน้าที่ได้รับการแก้ไขแล้ว (หากมี) พร้อมคำตอบของงานเหล่านั้น[4] เมื่อแก้งานย่อยแรกแล้ว โมเดลจะเพิ่มคำตอบลงในข้อความพรอมต์และรับงานย่อยถัดไป โดยใช้การแก้ปัญหาก่อนหน้าเป็นบริบท[4] กระบวนการนี้ดำเนินต่อไปจนกว่างานย่อยสุดท้ายที่ซับซ้อนที่สุด ซึ่งตอบคำถามเดิมโดยตรง จะได้รับการแก้ไข
ตัวอย่าง: ปัญหาข้อความต้นฉบับถูกแบ่งออกเป็นสองขั้นตอนโดยใช้วิธี Least-to-Most โมเดลจะกำหนดและแก้คำถามกลางก่อน («How long does each trip take?» — «แต่ละการเดินทางใช้เวลานานแค่ไหน?») โดยได้คำตอบว่า «each trip takes 5 minutes» («แต่ละการเดินทางใช้เวลา 5 นาที») คำตอบนี้จะถูกรวมไว้ในพรอมต์ใหม่พร้อมกับงานย่อยถัดไป ซึ่งก็คือคำถามต้นฉบับ («How many times can she slide before it closes?» — «เธอสามารถเล่นได้กี่ครั้งก่อนที่สถานที่จะปิด?») โดยใช้ผลลัพธ์ก่อนหน้า โมเดลจึงคำนวณคำตอบสุดท้าย (ในตัวอย่างนี้: 3 ครั้ง)
โดยหลักการแล้ว Least-to-Most Prompting แตกต่างจากแนวทาง chain-of-thought มาตรฐานตรงที่มันแบ่งกระบวนการให้เหตุผลออกเป็นคำขอแยกต่างหากพร้อมการสะสมความรู้ แทนที่จะสร้าง «ห่วงโซ่ความคิด» ต่อเนื่องเพียงอันเดียวภายในการตอบสนองครั้งเดียว[3] แนวทางเป็นขั้นตอนและเรียกซ้ำนี้ช่วยให้โมเดลค่อยๆ ก้าวไปสู่แง่มุมที่ซับซ้อนมากขึ้นของงาน โดยขจัดปัญหาeasy-to-hard generalization (เมื่อโมเดลเผชิญกับงานที่ซับซ้อนกว่าตัวอย่างในการฝึก) ได้อย่างมีประสิทธิภาพ[2][3] โปรดทราบว่าทั้งสองขั้นตอนของวิธี LtM ถูกดำเนินการผ่าน few-shot prompting (การสาธิตตัวอย่างบางส่วน) และไม่จำเป็นต้องมีการฝึกอบรมโมเดลเพิ่มเติมหรือการ fine-tuning บนข้อมูลใหม่[2] นอกจากนี้ วิธีการนี้ยังเข้ากันได้กับเทคนิคอื่นๆ ในการปรับปรุงการให้เหตุผลของ LLM ตัวอย่างเช่น สามารถรวมกับ chain-of-thought และ self-consistency (การสุ่มตัวอย่างวิธีแก้ปัญหาหลายรายการตามลำดับ) ในการสร้างคำตอบได้ แม้ว่าสิ่งนี้จะไม่จำเป็นก็ตาม[1]
ผลการทดลองและการประยุกต์ใช้
ในงานวิจัยที่เสนอ Least-to-Most Prompting ได้แสดงให้เห็นว่าวิธีการนี้เหนือกว่าวิธีพรอมต์มาตรฐาน (รวมถึง chain-of-thought) ในงานหลายประเภทที่ต้องการการให้เหตุผลแบบหลายขั้นตอนที่ซับซ้อน[1] และแสดงให้เห็นถึงข้อดีของตนในสามประเภทงานหลัก:
- งานสัญลักษณ์และอัลกอริทึม ตัวอย่างเช่น ในงานการเชื่อมตัวอักษรสุดท้ายของคำ (การนำตัวอักษรสุดท้ายของแต่ละคำในรายการตามลำดับมาสร้างเป็นคำใหม่) วิธี LtM ช่วยเพิ่มความสามารถของโมเดลในการสรุปความรู้ไปยังลำดับคำที่ยาวขึ้นได้อย่างมีนัยสำคัญ โดยไม่มีการฝึกพิเศษ โมเดล GPT-3 (code-davinci-002) ที่ใช้พรอมต์ chain-of-thought แก้ปัญหาดังกล่าวได้ถูกต้องเพียงประมาณ 32% เมื่อรายการคำมีความยาว 12 คำ ในขณะที่การใช้ Least-to-Most Prompting ทำให้ความแม่นยำสูงถึง ~74%[1] สำหรับรายการสั้น (ความยาวที่พบในตัวอย่าง) ทั้งสองกลยุทธ์ทำงานได้ดี อย่างไรก็ตาม เมื่อความยาวลำดับเพิ่มขึ้น คุณภาพของ chain-of-thought ลดลงอย่างรวดเร็ว ในขณะที่ Least-to-Most ให้การลดลงที่ราบรื่นกว่าและรักษาความแม่นยำสูงไว้ได้[1] สิ่งนี้แสดงให้เห็นถึงความสามารถของวิธี LtM ในการสรุปตรรกะการแก้ปัญหาไปยังข้อมูลที่ซับซ้อน (ยาว) กว่า
- การสรุปเชิงองค์ประกอบ (compositional generalization) ประเภทงานนี้รวมถึงตัวอย่างเช่น การแปลคำสั่งข้อความเป็นลำดับการกระทำ (เช่นเดียวกับใน benchmark SCAN ที่ต้องการการดำเนินการตามคำสั่งเช่น «jump twice and run» และสรุปความรู้ไปยังชุดค่าผสมที่ยาวขึ้น)[4] วิธี LtM ช่วยให้ LLM แก้ปัญหาในรูปแบบที่ซับซ้อนที่สุดของงานดังกล่าวได้สำเร็จ โดยเฉพาะอย่างยิ่ง โมเดล GPT-3 ที่มีพรอมต์ LtM บรรลุความแม่นยำ 99% ในการแบ่งข้อมูลทุกรูปแบบในชุดข้อมูล SCAN (รวมถึง length split ที่ยากที่สุด ซึ่งลำดับทดสอบยาวกว่าลำดับฝึก) โดยใช้เพียง 14 ตัวอย่างในพรอมต์[2] เพื่อเปรียบเทียบ แนวทาง chain-of-thought มาตรฐานให้ความแม่นยำเพียงประมาณ 16% ในสภาวะที่คล้ายกัน[2] นอกจากนี้ สิ่งนี้ทำได้สำเร็จโดยไม่ต้องฝึกโมเดลบนข้อมูลฝึก ในขณะที่วิธีแก้ปัญหาที่ดีที่สุดก่อนหน้านี้สำหรับ SCAN อาศัยสถาปัตยกรรม neuro-symbolic พิเศษหรือวิธีการขยายข้อมูลที่ต้องใช้ชุดฝึกทั้งหมดกว่า 15,000 ตัวอย่าง[2][2] ดังนั้น Least-to-Most Prompting จึงแสดงให้เห็นความสามารถในการสรุปเชิงองค์ประกอบที่ไม่เคยมีมาก่อนสำหรับโมเดลที่ไม่ผ่านการ fine-tuning
- โจทย์คณิตศาสตร์เชิงข้อความ วิธีการนี้ถูกทดสอบกับโจทย์คณิตศาสตร์เชิงข้อความ เช่น จาก dataset GSM8K (โจทย์เชิงข้อความที่ซับซ้อนเกี่ยวกับการบวก/ลบและตรรกะ)[2] รวมถึงคำถามบางส่วนจากชุดข้อมูล DROP (ที่ทดสอบความสามารถในการดึงและนับข้อมูลตัวเลขในข้อความ)[2] ในที่นี้ด้วย Least-to-Most Prompting แสดงให้เห็นการปรับปรุงความแม่นยำเมื่อเปรียบเทียบกับ chain-of-thought ตัวอย่างเช่น สำหรับ GSM8K เมื่อใช้โมเดล code-davinci-002 ความแม่นยำของคำตอบเพิ่มขึ้นจาก ~60.9% เป็น ~62.4%[2] ในงานย่อยของ DROP ผลกำไรนั้นเด่นชัดกว่า: ตัวอย่างเช่น ในคำถามบางส่วนเกี่ยวกับข้อเท็จจริง «ฟุตบอล» ความแม่นยำเพิ่มขึ้นจาก ~59.6% (chain-of-thought) เป็น ~73.4% เมื่อใช้ LtM[2] แม้ว่าการเพิ่มคุณภาพในโจทย์คณิตศาสตร์จะน้อยกว่าใน SCAN แต่ผู้เขียนตั้งข้อสังเกตสำคัญว่า งาน GSM8K เกือบทุกงานสามารถแก้ได้อย่างถูกต้องหากโมเดลได้รับการแยกย่อยปัญหาที่ถูกต้อง[2] สิ่งนี้แสดงให้เห็นว่าปัจจัยสำคัญของความสำเร็จคือคำถามกลางที่กำหนดไว้อย่างดี และแนวทาง LtM มุ่งเน้นไปที่การสร้างคำถามดังกล่าวโดยอัตโนมัติและการแก้ปัญหาตามลำดับ
โดยสรุป การทดลองยืนยันว่า Least-to-Most Prompting เหนือกว่าอย่างมีนัยสำคัญทั้ง few-shot prompting แบบไร้เดียงสาที่ไม่มีการให้เหตุผล และวิธี chain-of-thought ในงานหลายประเภทที่ต้องการการอนุมานแบบหลายขั้นตอน[1] วิธีการนี้ช่วยให้ LLM แก้ปัญหาที่ซับซ้อนกว่าปัญหาที่โมเดลเคยได้รับการแนะนำผ่านตัวอย่างในตอนแรก ขยายขอบเขตของin-context learning (การเรียนรู้ทันทีผ่านพรอมต์)
ข้อจำกัดและทิศทางในอนาคต
แม้จะประสบความสำเร็จ วิธี Least-to-Most Prompting มีข้อจำกัดหลายประการ ประการแรก งานประเภทต่างๆ ต้องการแนวทางการแยกย่อยที่แตกต่างกัน เทมเพลตพรอมต์ที่แยกย่อยโจทย์คณิตศาสตร์ได้อย่างมีประสิทธิภาพอาจไม่เหมาะสมเลยสำหรับงานตรรกะหรืองานสามัญสำนึกทั่วไป[2] ตัวอย่างเช่น พรอมต์ที่สอนให้โมเดลแบ่งโจทย์คณิตศาสตร์เชิงข้อความออกเป็นขั้นตอน กลับไม่มีประโยชน์สำหรับคำถามสามัญสำนึกเช่น «อริสโตเติลใช้โน้ตบุ๊กหรือไม่?» — งานดังกล่าวต้องการกลยุทธ์การแบ่งที่แตกต่างออกไปโดยสิ้นเชิง[2] ดังนั้น สำหรับโดเมนหรือประเภทปัญหาใหม่ทุกประเภท จำเป็นต้องเลือกตัวอย่างการแยกย่อยงานใหม่และสร้างพรอมต์ที่สอดคล้องกันซึ่งแสดงให้เห็นโครงสร้างของการแก้ปัญหา[3] กล่าวอีกนัยหนึ่ง ความรู้เกี่ยวกับวิธีการแยกย่อยงานอย่างถูกต้องนั้นไม่ได้รับการสรุปโดย LLM อย่างสากล แต่จำเป็นต้องระบุผ่านตัวอย่างสำหรับประเภทงานเฉพาะ
ยิ่งกว่านั้น ประสิทธิภาพของ LtM ขึ้นอยู่กับความเหมาะสมในการแยกย่อยงานออกเป็นเป้าหมายย่อยที่เป็นอิสระเป็นอย่างมาก หากโมเดลไม่สามารถกำหนดขั้นตอนกลางได้อย่างถูกต้อง หรือหากงานย่อยที่จำเป็นบางอย่างถูกข้ามไป การแก้ปัญหาขั้นสุดท้ายก็จะผิดพลาดด้วย อย่างไรก็ตาม นักพัฒนาเองสังเกตว่าในหลายกรณี ความล้มเหลวสามารถเปลี่ยนเป็นความสำเร็จได้หากมนุษย์แนะนำการแยกย่อยที่ถูกต้องด้วยตนเอง — จากนั้นโมเดลก็จะแก้แต่ละส่วนได้อย่างง่ายดายและรวมคำตอบได้สำเร็จ[2] สิ่งนี้เน้นย้ำถึงศักยภาพของการพัฒนาแนวทางต่อไป ได้แก่ การปรับปรุงคุณภาพของการสร้างงานย่อยอัตโนมัติ และอาจรวมถึงการฝึกโมเดลแบบโต้ตอบด้วย ในส่วนสรุป ผู้เขียน LtM แนะว่าอนาคตของวิธีพรอมต์อาจอยู่ในทิศทางของการสนทนาสองทางอย่างเต็มรูปแบบกับโมเดล ซึ่งโมเดลจะได้รับข้อเสนอแนะทันทีและการแก้ไขขั้นตอนกลางของตน[2] วิธี Least-to-Most Prompting สามารถมองได้ว่าเป็นก้าวในทิศทางนี้ โดยแสดงให้เห็นว่าการโต้ตอบแบบต่อเนื่องกับโมเดลผ่านการแยกย่อยและการแก้ปัญหาเป็นขั้นตอน ช่วยให้สามารถขยายความสามารถในการคิดของโมเดลได้อย่างมีนัยสำคัญโดยไม่ต้องฝึกอบรมบนข้อมูลใหม่[1]
ลิงก์
- บทความต้นฉบับ «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» บน arXiv
- เวอร์ชัน HTML ของบทความต้นฉบับ
- Least-to-Most Prompting คืออะไร? — บทความจาก AI Safety Info
- ภาพรวมของวิธีการบน Medium
- ภาพรวมรวบรวมวิธีการ prompt engineering บน arXiv
เอกสารอ้างอิง
- Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
- Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
- Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
- Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
- Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
- Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
- Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
- Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
- Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
- Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.
หมายเหตุ
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». ar5iv.org. [1]
- ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». arXiv. [2]
- ↑ 3.0 3.1 3.2 3.3 «What is least-to-most prompting?». AI Safety Info. [3]
- ↑ 4.0 4.1 4.2 OXEN AI. «Arxiv Dives Toolformer: Language models can teach themselves to use tools». Medium. [4]