Meta Prompting (TH)

เมตา-พรอมต์ติง (อังกฤษ: meta-prompting) — คือวิธีการขั้นสูงของ prompt engineering ที่ใช้โมเดลภาษาขนาดใหญ่ (LLM) เพื่อสร้าง ปรับแก้ และปรับปรุงคำสั่ง (prompt) ของตัวเองให้เหมาะสมที่สุด ต่างจากแนวทางดั้งเดิมที่มนุษย์เขียนคำสั่งโดยละเอียดด้วยตนเอง เมตา-พรอมต์ติงมุ่งเน้นไปที่การกำหนดโครงสร้างของการแก้ปัญหาและบทบาทที่โมเดลต้องรับผิดชอบ กล่าวคือ วิธีนี้อธิบายวิธีการแก้ปัญหา ไม่ใช่สิ่งที่ต้องทำในแต่ละกรณีเฉพาะเจาะจง

แนวทางนี้ช่วยให้ LLM สามารถแยกย่อยปัญหาที่ซับซ้อน ปรับปรุงคำถาม และพัฒนาคำตอบอย่างวนซ้ำได้ด้วยตัวเอง ซึ่งเปิดทางสู่การสร้างระบบปัญญาประดิษฐ์ที่มีความเป็นอิสระและปรับตัวได้มากขึ้น

วิธีการและแนวทางหลัก

คำว่า «เมตา-พรอมต์ติง» เริ่มแพร่หลายในวรรณกรรมทางวิชาการในช่วงปลายปี 2023 ถึงต้นปี 2024 เมื่อกลุ่มนักวิจัยหลายกลุ่มนำเสนอแนวทางที่คล้ายกันในการจัดการ LLM

วิธี «กำหนดโครงร่าง» (Scaffolding)

แนวทางหลักแนวทางหนึ่งถูกเสนอโดยนักวิจัยจากมหาวิทยาลัย Stanford และ OpenAI ในโครงร่างนี้ที่เรียกว่า scaffolding โมเดลภาษาตัวเดียวกัน (GPT-4 ในการทดลอง) รับบทบาทหลายอย่างพร้อมกัน:

• ผู้อำนวยการ (Conductor): รับเมตา-พรอมต์ระดับสูงและแยกงานที่ซับซ้อนออกเป็นงานย่อยที่ง่ายกว่าหลายชิ้น
• ผู้เชี่ยวชาญ (Experts): «ผู้อำนวยการ» เรียกใช้อินสแตนซ์ «ผู้เชี่ยวชาญ» หลายตัว โดยแต่ละตัวแก้งานย่อยหนึ่งชิ้นตามคำสั่งที่กำหนดไว้เฉพาะ
• การรวมผล: «ผู้อำนวยการ» ประสานงานระหว่าง «ผู้เชี่ยวชาญ» และรวมคำตอบของพวกเขาเข้าเป็นผลลัพธ์สุดท้าย

แนวทางแบบออร์เคสเตรชันนี้ช่วยเพิ่มประสิทธิภาพในการแก้ปัญหาที่ซับซ้อนได้อย่างมีนัยสำคัญ ตัวอย่างเช่น ในการทดลอง เมตา-พรอมต์ติงทำผลงานได้ดีกว่าคำถามแบบขั้นตอนเดียวทั่วไปถึง 17.1% และดีกว่าวิธีการขั้นสูงอื่น ๆ อีก 15–17% บนชุดงานที่ต้องใช้การอนุมานหลายองค์ประกอบ (เช่น เกม «24» และปริศนาหมากรุก) ที่สำคัญ วิธีนี้มีลักษณะที่ไม่ขึ้นกับงานเฉพาะและทำงานในโหมด zero-shot โดยไม่ต้องการตัวอย่างเฉพาะสำหรับแต่ละงานใหม่

แนวทางเชิงทฤษฎีและแม่แบบโครงสร้าง

ในขณะเดียวกัน กลุ่มนักวิจัยจากมหาวิทยาลัย Tsinghua ได้เสนอแนวคิดเมตา-พรอมต์ติงของตนเอง โดยย้ายจุดเน้นจากเนื้อหาของงานไปสู่ไวยากรณ์และรูปแบบของการนำเสนอข้อมูล โดยอาศัยโมเดลเชิงหมวดหมู่ พวกเขาแสดงให้เห็นว่าการอธิบายโครงสร้างของปัญหาในเชิงนามธรรมช่วยให้โมเดลสร้างการอนุมานที่ใกล้เคียงกับความลึกของมนุษย์ และสามารถแยกย่อยคำถามที่ซับซ้อนออกเป็นขั้นตอนที่ง่ายกว่าได้อย่างมีประสิทธิภาพ

แนวคิดที่เกี่ยวข้อง

แนวคิดของเมตา-พรอมต์ติงปรากฏในวิธีการอื่น ๆ ด้วย:

• Automatic Prompt Engineer (APE): วิธีที่ LLM สร้างและคัดเลือกคำสั่งที่มีประสิทธิภาพสำหรับตัวเองโดยอัตโนมัติ โดยประเมินจากคุณภาพของผลลัพธ์ที่ได้
• Self-Refine: แนวทางที่โมเดลปรับปรุงคำตอบของตนเองอย่างวนซ้ำ โดยวิเคราะห์เชิงวิพากษ์เวอร์ชันก่อนหน้าและสร้างการแก้ไขบนพื้นฐานของการวิจารณ์นั้น

การประยุกต์ใช้และข้อดี

เมตา-พรอมต์ติงแสดงให้เห็นประสิทธิภาพสูงในงานที่ต้องการการอนุมานหลายองค์ประกอบที่ซับซ้อน เช่น การพิสูจน์ทางคณิตศาสตร์ การเขียนโปรแกรม และการแก้ปริศนาทีละขั้นตอน ข้อดีหลักของวิธีนี้ได้แก่:

• ความประหยัด token: การมุ่งเน้นที่โครงสร้างโดยรวมของงานแทนการระบุตัวอย่างจำนวนมากช่วยลดขนาดของ prompt เมตา-พรอมต์คือแม่แบบสากลที่ใช้ token น้อยกว่า
• ความเสถียรและความเป็นกลาง: วิธีนี้หลีกเลี่ยงการพึ่งพาตัวอย่างเฉพาะ ทำให้โมเดลมีความอ่อนไหวต่อการเบี่ยงเบนไปตามลักษณะเฉพาะของชุดข้อมูลฝึกน้อยลง
• การปรับตัวแบบไดนามิก: ต่างจาก prompt แบบคงที่ เมตา-พรอมต์ติงรองรับการปรับปรุงวนซ้ำ โมเดลสามารถปรับแต่งคำสั่ง ขอข้อมูลที่ขาดหายไป และปรับกลยุทธ์ระหว่างการแก้ปัญหาได้
• การนำไปใช้กับงานใหม่: คำสั่งระดับสูงถ่ายโอนไปยังงานใหม่ที่ไม่เคยเห็นมาก่อนได้ง่ายกว่า ทำให้เมตา-พรอมต์ติงเป็นรูปแบบที่พัฒนาขึ้นของแนวทาง zero-shot

ข้อจำกัดและความเสี่ยง

• ต้นทุนและความซับซ้อนในการคำนวณ: วิธีนี้ต้องการการเรียกใช้โมเดลหลายครั้งสำหรับงานเดียว ซึ่งเพิ่มเวลาและจำนวนคำขอ API การใช้งานในปัจจุบันทำงานแบบต่อเนื่อง ซึ่งทำให้การประมวลผลแบบขนานทำได้ยาก
• การพึ่งพาความสามารถของโมเดล: ประสิทธิภาพของเมตา-พรอมต์ติงขึ้นอยู่กับคุณภาพของ LLM พื้นฐานเป็นอย่างมาก การวิจัยแสดงให้เห็นว่า GPT-3.5 แทบไม่ได้รับประโยชน์จากวิธีนี้ ในขณะที่สำหรับ GPT-4 และโมเดลรุ่นหลังประโยชน์ที่ได้รับเพิ่มขึ้นอย่างเห็นได้ชัด
• ข้อจำกัดพื้นฐานของ LLM: เมตา-พรอมต์ติงไม่ใช่ยาวิเศษ หากงานอยู่นอกเหนือขอบเขตความรู้ของโมเดลพื้นฐาน แม้แต่เมตา-พรอมต์ที่กำหนดสูตรได้อย่างสมบูรณ์แบบก็ไม่รับประกันผลลัพธ์ที่ถูกต้อง ในกรณีเช่นนี้จำเป็นต้องมีการ fine-tuning หรือการผสานรวมกับเครื่องมือภายนอก (เช่น การค้นหาทางอินเทอร์เน็ตหรือตัวแปลความหมายโค้ด)

ลิงก์

• ตัวอย่างเมตา-พรอมต์ติงใน OpenAI Cookbook
• คำอธิบายวิธีการใน Prompt Engineering Guide

เอกสารอ้างอิง

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.