Generated Knowledge Prompting (TH)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, การ prompt โดยการสร้างความรู้) — คือวิธีการของ prompt engineering ที่พัฒนาขึ้นเพื่อเสริมความสามารถของโมเดลภาษาขนาดใหญ่ (LLM) ในการแก้ปัญหาที่ต้องใช้การให้เหตุผลและอาศัยความรู้เชิงข้อเท็จจริง[1] แนวคิดหลักของ GKP คือการให้โมเดลทำงานเป็นสองขั้นตอน ได้แก่ สร้างชุดข้อเท็จจริงที่เกี่ยวข้องกับหัวข้อของคำถามก่อน แล้วจึงอาศัยความรู้เหล่านั้นในการกำหนดคำตอบขั้นสุดท้าย[2]

แนวทางนี้ช่วยให้ LLM สามารถเปิดใช้งานและนำความรู้แบบ parametricภายในของตนมาใช้ ซึ่งถูกเข้ารหัสอย่างโดยนัยอยู่ในพารามิเตอร์หลายพันล้านตัว แต่มักไม่สามารถเข้าถึงได้เมื่อใช้คำถามมาตรฐาน GKP แก้ปัญหาที่โมเดล «ไม่รู้ว่าตนรู้อะไร» และช่วยให้โมเดลเชื่อมโยงข้อเท็จจริงที่กระจัดกระจายเพื่อสร้างข้อสรุปที่ถูกต้อง[2]

ประวัติและที่มา

วิธีการ Generated Knowledge Prompting ถูกนำเสนอครั้งแรกในบทความวิจัยชื่อ «Generated Knowledge Prompting for Commonsense Reasoning» ซึ่งจัดทำโดยกลุ่มนักวิจัยภายใต้การนำของ Jiacheng Liu เวอร์ชันแรกของงานวิจัยได้รับการเผยแพร่ในคลังบทความพิมพ์ล่วงหน้า arXiv เมื่อวันที่ 15 ตุลาคม 2021 และเวอร์ชันสมบูรณ์ได้รับการนำเสนอในการประชุมอันทรงเกียรติ Association for Computational Linguistics (ACL) ในปี 2022[1]

GKP กลายเป็นหนึ่งในวิธีการแรกและสำคัญที่สุดที่เสนอให้เปลี่ยนกระบวนทัศน์การโต้ตอบกับ LLM โดยเลื่อนจุดสนใจจากการสร้างคำตอบในทันทีไปสู่กระบวนการรับรู้สองขั้นตอน

กลไกการทำงานสองขั้นตอน

กลไกของ GKP แบ่งงานที่ซับซ้อนออกเป็นกระบวนการย่อยสองอย่างที่ง่ายกว่า ได้แก่ การดึงข้อมูลที่เกี่ยวข้องและการนำข้อมูลนั้นไปใช้ในการสรุป

ขั้นตอนที่ 1: การสร้างความรู้ (Knowledge Generation)

ในขั้นตอนแรก จะใช้โมเดลภาษา («ตัวสร้างความรู้») เพื่อสร้างชิ้นส่วนความรู้จำนวนหนึ่ง (M ชิ้น) ที่เกี่ยวข้องกับคำถามต้นฉบับ กระบวนการนี้เริ่มต้นด้วยเทคนิค few-shot prompting ซึ่งโมเดลจะได้รับตัวอย่างหลายรายการเพื่อเรียนรู้ «ในบริบท»

Prompt สำหรับการสร้างความรู้มีโครงสร้างที่กำหนดไว้อย่างชัดเจน:

  1. คำสั่ง: คำแนะนำทั่วไป เช่น «สร้างข้อเท็จจริงหลายรายการในหัวข้อนี้»
  2. ตัวอย่างสาธิต: คู่ «คำถาม-ความรู้» หลายคู่ที่เขียนโดยมนุษย์ ตัวอย่างเหล่านี้มีบทบาทสำคัญอย่างยิ่งเนื่องจากสอนให้โมเดลรู้ว่าข้อมูลประเภทใดถือว่ามีประโยชน์ ทั้งนี้ความรู้ที่สร้างขึ้นไม่ควรมีคำตอบอยู่โดยตรง
  3. คำถามใหม่: คำถามต้นฉบับของผู้ใช้ที่ต้องการสร้างความรู้สำหรับมัน

สำหรับคำถามหนึ่งข้อ จะสร้างความรู้จำนวน M รูปแบบ (ในงานวิจัยต้นฉบับ M=20) เพื่อให้ได้ชุดข้อเท็จจริงที่หลากหลายสำหรับขั้นตอนที่สอง[1]

ขั้นตอนที่ 2: การรวมความรู้และการสร้างคำตอบ (Knowledge Integration)

ในขั้นตอนที่สอง จะใช้โมเดลภาษาอีกตัวหนึ่ง («โมเดลสำหรับการสรุป») ซึ่งสามารถทำงานในโหมด zero-shot หรือได้รับการ fine-tuning สำหรับงานเฉพาะก็ได้

กระบวนการรวมความรู้เกิดขึ้นดังนี้:

  1. การเสริมคำถาม: คำถามต้นฉบับ (q) จะถูกรวมเข้ากับชิ้นส่วนความรู้ที่สร้างขึ้นแต่ละชิ้น (km) ตามลำดับ ผลลัพธ์คือคำถามที่ถูกเสริมจำนวน M+1 รายการ (รวมถึงคำถามต้นฉบับที่ไม่มีความรู้ประกอบ)
  2. การประเมินและการเลือกคำตอบ: โมเดลสำหรับการสรุปจะประเมินความน่าจะเป็นเชิงเงื่อนไขของตัวเลือกคำตอบ (a) ที่เป็นไปได้แต่ละรายการสำหรับคำถามที่ถูกเสริมแต่ละข้อ คำตอบสุดท้ายคือตัวเลือกที่ได้คะแนนความน่าจะเป็นสูงสุดจากคำถามอย่างน้อยหนึ่งข้อ

กลไกสองขั้นตอนนี้นำเสนอกระบวนการ metacognitive ในแบบหนึ่ง: «ก่อนตอบ จงคิดและกำหนดว่าคุณรู้อะไรในหัวข้อนี้»

ประสิทธิภาพและผลการทดสอบ

ประสิทธิภาพของ GKP ได้รับการตรวจสอบบน benchmark ทางวิชาการหลายรายการสำหรับการประเมินการให้เหตุผลบนพื้นฐานของสามัญสำนึก วิธีการนี้แสดงให้เห็นการปรับปรุงประสิทธิภาพอย่างมีนัยสำคัญเมื่อเปรียบเทียบกับแนวทางพื้นฐาน

สรุปผลลัพธ์ของ GKP บน benchmark หลัก (ข้อมูลจาก Liu et al., 2022)[1]
ชื่อ benchmark งาน ความแม่นยำของโมเดลพื้นฐาน (%) ความแม่นยำด้วย GKP (%) การเพิ่มขึ้น (%)
NumerSense สามัญสำนึกเชิงตัวเลข 64.05 72.47 +8.42
CommonsenseQA สามัญสำนึกทั่วไป 39.89 47.26 +7.37
CommonsenseQA 2.0 สามัญสำนึกทั่วไป 70.20 73.03 +2.83
QASC สามัญสำนึกเชิงวิทยาศาสตร์ 76.74 80.33 +3.59

การเพิ่มขึ้นสูงสุดพบในโหมด zero-shot ซึ่งพิสูจน์ความสามารถของ GKP ในการเปิดใช้งานความรู้ภายในของโมเดลได้อย่างมีประสิทธิภาพโดยไม่ต้องมีการ fine-tuning เพิ่มเติม

การวิเคราะห์เปรียบเทียบกับเทคนิคอื่น

GKP vs. Chain-of-Thought (CoT)

ความแตกต่างหลักระหว่าง GKP และ Chain-of-Thought (CoT) อยู่ที่ประเภทของข้อมูลที่สร้างขึ้น:

  • GKP สร้างความรู้เชิงประกาศ — ข้อเท็จจริง คำจำกัดความ ข้อความเกี่ยวกับโลก («อะไร») โดยให้บริบทเพิ่มเติมแก่โมเดล
  • CoT สร้างความรู้เชิงกระบวนการ — ขั้นตอนเชิงตรรกะ การคำนวณ ลำดับของการสรุป («อย่างไร») โดยให้เส้นทางการให้เหตุผลแก่โมเดล

ดังนั้น GKP ให้ฐานข้อเท็จจริง ในขณะที่ CoT ให้โครงสร้างเชิงตรรกะของการสรุป[3]

GKP vs. Retrieval-Augmented Generation (RAG)

ต่างจาก GKP วิธีการ Retrieval-Augmented Generation (RAG) ใช้แหล่งความรู้ภายนอกแบบ non-parametric

  • GKP ใช้ความรู้ภายในที่โมเดลเรียนรู้มาระหว่างการฝึก โดยให้โมเดล «จำ» สิ่งที่ตนรู้อยู่แล้ว
  • RAG ใช้ความรู้ภายนอกจากฐานข้อมูล เอกสาร หรืออินเทอร์เน็ต โดยให้โมเดล «ค้นหา» ข้อมูลจากโลกภายนอก

การเลือกระหว่าง GKP และ RAG ขึ้นอยู่กับงาน: GKP มีประสิทธิภาพหากความรู้ที่ต้องการเป็นที่รู้จักกันทั่วไปและมีการนำเสนออย่างดีในข้อมูลการฝึก ในขณะที่ RAG ขาดไม่ได้สำหรับข้อมูลที่เฉพาะทางสูง ข้อมูลใหม่ หรือข้อมูลที่เป็นกรรมสิทธิ์

ข้อจำกัดและความเสี่ยง

  • ปัญหา «การหลอน» (Hallucination): ความเสี่ยงหลักของ GKP คือความเป็นไปได้ในการสร้างข้อเท็จจริงที่ไม่ถูกต้อง หากในขั้นตอนแรกโมเดลสร้างข้อความเท็จ ในขั้นตอนที่สองข้อความนั้นจะถูกยอมรับว่าเป็นความจริง ซึ่งนำไปสู่คำตอบที่มั่นใจแต่ผิดอย่างสิ้นเชิง
  • ต้นทุนการคำนวณ: วิธีการนี้ต้องเรียกใช้ LLM หลายครั้ง (M+1 ครั้งต่อคำถามหนึ่งข้อ) ซึ่งเพิ่มเวลาตอบสนอง (latency) และต้นทุนการใช้งานอย่างมีนัยสำคัญเมื่อเปรียบเทียบกับการ prompt แบบมาตรฐาน
  • ความซับซ้อนในการพัฒนา prompt: ประสิทธิภาพของ GKP ขึ้นอยู่กับคุณภาพของตัวอย่าง few-shot อย่างมาก ซึ่งการสร้างตัวอย่างเหล่านี้เป็นงานที่ไม่ง่ายและใช้เวลามาก

วิวัฒนาการและแนวทางไฮบริด

แนวคิดที่ฝังอยู่ใน GKP ได้กลายเป็นตัวเร่งในการพัฒนาเทคนิค prompt ที่ซับซ้อนและเชื่อถือได้มากขึ้น เช่น:

  • Hint-before-Solving (HSP): ผู้สืบทอดแนวคิดโดยตรงของ GKP ซึ่งนำหลักการสองขั้นตอน («ความรู้ก่อน แล้วจึงดำเนินการ») ไปใช้ไม่ใช่กับคำตอบง่ายๆ แต่กับกระบวนการให้เหตุผลที่ซับซ้อนกว่าใน CoT[4]
  • Verify-and-Edit (VE): framework แบบไฮบริดที่เป็นคำตอบต่อปัญหา «การหลอน» ใน GKP และ CoT โดย VE จะสร้างห่วงโซ่การให้เหตุผลก่อน (แบบ CoT) จากนั้นตรวจสอบข้อเท็จจริงสำคัญโดยอัตโนมัติด้วยการค้นหาภายนอก (แบบ RAG) และแก้ไขการให้เหตุผลก่อนสร้างคำตอบสุดท้าย[5]

ลิงก์

  • Generated Knowledge Prompting ใน Prompt Engineering Guide

บรรณานุกรม

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

หมายเหตุ

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(TH)&oldid=2596"