Reinforcement learning from human feedback (RLHF) (TH)

From Systems analysis Wiki
Jump to navigation Jump to search

การเรียนรู้เสริมแรงจากข้อมูลป้อนกลับของมนุษย์ (Reinforcement Learning from Human Feedback, RLHF) — คือวิธีการของ Machine Learning ที่เริ่มต้นด้วยการฝึก «โมเดลรางวัล» (reward model) พิเศษโดยอาศัยข้อมูลป้อนกลับจากมนุษย์ จากนั้นนำโมเดลดังกล่าวไปใช้ในกระบวนการ Reinforcement Learning (RL) เพื่อเพิ่มประสิทธิภาพพฤติกรรมของตัวแทนอัจฉริยะ[1]

RLHF ช่วยให้สามารถกำหนดเป้าหมายที่ซับซ้อนหรือยากต่อการนิยาม (เช่น คำตอบที่ «มีประโยชน์» «ปลอดภัย» หรือ «น่าขบขัน») ให้อยู่ในรูปแบบที่เป็นทางการผ่านการประเมินของมนุษย์ แทนที่จะกำหนดฟังก์ชันรางวัลที่ซับซ้อนด้วยตนเอง RLHF ช่วยให้ฝึก reward model ได้โดยตรงจากความชื่นชอบของมนุษย์ แนวทางนี้กลายเป็นสิ่งสำคัญสำหรับ «การจัดแนว» (alignment) ของ LLM ขนาดใหญ่ นั่นคือการปรับพฤติกรรมให้สอดคล้องกับค่านิยมและเจตนารมณ์ของมนุษย์[2]

การพัฒนาวิธีการและความสำเร็จในช่วงแรก

แนวคิดการฝึกตัวแทนโดยใช้ข้อมูลป้อนกลับจากมนุษย์เริ่มต้นขึ้นในช่วงทศวรรษ 2010 หนึ่งในผลงานสำคัญแรกๆ คืองานวิจัยของ Paul Christiano และเพื่อนร่วมงานจาก OpenAI และ DeepMind ในปี 2017 พวกเขาแสดงให้เห็นว่าความชื่นชอบของมนุษย์สามารถทดแทนฟังก์ชันรางวัลที่กำหนดเองในงาน RL ที่ซับซ้อนได้ ในการทดลองของพวกเขา มนุษย์จะดูส่วนย่อยของพฤติกรรมของตัวแทน (เช่น ในเกม Atari) และเลือกตัวเลือกที่ต้องการมากกว่า จากนั้นจึงฝึก reward model บนพื้นฐานการเปรียบเทียบแบบคู่เหล่านี้ ทำให้สามารถแก้ปัญหาที่ซับซ้อนหลายอย่างได้สำเร็จโดยรับข้อมูลป้อนกลับน้อยกว่า 1% ของการกระทำทั้งหมดของตัวแทน[3]

ในปีต่อๆ มา วิธีการนี้ถูกนำมาใช้ฝึกโมเดลภาษา ในปี 2020 นักวิจัยจาก OpenAI ได้นำ RLHF มาใช้กับงานสรุปความเป็นครั้งแรก พวกเขาฝึก reward model ที่ทำนายว่ามนุษย์จะชอบบทสรุปใด และใช้ RL ในการ fine-tuning โมเดลเพื่อเพิ่มประสิทธิภาพการให้คะแนนนั้น ผลลัพธ์แสดงให้เห็นคุณภาพการสรุปความที่สูงกว่าอย่างมีนัยสำคัญ แม้กระทั่งเหนือกว่าโมเดลที่ฝึกบนตัวอย่างอ้างอิงที่เขียนโดยมนุษย์[4]

RLHF ใน LLM ขนาดใหญ่

โมเดลภาษาขนาดใหญ่ได้รับประโยชน์อย่างมากจากการนำ RLHF มาใช้เพื่อปรับปรุงคำตอบในแง่ของความเป็นประโยชน์ ความแม่นยำ และการปฏิบัติตามคำสั่ง

InstructGPT และ ChatGPT

หนึ่งในก้าวสำคัญคืองานวิจัยของ OpenAI ที่นำเสนอโมเดล InstructGPT (2022) ซึ่งเป็นเวอร์ชันของ GPT-3 ที่ผ่านการ fine-tuning โดยมีมนุษย์เข้าร่วม[5] วิธีการประกอบด้วยสามขั้นตอน:

  1. Supervised Fine-Tuning (SFT): โมเดลถูก fine-tuning บนชุดการสาธิตคุณภาพสูงขนาดเล็ก โดยผู้ประเมินมนุษย์เขียนตัวอย่างคำตอบที่ต้องการสำหรับคำขอต่างๆ ด้วยตนเอง
  2. การฝึก Reward Model: สร้างคำตอบหลายชุดจากโมเดลสำหรับคำขอต่างๆ ผู้ประเมินมนุษย์จะจัดอันดับคำตอบเหล่านั้นจากดีที่สุดไปยังแย่ที่สุด จากนั้นจึงฝึก reward model บนข้อมูลความชื่นชอบเหล่านี้ โดยเรียนรู้ที่จะให้คะแนนสูงกว่าแก่คำตอบที่มนุษย์ชื่นชอบ
  3. การปรับแต่งด้วย RL: โมเดลภาษาต้นฉบับถูก fine-tuning ด้วยอัลกอริทึม Proximal Policy Optimization (PPO) เพื่อเพิ่มคะแนนที่ reward model ให้ ในระหว่างการปรับแต่ง ยังมีการกำหนดบทลงโทษสำหรับการเบี่ยงเบนจาก SFT model ต้นฉบับมากเกินไป เพื่อป้องกันการเสื่อมถอยของความสามารถทางภาษา

การทดสอบแสดงให้เห็นว่าแม้แต่โมเดล InstructGPT ขนาดค่อนข้างเล็ก (1.3 พันล้านพารามิเตอร์) ก็ยังมีประโยชน์เหนือกว่าโมเดล GPT-3 ขนาดมหึมา (175 พันล้านพารามิเตอร์) นอกจากนี้ โมเดล InstructGPT ยังสร้างเนื้อหาที่เป็นพิษ มีอคติ หรือไม่น่าเชื่อถือน้อยลงอย่างมีนัยสำคัญ[5]

การพัฒนาต่อจากแนวทางนี้นำไปสู่การสร้างโมเดลสนทนา ซึ่งที่รู้จักกันดีที่สุดคือ ChatGPT (OpenAI, ปลายปี 2022) ChatGPT คือโมเดลในซีรีส์ GPT-3.5 ที่ผ่านการ fine-tuning เป็นพิเศษสำหรับการสนทนาโดยใช้ RLHF ตามวิธีการที่คล้ายคลึงกัน[6]

การนำไปใช้ในอุตสาหกรรม

วิธีการ RLHF ได้รับการนำไปใช้โดยองค์กรชั้นนำอื่นๆ เช่นกัน DeepMind พัฒนาตัวแทนสนทนา Sparrow (2022) ซึ่งได้รับการฝึกด้วย RLHF พร้อมเพิ่มชุดกฎในภาษาธรรมชาติ (เช่น «ไม่ให้คำแนะนำที่เป็นอันตราย»)[7] บริษัท Anthropic ก็ใช้หลักการที่คล้ายคลึงกันในการฝึกโมเดลของตนเช่นกัน ภายในปี 2023 RLHF กลายเป็นส่วนประกอบมาตรฐานโดยพฤตินัยในการสร้างโมเดลภาษาที่ล้ำหน้าที่สุด[1]

ข้อดีของการใช้ RLHF

  • ความสอดคล้องกับเจตนารมณ์ของผู้ใช้: โมเดลที่ผ่านการ fine-tuning ด้วย RLHF ปฏิบัติตามคำสั่งได้ดีกว่าอย่างมีนัยสำคัญและให้คำตอบที่เกี่ยวข้องและเป็นประโยชน์มากขึ้น[5]
  • การลดความเป็นพิษและเนื้อหาที่เป็นอันตราย: การนำมนุษย์เข้าสู่วงจรการฝึกช่วยให้สามารถลงโทษรูปแบบคำตอบที่ไม่ต้องการได้อย่างชัดเจน ส่งผลให้โมเดล RLHF สร้างเนื้อหาที่เป็นพิษและมีอคติน้อยลงมาก[5]
  • การปรับปรุงความน่าเชื่อถือและการลด «การสร้างเนื้อหาเท็จ»: ผู้ประเมินสามารถลดคะแนนคำตอบที่มีข้อเท็จจริงที่ประดิษฐ์ขึ้น กระตุ้นให้โมเดลมีความแม่นยำมากขึ้น โมเดล InstructGPT และ ChatGPT «สร้างเนื้อหาเท็จ» น้อยกว่ารุ่นก่อนหน้า[5]
  • ประสิทธิภาพการฝึก: RLHF ช่วยให้ปรับปรุงโมเดลได้โดยไม่ต้องเพิ่มชุดข้อมูลการฝึกอย่างเป็นสัดส่วน สิ่งที่จำเป็นไม่ใช่ข้อมูลจำนวนมหาศาล แต่คือการประเมินความชื่นชอบที่มีคุณภาพ

ข้อจำกัดและปัญหา

แม้จะประสบความสำเร็จ วิธีการ RLHF ก็มีข้อจำกัดและปัญหาที่ยังเปิดอยู่หลายประการ

  • คุณภาพและต้นทุนการรวบรวมข้อมูลจากมนุษย์: ประสิทธิผลของ RLHF ขึ้นอยู่กับคุณภาพของข้อมูลป้อนกลับโดยตรง การรวบรวม dataset ดังกล่าวเป็นกระบวนการที่ต้องใช้แรงงานมากและมีค่าใช้จ่ายสูง นอกจากนี้ หากกลุ่มผู้ประเมินหรือเกณฑ์ของพวกเขามีอคติ โมเดลอาจรับเอาความลำเอียงนั้นมาด้วย[2]
  • ความเสี่ยงของ «การปรับตัวตามรางวัล» (Reward Hacking): โมเดลที่ถูกปรับแต่งให้เหมาะสมกับฟังก์ชันรางวัลเฉพาะอาจเริ่มปรับตัวตามฟังก์ชันนั้นโดยเฉพาะ แทนที่จะมุ่งสู่เป้าหมายที่แท้จริง ตัวอย่างเช่น โมเดลอาจเรียนรู้ที่จะให้คำตอบที่ยาวที่สุดเท่าที่เป็นไปได้หากผู้ประเมินให้ความสำคัญกับความยาว หรือหลีกเลี่ยงการยืนยันหากถูกลงโทษสำหรับความไม่แม่นยำ
  • ขาดการรับประกันความจริง: RLHF ไม่ได้นำความรู้ข้อเท็จจริงใหม่เข้าสู่โมเดล แต่เพียงสอนรูปแบบคำตอบที่มนุษย์ชื่นชอบ ดังนั้นปัญหาการสร้างเนื้อหาเท็จจึงยังไม่ได้รับการแก้ไขอย่างสมบูรณ์ โมเดลอาจเรียนรู้ที่จะซ่อนความไม่แน่ใจได้ดีขึ้น แต่ไม่สามารถตรวจสอบข้อเท็จจริงได้เสมอไป[6]
  • การปรับขนาดความชื่นชอบ: คำถามเกี่ยวกับการถ่ายโอน reward model ไปยังงานอื่นๆ ก็เป็นที่กังวลเช่นกัน โมเดลที่ฝึกบนความชื่นชอบสำหรับชุดคำขอหนึ่งอาจทำงานในลักษณะที่คาดเดาไม่ได้เมื่อเผชิญกับงานที่มีรูปแบบหรือหัวข้อใหม่

บทสรุป

RLHF ได้รับการยืนยันว่าเป็นวิธีการสำคัญในการ «จัดแนว» LLM ขนาดใหญ่ให้สอดคล้องกับความเข้าใจของมนุษย์เกี่ยวกับคำตอบที่ดี วิธีการนี้ช่วยให้คุณภาพของการโต้ตอบกับผู้ช่วย AI ดีขึ้นอย่างเห็นได้ชัด ทำให้คำตอบมีประโยชน์และปลอดภัยมากขึ้น RLHF ได้รับการพิจารณาว่าเป็นเครื่องมือสำคัญบนเส้นทางสู่การสร้างโมเดลที่ไม่เพียงแต่สร้างข้อความที่น่าเชื่อถือ แต่ยังคำนึงถึงค่านิยม ความชื่นชอบ และเจตนารมณ์ของมนุษย์ในกระบวนการสื่อสารด้วย[8]

ลิงก์

  • บทความของ OpenAI เกี่ยวกับการ fine-tuning โมเดลให้ปฏิบัติตามคำสั่ง
  • ภาพรวม RLHF จาก IBM

วรรณกรรม

  • Christiano, P. et al. (2017). Deep Reinforcement Learning from Human Preferences. arXiv:1706.03741.
  • Stiennon, N. et al. (2020). Learning to Summarize from Human Feedback. arXiv:2009.01325.
  • Nakano, R. et al. (2021). WebGPT: Browser-Assisted Question-Answering with Human Feedback. arXiv:2112.09332.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Glaese, A. et al. (2022). Improving Alignment of Dialogue Agents via Targeted Human Judgements. arXiv:2209.14375.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
  • Lee, H. et al. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
  • Liu, T. et al. (2023). A Survey of Reinforcement Learning from Human Feedback. arXiv:2312.14925.
  • Zhang, Y. et al. (2024). A Survey on Human Preference Learning for Large Language Models. arXiv:2406.11191.
  • Li, P. et al. (2024). Advancing Translation Preference Modeling with RLHF. arXiv:2402.11525.
  • McAleese, N. et al. (2024). LLM Critics Help Catch LLM Bugs. arXiv:2407.00215.

หมายเหตุ

  1. ↑ 1.0 1.1 «What Is Reinforcement Learning From Human Feedback (RLHF)?». IBM. [1]
  2. ↑ 2.0 2.1 «Reinforcement learning from human feedback». In Wikipedia. [2]
  3. ↑ Christiano, P. et al. «Deep reinforcement learning from human preferences». arXiv:1706.03741, 2017. [3]
  4. ↑ Stiennon, N. et al. «Learning to summarize from human feedback». arXiv:2009.01325, 2020. [4]
  5. ↑ 5.0 5.1 5.2 5.3 5.4 Ouyang, L. et al. «Training language models to follow instructions with human feedback». arXiv:2203.02155, 2022. [5]
  6. ↑ 6.0 6.1 «Introducing ChatGPT». OpenAI, 2022. [6]
  7. ↑ Glaese, A. et al. «Improving alignment of dialogue agents via targeted human judgements». arXiv:2209.14375, 2022. [7]
  8. ↑ «Aligning language models to follow instructions». OpenAI. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Reinforcement_learning_from_human_feedback_(RLHF)_(TH)&oldid=6299"