Reinforcement learning from human feedback (RLHF) (UR)

From Systems analysis Wiki
Jump to navigation Jump to search

انسانی تاثرات کے ساتھ Reinforcement Learning (Reinforcement Learning from Human Feedback، RLHF) — یہ machine learning کا ایک طریقہ ہے جس میں پہلے انسانی تاثرات کی بنیاد پر ایک خاص «ثواب ماڈل» (reward model) کو تربیت دی جاتی ہے، اور پھر اسے Reinforcement Learning (RL) کے عمل میں ایک ذہین agent کے رویے کو بہتر بنانے کے لیے استعمال کیا جاتا ہے[1]۔

RLHF پیچیدہ یا مشکل سے بیان کیے جانے والے اہداف (مثلاً «مفید»، «محفوظ» یا «دل چسپ» جواب) کو انسانی تشخیصوں کے ذریعے باقاعدہ شکل دینے کی اجازت دیتا ہے۔ پیچیدہ ثواب کا فنکشن دستی طور پر متعین کرنے کے بجائے، RLHF براہِ راست انسانی ترجیحات پر reward model کو تربیت دینے کی سہولت فراہم کرتا ہے۔ یہ طریقہ بڑے زبانی ماڈلز (LLM) کی «alignment» — یعنی ان کے رویے کو انسانی اقدار اور ارادوں سے ہم آہنگ کرنے — کے لیے کلیدی اہمیت اختیار کر چکا ہے[2]۔

طریقے کی ترقی اور ابتدائی کامیابیاں

انسانی تاثرات کے ذریعے agents کو تربیت دینے کا خیال 2010 کی دہائی میں پیدا ہوا۔ ابتدائی اہم نتائج میں سے ایک 2017 میں OpenAI اور DeepMind کے Paul Christiano اور ان کے ساتھیوں کا کام تھا۔ انھوں نے یہ ثابت کیا کہ انسانی ترجیحات RL کے پیچیدہ مسائل میں دستی طور پر متعین ثواب کے فنکشن کی جگہ لے سکتی ہیں۔ ان کے تجربے میں ایک انسان agent کے رویے کے ٹکڑے (مثلاً Atari گیم میں) دیکھتا اور زیادہ پسندیدہ اختیار منتخب کرتا تھا۔ ان جوڑے دار موازنوں کی بنیاد پر ایک reward model کو تربیت دی گئی، جس نے agent کے 1% سے کم اقدامات پر تاثرات حاصل کر کے متعدد پیچیدہ مسائل کو کامیابی سے حل کرنا ممکن بنایا[3]۔

بعد کے برسوں میں یہ طریقہ زبانی ماڈلز کی تربیت میں بھی استعمال ہونے لگا۔ 2020 میں OpenAI کے محققین نے پہلی بار RLHF کو متن کے خلاصے کے کام پر لاگو کیا۔ انھوں نے ایک ایسا reward model تربیت یافتہ کیا جو یہ پیش گوئی کرتا تھا کہ انسان کون سا خلاصہ پسند کرے گا، اور RL کی مدد سے اس تشخیص کو بہتر بنانے کے لیے ماڈل کو fine-tune کیا۔ نتیجے نے خلاصے کے نمایاں طور پر بہتر معیار کو ظاہر کیا، حتیٰ کہ انسانی حوالہ مثالوں پر تربیت یافتہ ماڈلز کو بھی پیچھے چھوڑ دیا[4]۔

RLHF بڑے زبانی ماڈلز میں

بڑے زبانی ماڈلز نے RLHF کے نفاذ سے اپنے جوابات کو مفید ہونے، درستگی اور ہدایات کے مطابق ہونے کے لحاظ سے بہتر بنانے میں خاطر خواہ فائدہ اٹھایا۔

InstructGPT اور ChatGPT

ایک اہم قدم OpenAI کی تحقیق تھی جس نے InstructGPT (2022) ماڈل پیش کیے — GPT-3 کے وہ ورژن جنھیں انسانی شرکت کے ساتھ fine-tune کیا گیا[5]۔ اس طریقے میں تین مراحل شامل تھے:

  1. Supervised Fine-Tuning (SFT): ماڈل کو اعلیٰ معیار کے مظاہروں کے ایک چھوٹے سیٹ پر fine-tune کیا جاتا ہے، جہاں انسانی جائزہ کار مختلف سوالات کے مطلوبہ جوابات کی مثالیں خود لکھتے ہیں۔
  2. Reward Model کی تربیت: متعدد سوالات کے لیے ماڈل کے کئی جوابات تیار کیے جاتے ہیں۔ انسانی جائزہ کار ان جوابات کو بہترین سے بدترین ترتیب میں درجہ بندی کرتے ہیں۔ ترجیح کے ان اعداد و شمار کی بنیاد پر ایک reward model تربیت یافتہ کیا جاتا ہے جو انسانوں کی پسندیدہ جوابات کو زیادہ اسکور دینا سیکھتا ہے۔
  3. RL کے ذریعے بہتری: اصل زبانی ماڈل کو Proximal Policy Optimization (PPO) الگورتھم کی مدد سے fine-tune کیا جاتا ہے تاکہ reward model کی طرف سے دی گئی تشخیص کو زیادہ سے زیادہ کیا جا سکے۔ بہتری کے عمل میں اصل SFT ماڈل سے بہت زیادہ انحراف پر بھی جرمانہ عائد کیا جاتا ہے تاکہ زبانی صلاحیتوں میں گراوٹ کو روکا جا سکے۔

آزمائشوں سے ظاہر ہوا کہ InstructGPT کا نسبتاً چھوٹا ماڈل (1.3 ارب parameters) مفید ہونے کے لحاظ سے GPT-3 کے بہت بڑے ماڈل (175 ارب parameters) کو بھی پیچھے چھوڑ گیا۔ InstructGPT ماڈلز نے بھی نمایاں طور پر کم زہریلا، متعصبانہ یا غیر معتبر مواد تیار کرنا شروع کر دیا[5]۔

اس سلسلے کی ترقی نے ڈائیلاگ ماڈلز کی تخلیق کا راستہ ہموار کیا، جن میں سب سے مشہور ChatGPT (OpenAI، 2022 کے آخر میں) بنا۔ ChatGPT ایک GPT-3.5 سیریز کا ماڈل ہے جسے ملتی جلتی طریقہ کار کے تحت RLHF کا استعمال کرتے ہوئے خاص طور پر مکالمے کے لیے fine-tune کیا گیا[6]۔

صنعت میں اپنانا

RLHF کو دوسری اہم تنظیموں نے بھی اختیار کیا۔ DeepMind نے ڈائیلاگ ایجنٹ Sparrow (2022) تیار کیا جسے RLHF کے ساتھ قدرتی زبان میں قواعد کے ایک سیٹ (مثلاً «خطرناک مشورے نہ دیں») کے اضافے سے تربیت دی گئی[7]۔ Anthropic نے بھی اپنے ماڈلز کی تربیت کے لیے ملتے جلتے اصول استعمال کیے۔ 2023 تک RLHF جدید ترین زبانی ماڈلز بناتے وقت تقریباً معیاری جزو بن چکا تھا[1]۔

RLHF کے استعمال کے فوائد

  • صارف کے ارادے سے مطابقت: RLHF سے fine-tune کیے گئے ماڈل ہدایات پر زیادہ بہتر عمل کرتے ہیں اور زیادہ متعلقہ اور مفید جوابات دیتے ہیں[5]۔
  • زہریلے اور نقصاندہ مواد میں کمی: سیکھنے کے چکر میں انسان کی شمولیت ناپسندیدہ جوابات کی اقسام کو صریح طور پر سزا دینے کی اجازت دیتی ہے۔ نتیجے کے طور پر RLHF ماڈل بہت کم زہریلا اور متعصبانہ مواد تیار کرتے ہیں[5]۔
  • سچائی میں بہتری اور «hallucinations» میں کمی: جائزہ کار گھڑے ہوئے حقائق والے جوابات کی درجہ بندی کم کر سکتے ہیں، جو ماڈل کو زیادہ درست ہونے کی ترغیب دیتا ہے۔ InstructGPT اور ChatGPT کے ماڈل اپنے پیش روؤں کے مقابلے میں کم حقائق «گھڑتے» ہیں[5]۔
  • تربیت کی کارکردگی: RLHF تربیتی نمونے میں متناسب اضافے کے بغیر ماڈل کو بہتر بنانے کی اجازت دیتا ہے۔ بہت بڑے ڈیٹا کی نہیں بلکہ ترجیحات کی معیاری تشخیصوں کی ضرورت ہوتی ہے۔

حدود اور مسائل

کامیابیوں کے باوجود RLHF طریقے میں کچھ حدود اور کھلے مسائل موجود ہیں۔

  • انسانی ڈیٹا جمع کرنے کا معیار اور لاگت: RLHF کی تاثیر براہِ راست تاثرات کے معیار پر منحصر ہے۔ ایسا dataset جمع کرنا ایک محنت طلب اور مہنگا عمل ہے۔ اس کے علاوہ، اگر جائزہ کاروں کا انتخاب یا ان کے معیار غیر جانبدار نہ ہوں تو ماڈل ان کے جھکاؤ کو بھی سیکھ سکتا ہے[2]۔
  • «Reward Hacking» کا خطرہ: ایک خاص ثواب کے فنکشن کے تحت بہتر کیا جانے والا ماڈل حقیقی مقصد کے بجائے اسی فنکشن کے مطابق خود کو ڈھالنا شروع کر سکتا ہے۔ مثلاً وہ زیادہ سے زیادہ لمبے جوابات دینا سیکھ سکتا ہے اگر جائزہ کار لمبائی کو اہمیت دیں، یا دعووں سے گریز کرنا سیکھ سکتا ہے اگر انھیں غلطی پر جرمانہ ملتا ہو۔
  • سچائی کی ضمانت کا فقدان: RLHF ماڈل میں نئے حقائق داخل نہیں کرتا بلکہ اسے صرف جواب کی ایسی شکل سکھاتا ہے جو انسانوں کو پسند آئے۔ اس لیے hallucinations کا مسئلہ مکمل طور پر حل نہیں ہوتا۔ ماڈل عدم یقین کو چھپانا بہتر سیکھ سکتا ہے لیکن وہ ہمیشہ حقائق کی تصدیق نہیں کر پائے گا[6]۔
  • ترجیحات کی توسیع: reward model کا دوسرے کاموں میں منتقل ہونا بھی سوالات اٹھاتا ہے۔ سوالات کے ایک سیٹ کی ترجیحات پر تربیت یافتہ ماڈل ایسے نئے کاموں کا سامنا کرتے وقت غیر متوقع طریقے سے کام کر سکتا ہے جو انداز یا موضوع میں مختلف ہوں۔

اختتام

RLHF بڑے زبانی ماڈلز کو اچھے جوابات کے بارے میں انسانی تصورات سے ہم آہنگ کرنے کے ایک اہم طریقے کے طور پر راسخ ہو چکا ہے۔ اس نے AI معاونین کے ساتھ تعامل کے معیار کو نمایاں طور پر بہتر بنانے میں مدد کی ہے، جس سے ان کے جوابات زیادہ مفید اور محفوظ ہوئے ہیں۔ RLHF کو ایسے ماڈلز بنانے کی راہ میں ایک کلیدی ذریعہ سمجھا جاتا ہے جو نہ صرف قابلِ یقین متن تیار کر سکیں بلکہ گفتگو کے دوران انسانی اقدار، ترجیحات اور ارادوں کو بھی مدنظر رکھیں[8]۔

حوالہ جات

  • ہدایات پر عمل کرنے کے لیے ماڈلز کی fine-tuning پر OpenAI کا مقالہ
  • IBM کی طرف سے RLHF کا جائزہ

مآخذ

  • Christiano, P. et al. (2017). Deep Reinforcement Learning from Human Preferences. arXiv:1706.03741.
  • Stiennon, N. et al. (2020). Learning to Summarize from Human Feedback. arXiv:2009.01325.
  • Nakano, R. et al. (2021). WebGPT: Browser-Assisted Question-Answering with Human Feedback. arXiv:2112.09332.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Glaese, A. et al. (2022). Improving Alignment of Dialogue Agents via Targeted Human Judgements. arXiv:2209.14375.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
  • Lee, H. et al. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
  • Liu, T. et al. (2023). A Survey of Reinforcement Learning from Human Feedback. arXiv:2312.14925.
  • Zhang, Y. et al. (2024). A Survey on Human Preference Learning for Large Language Models. arXiv:2406.11191.
  • Li, P. et al. (2024). Advancing Translation Preference Modeling with RLHF. arXiv:2402.11525.
  • McAleese, N. et al. (2024). LLM Critics Help Catch LLM Bugs. arXiv:2407.00215.

حواشی

  1. ↑ 1.0 1.1 «What Is Reinforcement Learning From Human Feedback (RLHF)?». IBM. [1]
  2. ↑ 2.0 2.1 «Reinforcement learning from human feedback». In Wikipedia. [2]
  3. ↑ Christiano, P. et al. «Deep reinforcement learning from human preferences». arXiv:1706.03741, 2017. [3]
  4. ↑ Stiennon, N. et al. «Learning to summarize from human feedback». arXiv:2009.01325, 2020. [4]
  5. ↑ 5.0 5.1 5.2 5.3 5.4 Ouyang, L. et al. «Training language models to follow instructions with human feedback». arXiv:2203.02155, 2022. [5]
  6. ↑ 6.0 6.1 «Introducing ChatGPT». OpenAI, 2022. [6]
  7. ↑ Glaese, A. et al. «Improving alignment of dialogue agents via targeted human judgements». arXiv:2209.14375, 2022. [7]
  8. ↑ «Aligning language models to follow instructions». OpenAI. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Reinforcement_learning_from_human_feedback_(RLHF)_(UR)&oldid=6302"