Direct Preference Optimization (DPO) (UR)

From Systems analysis Wiki
Jump to navigation Jump to search

Direct Preference Optimization (DPO) — یہ بڑے لسانی ماڈلز (LLM) کو انسانی ترجیحات کے ساتھ ہم آہنگ کرنے کا ایک طریقہ ہے، جسے Reinforcement Learning from Human Feedback (RLHF) کے مقابلے میں ایک آسان اور زیادہ مستحکم متبادل کے طور پر پیش کیا گیا۔ یہ طریقہ 2023 میں رافائل رافائلوف کی سربراہی میں اسٹینفورڈ یونیورسٹی کے محققین کے ایک گروپ نے پیش کیا[1]۔

DPO کا بنیادی امتیاز یہ ہے کہ یہ لسانی ماڈل کو انسانی ترجیحات کے مطابق براہ راست بہتر بناتا ہے، بغیر کسی الگ reward model کی تربیت اور reinforcement learning (RL) کے پیچیدہ مرحلے کے، جس سے LLM کی تنظیم کا عمل نمایاں طور پر آسان، تیز اور مستحکم ہو جاتا ہے[2]۔

پس منظر: RLHF کی حدود

معیاری Reinforcement Learning from Human Feedback (RLHF) طریقہ تین بنیادی مراحل پر مشتمل ہے:

  1. Supervised Fine-Tuning (SFT): معیاری مثالوں پر ماڈل کی بنیادی fine-tuning۔
  2. reward model کی تربیت: ایک الگ ماڈل بنانا جو انسانوں کے فراہم کردہ جوڑی مقابلوں کی بنیاد پر جوابات کو درجہ دینا سیکھتا ہے (مثلاً جواب الف، جواب ب سے بہتر ہے)۔
  3. RL کے ذریعے policy کی اصلاح: بنیادی ماڈل کو RL الگورتھم (مثلاً PPO) کے ذریعے مزید تربیت دینا تاکہ وہ ایسے جوابات پیدا کرے جو reward model سے زیادہ سے زیادہ درجہ بندی حاصل کریں۔

اپنی کارآمدی کے باوجود، RLHF ایک پیچیدہ، مہنگا اور غیر مستحکم عمل ہے۔ یہ reward hacking جیسے مسائل کا شکار ہے (جب ماڈل reward model کو دھوکہ دیتا ہے)، اور اس میں کئی hyperparameters کی محتاط ترتیب درکار ہوتی ہے[1]۔ DPO کو انہی حدود پر قابو پانے کے لیے تیار کیا گیا۔

DPO کے کام کا اصول

DPO طریقہ RLHF کے کثیر مرحلاتی عمل کو ایک واحد تربیتی مرحلے سے بدل دیتا ہے، جسے supervised fine-tuning کے طور پر سمجھا جا سکتا ہے۔

  1. ترجیحاتی ڈیٹا کا اکٹھا کرنا۔ RLHF کی طرح، ایک dataset تیار کیا جاتا ہے جہاں ہر query `x` کے لیے دو جوابات ہوتے ہیں: ترجیح دیا گیا (`y_w`، winning) اور مسترد کیا گیا (`y_l`، losing)۔
  2. براہ راست اصلاح۔ reward model کی تربیت کے بجائے، DPO اس ڈیٹا کو براہ راست خود لسانی ماڈل کو اپ ڈیٹ کرنے کے لیے استعمال کرتا ہے۔ اصلاح کا مقصد ترجیح دیے گئے جواب `y_w` کی پیداوار کا امکان بڑھانا اور بیک وقت مسترد شدہ جواب `y_l` کی پیداوار کا امکان کم کرنا ہے۔

ریاضیاتی طور پر، یہ ایک loss function کو کم سے کم کرنے پر منتج ہوتا ہے، جو جوابات کے logarithmic probabilities کے فرق پر لاگو logistic regression پر مبنی ہے۔ تاکہ ماڈل اپنی اصل معلومات نہ بھولے، DPO بھی RLHF کی طرح اصل جواب کی تقسیم سے بہت زیادہ انحراف کو روکنے کے لیے ایک reference model (عموماً SFT ورژن) کو regularization کے لیے استعمال کرتا ہے[2]۔

RLHF کے مقابلے میں فوائد

  • سادگی اور استحکام: DPO الگ reward model کی تربیت اور RL کی پیچیدہ ترتیب کی ضرورت ختم کر دیتا ہے۔ عمل زیادہ سادہ، قابلِ پیش گوئی اور کم غلطیوں کا شکار بن جاتا ہے[3]۔
  • کارکردگی اور رفتار: دو مراحل ختم ہونے سے حسابی اخراجات (GPU گھنٹے) اور ماڈل کی ترتیب میں لگنے والا وقت نمایاں طور پر کم ہو جاتا ہے۔ بعض تخمینوں کے مطابق، DPO، RLHF کے مقابلے میں 50–60 فیصد زیادہ کفایتی ہے[4]۔
  • نتائج کا معیار: تجربات سے ظاہر ہوا کہ DPO معیار کے لحاظ سے RLHF سے کم نہیں، اور بعض کاموں میں، مثلاً جواب کے لہجے کے انتظام میں، یہ اس سے بہتر بھی ہے۔ DPO سے تربیت یافتہ ماڈل انسانی ترجیحات سے بہتر ہم آہنگی ظاہر کرتے ہیں[1]۔
  • بنیادی صلاحیتوں میں کمی نہیں: DPO کی ترتیب ماڈل کی عمومی صلاحیتوں (مثلاً حقیقی معلومات یا منطق) پر کم سے کم اثر ڈالتی ہے، RLHF کے برعکس جو کبھی کبھی بنیادی metrics کو خراب کر سکتا ہے[5]۔

اطلاق اور پھیلاؤ

اپنی کارکردگی اور سادگی کی وجہ سے، DPO نے تیزی سے وسیع مقبولیت حاصل کی۔ اسے معروف open-source لائبریریوں میں نافذ کیا گیا، جیسے Hugging Face TRL اور OpenRLHF۔

کئی کامیاب کھلے ماڈلز کو DPO کے ذریعے fine-tune کیا گیا، جن میں Zephyr-7B اور TÜLU 2 شامل ہیں۔ ان ماڈلز نے جواب کے معیار کی جانچ کے benchmarks پر اعلیٰ کارکردگی دکھائی، جس سے بڑے پیمانے کے ماڈلز کے لیے DPO کی افادیت ثابت ہوئی[5]۔

صنعتی رہنماؤں نے بھی DPO کو اپنے پلیٹ فارمز میں شامل کیا۔ مثلاً، Microsoft نے اپنی Azure OpenAI سروس میں DPO fine-tuning کی سپورٹ شامل کی، جس سے صارفین GPT-4 سمیت ماڈلز کو اپنے ترجیحاتی ڈیٹا پر ترتیب دے سکتے ہیں[6]۔

حدود

فوائد کے باوجود، DPO ترجیحات پر مبنی تربیت کے طریقے کی بعض حدود وراثت میں لیتا ہے:

  • ڈیٹا کے ساتھ حساسیت: اکٹھے کیے گئے ترجیحاتی ڈیٹا کا معیار اور تنوع انتہائی اہم ہے۔ اگر ڈیٹا یک طرفہ ہو (مثلاً صرف ایک زبان یا طرز پر مشتمل ہو)، تو ماڈل overfitting کا شکار ہو سکتا ہے اور دیگر شعبوں میں اس کی کارکردگی متاثر ہو سکتی ہے[7]۔
  • تربیت کی جامدیت: RLHF کی طرح، DPO بھی ایک جامد dataset پر تربیت حاصل کرتا ہے اور ماحول کے ساتھ متحرک تعامل کا تصور نہیں کرتا۔ یہ طریقہ ایک مرحلے کی ہم آہنگی کے لیے موزوں ہے، لیکن ان کاموں کے لیے نہیں جن میں یکے بعد دیگرے اقدامات کے ذریعے سیکھنا ضروری ہو۔

حوالہ جات

  • Hugging Face TRL لائبریری میں DPO دستاویز
  • ICLR 2024 Blogposts پر RLHF اور DPO کا تجزیاتی جائزہ

کتابیات

  • Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arXiv:2305.18290.
  • Hong, J.; Lee, N.; Thorne, J. (2024). ORPO: Monolithic Preference Optimization without Reference Model. arXiv:2403.07691.
  • Sun, L. et al. (2025). BPO: Revisiting Preference Modeling in Direct Preference Optimization. arXiv:2506.03557.
  • Yin, Y. et al. (2024). Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment. arXiv:2405.20830.
  • Wu, Y. et al. (2024). Self-Play Preference Optimization for Language Model Alignment. arXiv:2405.00675.
  • Li, P. et al. (2024). ROPO: Robust Preference Optimization for Large Language Models. arXiv:2404.04102.
  • Tunstall, L. et al. (2023). Zephyr: Direct Distillation of LM Alignment. arXiv:2310.16944.
  • Wu, F. et al. (2023). Diffusion-DPO: Diffusion Model Alignment Using Direct Preference Optimization. arXiv:2311.12908.
  • Lee, H. et al. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
  • Rafailov, R.; Sharma, A.; Mitchell, E.; Manning, C. D.; Finn, C. (2024). Direct Preference Optimization (v3): Enhanced Experiments and Analysis. arXiv:2305.18290v3.

حواشی

  1. ↑ 1.0 1.1 1.2 Rafailov, R., et al. «Direct Preference Optimization: Your Language Model is Secretly a Reward Model». arXiv:2305.18290. [1]
  2. ↑ 2.0 2.1 «Simplifying Alignment: From RLHF to Direct Preference Optimization (DPO)». Hugging Face Blog. [2]
  3. ↑ «What is direct preference optimization (DPO)?». SuperAnnotate Blog. [3]
  4. ↑ «RLHF vs DPO: A Closer Look into the Process and Methodology». Arbisoft Blog. [4]
  5. ↑ 5.0 5.1 «RLHF without RL - Direct Preference Optimization». ICLR Blogposts 2024. [5]
  6. ↑ «Direct preference optimization». Azure OpenAI | Microsoft Learn. [6]
  7. ↑ «Direct Preference Optimization (DPO): A Lightweight Counterpart to RLHF». Toloka AI Blog. [7]
Retrieved from "https://systems-analysis.info/int/index.php?title=Direct_Preference_Optimization_(DPO)_(UR)&oldid=1717"