Direct Preference Optimization (DPO) (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

Direct Preference Optimization (DPO) — adalah metode penyelarasan model bahasa besar (LLM) dengan preferensi manusia, yang diusulkan sebagai alternatif yang lebih sederhana dan stabil dibandingkan Reinforcement Learning from Human Feedback (RLHF). Metode ini diperkenalkan pada tahun 2023 oleh sekelompok peneliti dari Universitas Stanford di bawah pimpinan Rafael Rafailov[1].

Perbedaan utama DPO adalah bahwa metode ini secara langsung mengoptimalkan model bahasa agar sesuai dengan preferensi manusia, tanpa perlu melatih model reward (reward model) secara terpisah maupun melalui tahap pelatihan reinforcement learning (RL) yang kompleks, sehingga proses penyetelan LLM menjadi jauh lebih mudah, lebih cepat, dan lebih stabil[2].

Latar Belakang: Keterbatasan RLHF

Metode standar Reinforcement Learning from Human Feedback (RLHF) terdiri dari tiga tahap utama:

  1. Supervised Fine-Tuning (SFT): Pelatihan awal model pada contoh-contoh berkualitas tinggi.
  2. Pelatihan model reward: Pembuatan model terpisah yang belajar memberikan "peringkat" pada jawaban berdasarkan perbandingan berpasangan yang disediakan oleh manusia (misalnya, jawaban A lebih baik dari jawaban B).
  3. Optimisasi kebijakan menggunakan RL: Pelatihan lanjutan model utama menggunakan algoritma RL (misalnya, PPO) agar model menghasilkan jawaban yang memaksimalkan peringkat dari model reward.

Meskipun efektif, RLHF merupakan proses yang kompleks, mahal, dan tidak stabil. Metode ini rentan terhadap masalah seperti reward hacking (ketika model "menipu" model reward), dan memerlukan penyetelan hati-hati pada banyak hiperparameter[1]. DPO dikembangkan untuk mengatasi keterbatasan-keterbatasan ini.

Prinsip Kerja DPO

Metode DPO menggantikan pipeline RLHF yang bertahap dengan satu tahap pelatihan yang dapat dipandang sebagai fine-tuning dengan pengawasan.

  1. Pengumpulan data preferensi. Seperti dalam RLHF, dikumpulkan dataset di mana untuk setiap permintaan `x` terdapat dua jawaban: yang disukai (`y_w`, winning) dan yang ditolak (`y_l`, losing).
  2. Optimisasi langsung. Alih-alih melatih model reward, DPO secara langsung menggunakan data tersebut untuk memperbarui model bahasa itu sendiri. Tujuan optimisasi adalah meningkatkan probabilitas menghasilkan jawaban yang disukai `y_w` sekaligus mengurangi probabilitas menghasilkan jawaban yang ditolak `y_l`.

Secara matematis, hal ini direduksi menjadi minimisasi fungsi kerugian yang didasarkan pada regresi logistik yang diterapkan pada selisih log-probabilitas jawaban. Agar model tidak "melupakan" pengetahuan awalnya, DPO, seperti halnya RLHF, menggunakan model referensi (reference model, biasanya versi SFT) untuk regularisasi, mencegah penyimpangan yang terlalu jauh dari distribusi jawaban awal[2].

Keunggulan Dibandingkan RLHF

  • Kesederhanaan dan stabilitas: DPO menghilangkan kebutuhan untuk melatih model reward secara terpisah dan penyetelan RL yang kompleks. Prosesnya menjadi lebih sederhana, lebih dapat diprediksi, dan lebih tahan terhadap kesalahan[3].
  • Efisiensi dan kecepatan: Penghapusan dua tahap secara signifikan mengurangi biaya komputasi (jam GPU) dan waktu yang diperlukan untuk menyetel model. Menurut beberapa perkiraan, DPO 50–60% lebih hemat dibandingkan RLHF[4].
  • Kualitas hasil: Eksperimen menunjukkan bahwa DPO tidak kalah dari RLHF dalam hal kualitas, dan pada beberapa tugas, misalnya dalam pengendalian nada jawaban, bahkan melampaui RLHF. Model yang dilatih menggunakan DPO menunjukkan kesesuaian yang lebih baik dengan preferensi manusia[1].
  • Tidak ada degradasi kemampuan dasar: Penyetelan DPO memberikan pengaruh minimal pada kemampuan umum model (misalnya, pengetahuan faktual atau penalaran), berbeda dengan RLHF yang terkadang dapat memperburuk metrik dasar[5].

Penerapan dan Penyebaran

Berkat efisiensi dan kesederhanaannya, DPO dengan cepat mendapatkan penyebaran yang luas. Metode ini diimplementasikan dalam library open-source terkemuka seperti Hugging Face TRL dan OpenRLHF.

Banyak model terbuka yang sukses telah di-fine-tune menggunakan DPO, termasuk Zephyr-7B dan TÜLU 2. Model-model ini menunjukkan performa tinggi pada benchmark evaluasi kualitas jawaban, mengkonfirmasi efektivitas DPO untuk model berskala besar[5].

Pemimpin industri juga telah mengintegrasikan DPO ke dalam platform mereka. Misalnya, Microsoft menambahkan dukungan fine-tuning DPO ke layanan Azure OpenAI, memungkinkan pengguna untuk menyetel model, termasuk GPT-4, menggunakan data preferensi mereka sendiri[6].

Keterbatasan

Meskipun memiliki keunggulan, DPO mewarisi beberapa keterbatasan dari pendekatan pelatihan berbasis preferensi itu sendiri:

  • Sensitivitas terhadap data: Kualitas dan keberagaman data preferensi yang dikumpulkan sangat penting. Jika data berat sebelah (misalnya, hanya mengandung satu bahasa atau gaya), model dapat mengalami overfitting dan menurun performanya di bidang lain[7].
  • Statis dalam pelatihan: Seperti RLHF, DPO dilatih pada dataset yang statis dan tidak mengasumsikan interaksi dinamis dengan lingkungan. Metode ini cocok untuk penyelarasan satu langkah, tetapi tidak untuk tugas-tugas yang memerlukan pembelajaran melalui tindakan berurutan.

Tautan

  • Dokumentasi DPO di library Hugging Face TRL
  • Ulasan analitik RLHF dan DPO di ICLR 2024 Blogposts

Daftar Pustaka

  • Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arXiv:2305.18290.
  • Hong, J.; Lee, N.; Thorne, J. (2024). ORPO: Monolithic Preference Optimization without Reference Model. arXiv:2403.07691.
  • Sun, L. et al. (2025). BPO: Revisiting Preference Modeling in Direct Preference Optimization. arXiv:2506.03557.
  • Yin, Y. et al. (2024). Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment. arXiv:2405.20830.
  • Wu, Y. et al. (2024). Self-Play Preference Optimization for Language Model Alignment. arXiv:2405.00675.
  • Li, P. et al. (2024). ROPO: Robust Preference Optimization for Large Language Models. arXiv:2404.04102.
  • Tunstall, L. et al. (2023). Zephyr: Direct Distillation of LM Alignment. arXiv:2310.16944.
  • Wu, F. et al. (2023). Diffusion-DPO: Diffusion Model Alignment Using Direct Preference Optimization. arXiv:2311.12908.
  • Lee, H. et al. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
  • Rafailov, R.; Sharma, A.; Mitchell, E.; Manning, C. D.; Finn, C. (2024). Direct Preference Optimization (v3): Enhanced Experiments and Analysis. arXiv:2305.18290v3.

Catatan

  1. ↑ 1.0 1.1 1.2 Rafailov, R., et al. «Direct Preference Optimization: Your Language Model is Secretly a Reward Model». arXiv:2305.18290. [1]
  2. ↑ 2.0 2.1 «Simplifying Alignment: From RLHF to Direct Preference Optimization (DPO)». Hugging Face Blog. [2]
  3. ↑ «What is direct preference optimization (DPO)?». SuperAnnotate Blog. [3]
  4. ↑ «RLHF vs DPO: A Closer Look into the Process and Methodology». Arbisoft Blog. [4]
  5. ↑ 5.0 5.1 «RLHF without RL - Direct Preference Optimization». ICLR Blogposts 2024. [5]
  6. ↑ «Direct preference optimization». Azure OpenAI | Microsoft Learn. [6]
  7. ↑ «Direct Preference Optimization (DPO): A Lightweight Counterpart to RLHF». Toloka AI Blog. [7]
Retrieved from "https://systems-analysis.info/int/index.php?title=Direct_Preference_Optimization_(DPO)_(ID)&oldid=1706"