--- title: "Reinforcement learning from human feedback (RLHF) (ID)" source: "https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)" wiki: "systems-analysis.info/int" article: "Reinforcement_learning_from_human_feedback_(RLHF)_(ID)" language: "id" categories: - "Category:Indonesian" - "Category:Large language models" - "Category:Machine learning" revision_id: 6291 wiki_created_at: 2026-09-07T00:01:50Z wiki_modified_at: 2026-09-07T00:01:50Z downloaded_at: 2026-09-07T23:13:10Z --- # Reinforcement learning from human feedback (RLHF) (ID) **Pembelajaran penguatan dengan umpan balik dari manusia** (**Reinforcement Learning from Human Feedback**, **RLHF**) — adalah metode Machine Learning di mana pertama-tama dilatih sebuah "reward model" khusus berdasarkan umpan balik dari manusia, kemudian digunakan dalam proses Reinforcement Learning (RL) untuk mengoptimalkan perilaku agen cerdas[\[1\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-ibm_rlhf-1). RLHF memungkinkan formalisasi tujuan yang kompleks atau sulit didefinisikan (misalnya, jawaban yang "berguna", "aman", atau "lucu") melalui penilaian manusia. Alih-alih mendefinisikan fungsi reward yang rumit secara manual, RLHF memungkinkan pelatihan reward model secara langsung berdasarkan preferensi manusia. Pendekatan ini menjadi kunci untuk "penyelarasan" (*alignment*) Large Language Model (LLM), yaitu menyelaraskan perilakunya dengan nilai-nilai dan intensi manusia[\[2\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-wiki_rlhf-2). ## Perkembangan Metode dan Pencapaian Awal Gagasan melatih agen menggunakan umpan balik dari manusia muncul pada tahun 2010-an. Salah satu hasil awal yang signifikan adalah karya Paul Christiano dan rekan-rekannya dari OpenAI dan DeepMind pada tahun 2017. Mereka menunjukkan bahwa preferensi manusia dapat menggantikan fungsi reward yang ditentukan secara manual dalam tugas-tugas RL yang kompleks. Dalam eksperimen mereka, seseorang melihat cuplikan perilaku agen (misalnya, dalam permainan Atari) dan memilih opsi yang lebih disukai. Berdasarkan perbandingan berpasangan tersebut, reward model dilatih, yang memungkinkan keberhasilan penyelesaian sejumlah tugas kompleks dengan menerima umpan balik dari kurang dari 1% tindakan agen[\[3\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-christiano_2017-3). Pada tahun-tahun berikutnya, metode ini mulai diterapkan untuk melatih model bahasa. Pada tahun 2020, para peneliti OpenAI pertama kali menerapkan RLHF untuk tugas peringkasan teks. Mereka melatih reward model yang memprediksi ringkasan mana yang akan disukai manusia, dan menggunakan RL untuk fine-tuning model guna mengoptimalkan penilaian tersebut. Hasilnya menunjukkan kualitas peringkasan yang jauh lebih tinggi, bahkan melampaui model yang dilatih pada contoh referensi buatan manusia[\[4\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-stiennon_2020-4). ## RLHF dalam Large Language Model Large Language Model memperoleh manfaat substansial dari penerapan RLHF untuk meningkatkan respons mereka dari segi kegunaan, akurasi, dan kepatuhan terhadap instruksi. ### InstructGPT dan ChatGPT Salah satu langkah kunci adalah penelitian OpenAI yang memperkenalkan model **InstructGPT** (2022) — versi GPT-3 yang di-fine-tuning dengan keterlibatan manusia[\[5\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-ouyang_2022-5). Metodologinya terdiri dari tiga tahap: 1. **Supervised Fine-Tuning (SFT)**: Model di-fine-tuning pada sekumpulan kecil demonstrasi berkualitas tinggi, di mana para penilai manusia secara manual menulis contoh respons yang diinginkan untuk berbagai permintaan. 2. **Pelatihan Reward Model**: Untuk sejumlah permintaan, beberapa respons model dihasilkan. Para penilai manusia mengurutkan respons-respons tersebut dari yang terbaik hingga terburuk. Berdasarkan data preferensi ini, reward model dilatih untuk memberikan skor lebih tinggi pada respons yang disukai manusia. 3. **Optimasi dengan RL**: Model bahasa awal di-fine-tuning menggunakan algoritma Proximal Policy Optimization (PPO) untuk memaksimalkan skor yang diberikan oleh reward model. Dalam proses optimasi, penalti juga diterapkan atas penyimpangan yang besar dari model SFT awal, guna mencegah degradasi kemampuan bahasa. Pengujian menunjukkan bahwa bahkan model InstructGPT yang relatif kecil (1,3 miliar parameter) melampaui model GPT-3 yang jauh lebih besar (175 miliar parameter) dalam hal kegunaan. Model InstructGPT juga jauh lebih jarang menghasilkan konten yang toksik, bias, atau tidak dapat dipercaya[\[5\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-ouyang_2022-5). Perkembangan lini ini menghasilkan model-model dialog, yang paling terkenal di antaranya adalah **ChatGPT** (OpenAI, akhir 2022). ChatGPT merupakan model dari seri GPT-3.5 yang secara khusus di-fine-tuning untuk percakapan menggunakan RLHF dengan metodologi serupa[\[6\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-chatgpt_intro-6). ### Adopsi di Industri Metode RLHF juga diadopsi oleh organisasi-organisasi terkemuka lainnya. DeepMind mengembangkan agen dialog **Sparrow** (2022), yang dilatih menggunakan RLHF dengan penambahan seperangkat aturan dalam bahasa alami (misalnya, "jangan memberikan saran berbahaya")[\[7\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-glaese_2022-7). Perusahaan Anthropic juga menggunakan prinsip-prinsip serupa untuk melatih model-modelnya. Pada tahun 2023, RLHF telah menjadi komponen yang hampir standar dalam pembuatan model bahasa paling mutakhir[\[1\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-ibm_rlhf-1). ## Keunggulan Penerapan RLHF - **Kesesuaian dengan intensi pengguna**: Model yang telah melalui fine-tuning RLHF jauh lebih baik dalam mengikuti instruksi dan memberikan respons yang lebih relevan serta berguna[\[5\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-ouyang_2022-5). - **Pengurangan toksisitas dan konten berbahaya**: Melibatkan manusia dalam siklus pelatihan memungkinkan penghukuman eksplisit terhadap bentuk respons yang tidak diinginkan. Hasilnya, model RLHF menghasilkan konten yang jauh lebih sedikit bersifat toksik dan bias[\[5\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-ouyang_2022-5). - **Peningkatan kejujuran dan pengurangan "halusinasi"**: Para penilai dapat menurunkan peringkat respons yang memuat fakta yang dikarang, mendorong model untuk lebih akurat. Model InstructGPT dan ChatGPT lebih jarang "mengarang" fakta dibandingkan pendahulunya[\[5\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-ouyang_2022-5). - **Efisiensi pelatihan**: RLHF memungkinkan peningkatan model tanpa penambahan data pelatihan secara proporsional. Yang diperlukan bukan volume data yang sangat besar, melainkan penilaian preferensi yang berkualitas. ## Keterbatasan dan Permasalahan Meskipun berhasil, metode RLHF memiliki sejumlah keterbatasan dan permasalahan yang belum terselesaikan. - **Kualitas dan biaya pengumpulan data dari manusia**: Efektivitas RLHF sangat bergantung pada kualitas umpan balik. Pengumpulan dataset semacam itu merupakan proses yang membutuhkan banyak tenaga dan biaya. Selain itu, jika sampel penilai atau kriteria mereka tidak objektif, model dapat mewarisi bias tersebut[\[2\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-wiki_rlhf-2). - **Risiko "Reward Hacking"**: Model yang dioptimalkan untuk fungsi reward tertentu dapat mulai menyesuaikan diri khusus terhadap fungsi tersebut, bukan terhadap tujuan sebenarnya. Misalnya, ia mungkin belajar memberikan respons sepanjang mungkin jika para penilai menghargai panjang respons, atau menghindari pernyataan jika dihukum karena ketidakakuratan. - **Tidak ada jaminan kebenaran**: RLHF tidak memasukkan pengetahuan faktual baru ke dalam model, melainkan hanya mengajarkannya bentuk respons yang disukai manusia. Oleh karena itu, masalah halusinasi tidak sepenuhnya terselesaikan. Model mungkin belajar menyembunyikan ketidakpastian dengan lebih baik, tetapi tidak selalu mampu memverifikasi fakta[\[6\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-chatgpt_intro-6). - **Penskalaan preferensi**: Pertanyaan juga muncul seputar transfer reward model ke tugas-tugas lain. Model yang dilatih pada preferensi untuk satu set permintaan dapat berperilaku tidak terduga ketika menghadapi tugas-tugas dengan gaya atau topik baru. ## Kesimpulan RLHF telah menjadi metode penting untuk "penyelarasan" Large Language Model dengan konsepsi manusia tentang respons yang baik. Metode ini berhasil meningkatkan kualitas interaksi dengan asisten AI secara nyata, menjadikan respons mereka lebih berguna dan aman. RLHF dipandang sebagai alat kunci dalam perjalanan menuju pembuatan model yang mampu tidak hanya menghasilkan teks yang terkesan nyata, tetapi juga mempertimbangkan nilai-nilai, preferensi, dan intensi manusia dalam proses komunikasi[\[8\]](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_note-openai_aligning-8). ## Tautan - Artikel OpenAI tentang fine-tuning model untuk mengikuti instruksi - Tinjauan RLHF dari IBM ## Daftar Pustaka - Christiano, P. et al. (2017). *Deep Reinforcement Learning from Human Preferences*. arXiv:1706.03741. - Stiennon, N. et al. (2020). *Learning to Summarize from Human Feedback*. arXiv:2009.01325. - Nakano, R. et al. (2021). *WebGPT: Browser-Assisted Question-Answering with Human Feedback*. arXiv:2112.09332. - Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155. - Glaese, A. et al. (2022). *Improving Alignment of Dialogue Agents via Targeted Human Judgements*. arXiv:2209.14375. - Bai, Y. et al. (2022). *Constitutional AI: Harmlessness from AI Feedback*. arXiv:2212.08073. - Lee, H. et al. (2023). *RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback*. arXiv:2309.00267. - Liu, T. et al. (2023). *A Survey of Reinforcement Learning from Human Feedback*. arXiv:2312.14925. - Zhang, Y. et al. (2024). *A Survey on Human Preference Learning for Large Language Models*. arXiv:2406.11191. - Li, P. et al. (2024). *Advancing Translation Preference Modeling with RLHF*. arXiv:2402.11525. - McAleese, N. et al. (2024). *LLM Critics Help Catch LLM Bugs*. arXiv:2407.00215. ## Catatan 1. ↑ [1.0](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-ibm_rlhf_1-0) [1.1](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-ibm_rlhf_1-1) «What Is Reinforcement Learning From Human Feedback (RLHF)?». *IBM*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-wiki_rlhf_2-0) [2.1](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-wiki_rlhf_2-1) «Reinforcement learning from human feedback». In *Wikipedia*. [2] 3. [↑](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-christiano_2017_3-0) Christiano, P. et al. «Deep reinforcement learning from human preferences». *arXiv:1706.03741*, 2017. [3] 4. [↑](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-stiennon_2020_4-0) Stiennon, N. et al. «Learning to summarize from human feedback». *arXiv:2009.01325*, 2020. [4] 5. ↑ [5.0](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-ouyang_2022_5-0) [5.1](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-ouyang_2022_5-1) [5.2](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-ouyang_2022_5-2) [5.3](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-ouyang_2022_5-3) [5.4](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-ouyang_2022_5-4) Ouyang, L. et al. «Training language models to follow instructions with human feedback». *arXiv:2203.02155*, 2022. [5] 6. ↑ [6.0](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-chatgpt_intro_6-0) [6.1](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-chatgpt_intro_6-1) «Introducing ChatGPT». *OpenAI*, 2022. [6] 7. [↑](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-glaese_2022_7-0) Glaese, A. et al. «Improving alignment of dialogue agents via targeted human judgements». *arXiv:2209.14375*, 2022. [7] 8. [↑](https://systems-analysis.info/int/Reinforcement_learning_from_human_feedback_(RLHF)_(ID)#cite_ref-openai_aligning_8-0) «Aligning language models to follow instructions». *OpenAI*. [8]