Reinforcement learning from human feedback (RLHF) (DE)

From Systems analysis Wiki
Jump to navigation Jump to search

Verstärkendes Lernen durch menschliches Feedback (Reinforcement Learning from Human Feedback, RLHF) ist eine Methode des maschinellen Lernens, bei der zunächst auf der Grundlage von menschlichem Feedback ein spezielles „Belohnungsmodell“ (reward model) trainiert wird. Dieses wird anschließend im Prozess des verstärkenden Lernens (RL) verwendet, um das Verhalten eines intelligenten Agenten zu optimieren[1].

RLHF ermöglicht die Formalisierung komplexer oder schwer definierbarer Ziele (z. B. eine „nützliche“, „sichere“ oder „humorvolle“ Antwort) durch menschliche Bewertungen. Anstatt eine komplexe Belohnungsfunktion manuell zu definieren, ermöglicht RLHF das Training eines Belohnungsmodells direkt auf Basis menschlicher Präferenzen. Dieser Ansatz wurde zu einem Schlüsselfaktor für das „Alignment“ (Abstimmung) von großen Sprachmodellen (LLM), also die Anpassung ihres Verhaltens an menschliche Werte und Absichten[2].

Entwicklung der Methode und erste Erfolge

Die Idee, Agenten mithilfe von menschlichem Feedback zu trainieren, entstand in den 2010er Jahren. Eines der ersten bedeutenden Ergebnisse war die Arbeit von Paul Christiano und Kollegen von OpenAI und DeepMind im Jahr 2017. Sie zeigten, dass menschliche Präferenzen eine manuell definierte Belohnungsfunktion bei komplexen RL-Aufgaben ersetzen können. In ihrem Experiment betrachtete ein Mensch Verhaltensfragmente eines Agenten (z. B. in einem Atari-Spiel) und wählte die bevorzugte Variante aus. Auf Basis dieser Paarvergleiche wurde ein Belohnungsmodell trainiert, was es ermöglichte, eine Reihe komplexer Aufgaben erfolgreich zu lösen, indem Feedback zu weniger als 1 % der Aktionen des Agenten eingeholt wurde[3].

In den folgenden Jahren wurde die Methode auf das Training von Sprachmodellen angewendet. Im Jahr 2020 setzten Forscher von OpenAI RLHF erstmals für die Aufgabe der Textzusammenfassung ein. Sie trainierten ein Belohnungsmodell, das vorhersagte, welche Zusammenfassung ein Mensch bevorzugen würde, und trainierten das Modell mithilfe von RL weiter, um diese Bewertung zu optimieren. Die Ergebnisse zeigten eine signifikant höhere Qualität der Zusammenfassungen, die sogar Modelle übertraf, die auf von Menschen erstellten Referenzbeispielen trainiert wurden[4].

RLHF bei großen Sprachmodellen

Große Sprachmodelle haben erheblich von der Einführung von RLHF profitiert, um ihre Antworten in Bezug auf Nützlichkeit, Genauigkeit und Befolgung von Anweisungen zu verbessern.

InstructGPT und ChatGPT

Ein entscheidender Schritt war eine Studie von OpenAI, die die InstructGPT-Modelle (2022) vorstellte – Versionen von GPT-3, die unter menschlicher Beteiligung weiter trainiert wurden[5]. Die Methodik umfasste drei Phasen:

  1. Supervised Fine-Tuning (SFT): Das Modell wird auf einem kleinen Satz hochwertiger Demonstrationen feinabgestimmt, bei denen menschliche Bewerter manuell Beispiele für gewünschte Antworten auf verschiedene Anfragen verfassen.
  2. Training des Belohnungsmodells (Reward Model): Für eine Vielzahl von Anfragen werden mehrere Antworten des Modells generiert. Menschliche Bewerter stufen diese Antworten vom besten zum schlechtesten ein. Auf der Grundlage dieser Präferenzdaten wird ein Belohnungsmodell trainiert, das lernt, den von Menschen bevorzugten Antworten höhere Bewertungen zuzuordnen.
  3. Optimierung mittels RL: Das ursprüngliche Sprachmodell wird mithilfe des Proximal Policy Optimization (PPO) Algorithmus weiter trainiert, um die vom Belohnungsmodell vergebene Bewertung zu maximieren. Während der Optimierung wird zudem eine Strafe für eine zu starke Abweichung vom ursprünglichen SFT-Modell eingeführt, um eine Verschlechterung der sprachlichen Fähigkeiten zu verhindern.

Tests zeigten, dass selbst das relativ kleine InstructGPT-Modell (1,3 Mrd. Parameter) das riesige GPT-3-Modell (175 Mrd. Parameter) in Bezug auf Nützlichkeit übertraf. Die InstructGPT-Modelle generierten auch deutlich seltener toxische, voreingenommene oder unzuverlässige Inhalte[5].

Die Weiterentwicklung dieser Linie führte zur Schaffung von dialogorientierten Modellen, von denen ChatGPT (OpenAI, Ende 2022) das bekannteste wurde. ChatGPT ist ein Modell der GPT-3.5-Reihe, das speziell für die Dialogführung mithilfe von RLHF nach einer ähnlichen Methodik trainiert wurde[6].

Verbreitung in der Industrie

Die RLHF-Methode wurde auch von anderen führenden Organisationen übernommen. DeepMind entwickelte den dialogfähigen Agenten Sparrow (2022), der mithilfe von RLHF und einem zusätzlichen Satz von Regeln in natürlicher Sprache (z. B. „keine gefährlichen Ratschläge geben“) trainiert wurde[7]. Das Unternehmen Anthropic nutzte ebenfalls ähnliche Prinzipien für das Training seiner Modelle. Bis 2023 wurde RLHF praktisch zu einem Standardbestandteil bei der Entwicklung der fortschrittlichsten Sprachmodelle[1].

Vorteile der Anwendung von RLHF

  • Übereinstimmung mit der Nutzerintention: Modelle, die ein RLHF-Tuning durchlaufen haben, befolgen Anweisungen deutlich besser und geben relevantere und nützlichere Antworten[5].
  • Reduzierung von Toxizität und schädlichen Inhalten: Die Einbeziehung des Menschen in den Trainingszyklus ermöglicht es, unerwünschte Antwortformen explizit zu bestrafen. Infolgedessen erzeugen RLHF-Modelle weitaus weniger toxische und voreingenommene Inhalte[5].
  • Verbesserung der Faktentreue und Reduzierung von „Halluzinationen“: Bewerter können Antworten mit erfundenen Fakten herabstufen, was das Modell dazu anregt, genauer zu sein. InstructGPT- und ChatGPT-Modelle „erfinden“ seltener Fakten als ihre Vorgänger[5].
  • Trainingseffizienz: RLHF ermöglicht es, ein Modell zu verbessern, ohne den Trainingsdatensatz proportional zu vergrößern. Es werden keine riesigen Datenmengen benötigt, sondern qualitativ hochwertige Präferenzbewertungen.

Einschränkungen und Probleme

Ungeachtet der Erfolge weist die RLHF-Methode eine Reihe von Einschränkungen und offenen Problemen auf.

  • Qualität und Kosten der Sammlung menschlicher Daten: Die Effektivität von RLHF hängt direkt von der Qualität des Feedbacks ab. Die Erstellung eines solchen Datensatzes ist ein arbeitsintensiver und kostspieliger Prozess. Wenn zudem die Auswahl der Bewerter oder ihre Kriterien nicht objektiv sind, kann das Modell ihre Voreingenommenheit (Bias) übernehmen[2].
  • Risiko des „Reward Hacking“: Ein Modell, das auf eine bestimmte Belohnungsfunktion optimiert wird, kann beginnen, sich genau an diese Funktion anzupassen, anstatt an das eigentliche Ziel. Beispielsweise könnte es lernen, möglichst lange Antworten zu geben, wenn Bewerter Länge schätzen, oder Aussagen zu vermeiden, wenn sie für Ungenauigkeiten bestraft werden.
  • Fehlende Garantie der Faktentreue: RLHF fügt dem Modell kein neues Faktenwissen hinzu, sondern lehrt es lediglich die Form der Antwort, die Menschen gefällt. Daher wird das Problem der Halluzinationen nicht vollständig gelöst. Das Modell mag lernen, Unsicherheit besser zu verbergen, kann aber nicht immer Fakten überprüfen[6].
  • Skalierbarkeit von Präferenzen: Fragen wirft auch die Übertragbarkeit des Belohnungsmodells auf andere Aufgaben auf. Ein Modell, das auf Präferenzen für einen Satz von Anfragen trainiert wurde, kann sich unvorhersehbar verhalten, wenn es mit neuen Aufgaben in Bezug auf Stil oder Thema konfrontiert wird.

Fazit

RLHF hat sich als eine wichtige Methode für das „Alignment“ großer Sprachmodelle mit menschlichen Vorstellungen von guten Antworten etabliert. Es hat die Qualität der Interaktion mit KI-Assistenten erheblich verbessert und ihre Antworten nützlicher und sicherer gemacht. RLHF wird als ein Schlüsselwerkzeug auf dem Weg zur Entwicklung von Modellen betrachtet, die nicht nur plausiblen Text generieren, sondern auch menschliche Werte, Präferenzen und Intentionen im Kommunikationsprozess berücksichtigen können[8].

Literatur

  • Christiano, P. et al. (2017). Deep Reinforcement Learning from Human Preferences. arXiv:1706.03741.
  • Stiennon, N. et al. (2020). Learning to Summarize from Human Feedback. arXiv:2009.01325.
  • Nakano, R. et al. (2021). WebGPT: Browser-Assisted Question-Answering with Human Feedback. arXiv:2112.09332.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Glaese, A. et al. (2022). Improving Alignment of Dialogue Agents via Targeted Human Judgements. arXiv:2209.14375.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
  • Lee, H. et al. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
  • Liu, T. et al. (2023). A Survey of Reinforcement Learning from Human Feedback. arXiv:2312.14925.
  • Zhang, Y. et al. (2024). A Survey on Human Preference Learning for Large Language Models. arXiv:2406.11191.
  • Li, P. et al. (2024). Advancing Translation Preference Modeling with RLHF. arXiv:2402.11525.
  • McAleese, N. et al. (2024). LLM Critics Help Catch LLM Bugs. arXiv:2407.00215.

Einzelnachweise

  1. ↑ 1.0 1.1 „What Is Reinforcement Learning From Human Feedback (RLHF)?“. IBM. [1]
  2. ↑ 2.0 2.1 „Reinforcement learning from human feedback“. In Wikipedia. [2]
  3. ↑ Christiano, P. et al. «Deep reinforcement learning from human preferences». arXiv:1706.03741, 2017. [3]
  4. ↑ Stiennon, N. et al. «Learning to summarize from human feedback». arXiv:2009.01325, 2020. [4]
  5. ↑ 5.0 5.1 5.2 5.3 5.4 Ouyang, L. et al. «Training language models to follow instructions with human feedback». arXiv:2203.02155, 2022. [5]
  6. ↑ 6.0 6.1 „Introducing ChatGPT“. OpenAI, 2022. [6]
  7. ↑ Glaese, A. et al. «Improving alignment of dialogue agents via targeted human judgements». arXiv:2209.14375, 2022. [7]
  8. ↑ „Aligning language models to follow instructions“. OpenAI. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Reinforcement_learning_from_human_feedback_(RLHF)_(DE)&oldid=6283"