Reinforcement learning from human feedback (RLHF) (FR)

L'apprentissage par renforcement à partir de retours humains (Reinforcement Learning from Human Feedback, RLHF) est une méthode d'apprentissage automatique dans laquelle un « modèle de récompense » (reward model) spécial est d'abord entraîné sur la base des retours humains, puis utilisé dans un processus d'apprentissage par renforcement (RL) pour optimiser le comportement d'un agent intelligent.

Le RLHF permet de formaliser des objectifs complexes ou difficiles à définir (par exemple, une réponse « utile », « sûre » ou « amusante ») grâce aux évaluations humaines. Plutôt que de définir manuellement une fonction de récompense complexe, le RLHF permet d'entraîner un modèle de récompense directement sur les préférences humaines. Cette approche est devenue essentielle pour l'« alignement » (alignment) des grands modèles de langage (LLM), c'est-à-dire l'ajustement de leur comportement aux valeurs et intentions humaines.

Développement de la méthode et premières avancées

L'idée d'entraîner des agents en utilisant les retours humains a émergé dans les années 2010. L'un des premiers résultats significatifs a été le travail de Paul Christiano et de ses collègues d'OpenAI et de DeepMind en 2017. Ils ont démontré que les préférences humaines pouvaient remplacer une fonction de récompense définie manuellement dans des tâches complexes de RL. Dans leur expérience, un humain visionnait des extraits du comportement d'un agent (par exemple, dans un jeu Atari) et choisissait l'option la plus préférable. Sur la base de ces comparaisons par paires, un modèle de récompense a été entraîné, ce qui a permis de résoudre avec succès plusieurs tâches complexes en ne recevant des retours que sur moins de 1 % des actions de l'agent.

Dans les années qui ont suivi, la méthode a été appliquée à l'entraînement de modèles de langage. En 2020, des chercheurs d'OpenAI ont utilisé pour la première fois le RLHF pour la tâche de résumé de texte. Ils ont entraîné un modèle de récompense prédisant quel résumé un humain préférerait, puis ont affiné le modèle à l'aide du RL pour optimiser cette évaluation. Les résultats ont montré une qualité de résumé nettement supérieure, surpassant même les modèles entraînés sur des exemples de référence humains.

Le RLHF dans les grands modèles de langage

Les grands modèles de langage ont considérablement bénéficié de l'intégration du RLHF pour améliorer leurs réponses en termes d'utilité, de précision et de respect des instructions.

InstructGPT et ChatGPT

Une étape clé a été la recherche d'OpenAI présentant les modèles InstructGPT (2022) — des versions de GPT-3 affinées avec une participation humaine. La méthodologie comprenait trois étapes :

1. Réglage fin supervisé (Supervised Fine-Tuning, SFT) : Le modèle est affiné sur un petit ensemble de démonstrations de haute qualité, où des évaluateurs humains rédigent manuellement des exemples de réponses souhaitées à diverses requêtes.
2. Entraînement du modèle de récompense (Reward Model) : Pour un grand nombre de requêtes, plusieurs réponses du modèle sont générées. Des évaluateeurs humains classent ces réponses de la meilleure à la moins bonne. Sur la base de ces données de préférence, un modèle de récompense est entraîné pour attribuer des scores plus élevés aux réponses préférées par les humains.
3. Optimisation avec le RL : Le modèle de langage initial est affiné à l'aide de l'algorithme d'optimisation de politique proximale (PPO) pour maximiser le score attribué par le modèle de récompense. Au cours de l'optimisation, une pénalité est également introduite pour éviter un trop grand écart par rapport au modèle SFT initial, afin de prévenir la dégradation des capacités linguistiques.

Les tests ont montré que même un modèle InstructGPT relativement petit (1,3 milliard de paramètres) surpassait en utilité le modèle géant GPT-3 (175 milliards de paramètres). Les modèles InstructGPT ont également généré beaucoup moins de contenu toxique, biaisé ou inexact.

Le développement de cette approche a conduit à la création de modèles conversationnels, dont le plus célèbre est ChatGPT (OpenAI, fin 2022). ChatGPT est un modèle de la série GPT-3.5, spécifiquement affiné pour le dialogue en utilisant le RLHF selon une méthodologie similaire.

Adoption par l'industrie

La méthode RLHF a également été adoptée par d'autres organisations de premier plan. DeepMind a développé l'agent conversationnel Sparrow (2022), entraîné à l'aide du RLHF avec l'ajout d'un ensemble de règles en langage naturel (par exemple, « ne pas donner de conseils dangereux »). L'entreprise Anthropic a également utilisé des principes similaires pour entraîner ses modèles. En 2023, le RLHF était devenu un composant quasi standard dans la création des modèles de langage les plus avancés.

Avantages de l'application du RLHF

• Alignement avec les intentions de l'utilisateur : Les modèles affinés par RLHF suivent beaucoup mieux les instructions et fournissent des réponses plus pertinentes et utiles.
• Réduction de la toxicité et du contenu préjudiciable : L'implication humaine dans la boucle d'entraînement permet de pénaliser explicitement les formes de réponse indésirables. En conséquence, les modèles RLHF génèrent beaucoup moins de contenu toxique et biaisé.
• Amélioration de la véracité et réduction des « hallucinations » : Les évaluateurs peuvent déclasser les réponses contenant des faits inventés, incitant le modèle à être plus précis. Les modèles InstructGPT et ChatGPT « inventent » moins souvent des faits que leurs prédécesseurs.
• Efficacité de l'entraînement : Le RLHF permet d'améliorer un modèle sans augmenter proportionnellement la taille de l'échantillon d'entraînement. Il ne nécessite pas d'énormes volumes de données, mais des évaluations de préférences de qualité.

Limites et problèmes

Malgré ses succès, la méthode RLHF présente un certain nombre de limites et de problèmes non résolus.

• Qualité et coût de la collecte des données humaines : L'efficacité du RLHF dépend directement de la qualité des retours. La collecte d'un tel dataset est un processus laborieux et coûteux. De plus, si l'échantillon d'évaluateurs ou leurs critères sont biaisés, le modèle peut hériter de ces biais.
• Risque de « piratage de récompense » (Reward Hacking) : Un modèle optimisé pour une fonction de récompense spécifique peut commencer à s'adapter à cette fonction plutôt qu'à l'objectif réel. Par exemple, il peut apprendre à donner des réponses aussi longues que possible si les évaluateurs valorisent la longueur, ou à éviter les affirmations s'il est pénalisé pour les inexactitudes.
• Absence de garantie de vérité : Le RLHF n'introduit pas de nouvelles connaissances factuelles dans le modèle, mais lui apprend simplement la forme de réponse qui plaît aux humains. Par conséquent, le problème des hallucinations n'est pas entièrement résolu. Le modèle peut apprendre à mieux dissimuler son incertitude, mais il ne pourra pas toujours vérifier les faits.
• Scalabilité des préférences : Le transfert du modèle de récompense à d'autres tâches soulève également des questions. Un modèle entraîné sur les préférences pour un ensemble de requêtes donné peut se comporter de manière imprévisible face à des tâches nouvelles en termes de style ou de sujet.

Conclusion

Le RLHF s'est imposé comme une méthode essentielle pour « aligner » les grands modèles de langage avec les conceptions humaines de ce que sont de bonnes réponses. Il a permis d'améliorer considérablement la qualité de l'interaction avec les assistants d'IA, rendant leurs réponses plus utiles et plus sûres. Le RLHF est considéré comme un outil clé sur la voie de la création de modèles capables non seulement de générer un texte plausible, mais aussi de prendre en compte les valeurs, les préférences et les intentions humaines au cours de la communication.

Liens externes

• Article d'OpenAI sur le réglage fin des modèles pour suivre les instructions
• Vue d'ensemble du RLHF par IBM

Bibliographie

• Christiano, P. et al. (2017). Deep Reinforcement Learning from Human Preferences. arXiv:1706.03741.
• Stiennon, N. et al. (2020). Learning to Summarize from Human Feedback. arXiv:2009.01325.
• Nakano, R. et al. (2021). WebGPT: Browser-Assisted Question-Answering with Human Feedback. arXiv:2112.09332.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Glaese, A. et al. (2022). Improving Alignment of Dialogue Agents via Targeted Human Judgements. arXiv:2209.14375.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Lee, H. et al. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
• Liu, T. et al. (2023). A Survey of Reinforcement Learning from Human Feedback. arXiv:2312.14925.
• Zhang, Y. et al. (2024). A Survey on Human Preference Learning for Large Language Models. arXiv:2406.11191.
• Li, P. et al. (2024). Advancing Translation Preference Modeling with RLHF. arXiv:2402.11525.
• McAleese, N. et al. (2024). LLM Critics Help Catch LLM Bugs. arXiv:2407.00215.