Reinforcement learning from human feedback (RLHF) (IT)

From Systems analysis Wiki
Jump to navigation Jump to search

Apprendimento per rinforzo con feedback umano (Reinforcement Learning from Human Feedback, RLHF) — è un metodo di Machine Learning in cui viene prima addestrato un apposito «modello di ricompensa» (reward model) sulla base del feedback fornito dagli esseri umani, dopodiché tale modello viene utilizzato nel processo di Reinforcement Learning (RL) per ottimizzare il comportamento di un agente intelligente[1].

RLHF consente di formalizzare obiettivi complessi o difficilmente definibili (ad esempio, una risposta «utile», «sicura» o «divertente») tramite le valutazioni degli esseri umani. Invece di definire manualmente una complessa funzione di ricompensa, RLHF permette di addestrare il reward model direttamente sulle preferenze umane. Questo approccio è diventato fondamentale per l'«allineamento» (alignment) dei Large Language Model (LLM), ovvero per adeguare il loro comportamento ai valori e alle intenzioni umane[2].

Sviluppo del metodo e primi risultati

L'idea di addestrare agenti utilizzando il feedback umano è nata negli anni 2010. Uno dei primi risultati significativi fu il lavoro di Paul Christiano e colleghi di OpenAI e DeepMind nel 2017. Essi dimostrarono che le preferenze umane possono sostituire una funzione di ricompensa definita manualmente in compiti complessi di RL. Nel loro esperimento, un essere umano osservava frammenti del comportamento dell'agente (ad esempio in un gioco Atari) e sceglieva la variante preferita. Sulla base di questi confronti a coppie fu addestrato un reward model, che permise di risolvere con successo una serie di compiti complessi ricevendo feedback su meno dell'1% delle azioni dell'agente[3].

Negli anni successivi, il metodo cominciò a essere applicato all'addestramento di modelli linguistici. Nel 2020, i ricercatori di OpenAI applicarono RLHF per la prima volta al compito di riassunto testuale. Addestrarono un reward model in grado di prevedere quale riassunto avrebbe preferito un essere umano e, tramite RL, eseguirono il fine-tuning del modello per ottimizzare tale valutazione. I risultati mostrarono una qualità di riassunto significativamente superiore, superando persino i modelli addestrati su esempi di riferimento umani[4].

RLHF nei Large Language Model

I Large Language Model hanno tratto notevoli benefici dall'introduzione di RLHF per migliorare le proprie risposte in termini di utilità, accuratezza e rispetto delle istruzioni.

InstructGPT e ChatGPT

Uno dei passi chiave fu la ricerca di OpenAI che presentò i modelli InstructGPT (2022) — versioni di GPT-3 sottoposte a fine-tuning con il coinvolgimento umano[5]. La metodologia si articolava in tre fasi:

  1. Supervised Fine-Tuning (SFT): Il modello viene sottoposto a fine-tuning su un piccolo insieme di dimostrazioni di alta qualità, in cui valutatori umani scrivono manualmente esempi di risposte desiderate a varie richieste.
  2. Addestramento del Reward Model: Per un insieme di richieste vengono generate più risposte del modello. I valutatori umani classificano queste risposte dalla migliore alla peggiore. Sulla base di questi dati sulle preferenze viene addestrato un reward model, che impara ad assegnare punteggi più alti alle risposte preferite dagli esseri umani.
  3. Ottimizzazione tramite RL: Il modello linguistico di partenza viene sottoposto a fine-tuning tramite l'algoritmo di Proximal Policy Optimization (PPO), al fine di massimizzare il punteggio assegnato dal reward model. Nel processo di ottimizzazione viene inoltre introdotta una penalità per le deviazioni eccessive dal modello SFT originale, al fine di prevenire il degrado delle capacità linguistiche.

I test mostrarono che anche il modello InstructGPT relativamente piccolo (1,3 miliardi di parametri) superò in utilità il gigantesco modello GPT-3 (175 miliardi di parametri). I modelli InstructGPT cominciarono inoltre a generare contenuti tossici, distorti o non attendibili con frequenza significativamente inferiore[5].

L'evoluzione di questa linea di ricerca portò alla creazione di modelli dialogici, il più noto dei quali divenne ChatGPT (OpenAI, fine 2022). ChatGPT è un modello della serie GPT-3.5, sottoposto a fine-tuning specifico per la conduzione di dialoghi mediante RLHF con una metodologia analoga[6].

Adozione nell'industria

Il metodo RLHF è stato adottato anche da altre organizzazioni leader. DeepMind ha sviluppato l'agente dialogico Sparrow (2022), addestrato con RLHF con l'aggiunta di un insieme di regole in linguaggio naturale (ad esempio, «non fornire consigli pericolosi»)[7]. Anche Anthropic ha utilizzato principi simili per addestrare i propri modelli. Entro il 2023, RLHF era diventato una componente praticamente standard nella creazione dei modelli linguistici più avanzati[1].

Vantaggi dell'applicazione di RLHF

  • Corrispondenza alle intenzioni dell'utente: I modelli sottoposti a RLHF fine-tuning seguono le istruzioni in modo significativamente migliore e forniscono risposte più rilevanti e utili[5].
  • Riduzione della tossicità e dei contenuti dannosi: Il coinvolgimento dell'essere umano nel ciclo di addestramento consente di penalizzare esplicitamente le forme di risposta indesiderate. Di conseguenza, i modelli RLHF generano contenuti molto meno tossici e distorti[5].
  • Miglioramento della veridicità e riduzione delle «allucinazioni»: I valutatori possono abbassare il rating delle risposte contenenti fatti inventati, spingendo il modello a essere più preciso. I modelli InstructGPT e ChatGPT «inventano» fatti con minore frequenza rispetto ai loro predecessori[5].
  • Efficienza dell'addestramento: RLHF consente di migliorare il modello senza un aumento proporzionale del dataset di addestramento. Non sono necessari enormi volumi di dati, bensì valutazioni qualitative delle preferenze.

Limitazioni e problemi

Nonostante i successi, il metodo RLHF presenta una serie di limitazioni e problemi aperti.

  • Qualità e costo della raccolta dei dati umani: L'efficacia di RLHF dipende direttamente dalla qualità del feedback. La raccolta di tale dataset è un processo laborioso e costoso. Inoltre, se il campione di valutatori o i loro criteri sono distorti, il modello può ereditarne la distorsione[2].
  • Rischio di «adattamento alla ricompensa» (Reward Hacking): Un modello ottimizzato per una determinata funzione di ricompensa può iniziare ad adattarsi proprio a quella funzione, anziché all'obiettivo reale. Ad esempio, può imparare a fornire risposte il più lunghe possibile se i valutatori apprezzano la lunghezza, oppure a evitare affermazioni se vengono penalizzati per le imprecisioni.
  • Assenza di garanzie di verità: RLHF non introduce nuove conoscenze fattuali nel modello, ma gli insegna soltanto la forma di risposta gradita agli esseri umani. Pertanto, il problema delle allucinazioni non viene risolto completamente. Il modello può imparare a nascondere meglio l'incertezza, ma non sarà sempre in grado di verificare i fatti[6].
  • Scalabilità delle preferenze: Suscita interrogativi anche il trasferimento del reward model ad altri compiti. Un modello addestrato sulle preferenze relative a un insieme di richieste può comportarsi in modo imprevedibile quando si trova di fronte a compiti nuovi per stile o tematica.

Conclusione

RLHF si è affermato come un metodo importante per l'«allineamento» dei Large Language Model alle aspettative umane riguardo alle buone risposte. Ha permesso di migliorare notevolmente la qualità dell'interazione con gli assistenti AI, rendendo le loro risposte più utili e sicure. RLHF è considerato uno strumento chiave nel percorso verso la creazione di modelli capaci non solo di generare testo plausibile, ma anche di tenere conto dei valori, delle preferenze e delle intenzioni umane nel processo di comunicazione[8].

Riferimenti

  • Articolo di OpenAI sul fine-tuning dei modelli per il rispetto delle istruzioni
  • Panoramica di RLHF da IBM

Bibliografia

  • Christiano, P. et al. (2017). Deep Reinforcement Learning from Human Preferences. arXiv:1706.03741.
  • Stiennon, N. et al. (2020). Learning to Summarize from Human Feedback. arXiv:2009.01325.
  • Nakano, R. et al. (2021). WebGPT: Browser-Assisted Question-Answering with Human Feedback. arXiv:2112.09332.
  • Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
  • Glaese, A. et al. (2022). Improving Alignment of Dialogue Agents via Targeted Human Judgements. arXiv:2209.14375.
  • Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
  • Lee, H. et al. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
  • Liu, T. et al. (2023). A Survey of Reinforcement Learning from Human Feedback. arXiv:2312.14925.
  • Zhang, Y. et al. (2024). A Survey on Human Preference Learning for Large Language Models. arXiv:2406.11191.
  • Li, P. et al. (2024). Advancing Translation Preference Modeling with RLHF. arXiv:2402.11525.
  • McAleese, N. et al. (2024). LLM Critics Help Catch LLM Bugs. arXiv:2407.00215.

Note

  1. ↑ 1.0 1.1 «What Is Reinforcement Learning From Human Feedback (RLHF)?». IBM. [1]
  2. ↑ 2.0 2.1 «Reinforcement learning from human feedback». In Wikipedia. [2]
  3. ↑ Christiano, P. et al. «Deep reinforcement learning from human preferences». arXiv:1706.03741, 2017. [3]
  4. ↑ Stiennon, N. et al. «Learning to summarize from human feedback». arXiv:2009.01325, 2020. [4]
  5. ↑ 5.0 5.1 5.2 5.3 5.4 Ouyang, L. et al. «Training language models to follow instructions with human feedback». arXiv:2203.02155, 2022. [5]
  6. ↑ 6.0 6.1 «Introducing ChatGPT». OpenAI, 2022. [6]
  7. ↑ Glaese, A. et al. «Improving alignment of dialogue agents via targeted human judgements». arXiv:2209.14375, 2022. [7]
  8. ↑ «Aligning language models to follow instructions». OpenAI. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Reinforcement_learning_from_human_feedback_(RLHF)_(IT)&oldid=6292"