Least-to-most Prompting (IT)

Least-to-Most Prompting (LtM) — un metodo di progettazione di prompt per i grandi modelli linguistici (LLM), che consente di risolvere problemi complessi attraverso la loro decomposizione in fasi più semplici, con successiva risoluzione sequenziale di tali sottocompiti. Questo approccio è stato proposto nel 2022 da un gruppo di ricercatori di Google Brain guidati da Denny Zhou e presentato alla conferenza ICLR 2023. L'obiettivo principale del metodo è superare il limite dei prompt di tipo Chain-of-Thought, che gestiscono male i problemi più complessi rispetto agli esempi mostrati al modello durante l'apprendimento tramite prompt. Least-to-Most Prompting consente al modello di generalizzare a problemi di maggiore complessità, rimanendo al contempo interpretabile e senza richiedere ulteriore addestramento della rete neurale. Il nome del metodo è mutuato dalla psicologia pedagogica, dove «least to most prompting» indica la somministrazione allo studente di una serie di suggerimenti con un livello di assistenza crescente per l'acquisizione di una nuova competenza.

Descrizione del metodo

Il metodo Least-to-Most Prompting si realizza in due fasi, ciascuna delle quali viene specificata al modello linguistico stesso tramite carefully-crafted prompts (senza ulteriore fine-tuning del modello):

1. Decomposizione del problema. Nella prima fase, il modello riceve un'istruzione ed esempi che mostrano come scomporre un problema complesso in una sequenza di sottocompiti più semplici. Successivamente, al modello viene presentata una domanda complessa specifica e deve produrre un elenco di domande intermedie semplificate. Ad esempio, per un problema complesso il modello può autonomamente formulare una sotto-domanda che affronta una parte del problema originale.
2. Risoluzione sequenziale dei sottocompiti. Nella seconda fase, il modello risolve i sottocompiti ottenuti uno alla volta — dal più semplice al più complesso. A tale scopo, ogni sottocompito è preceduto da un contesto: esempi di soluzioni di sotto-problemi analoghi, nonché (se disponibili) i sottocompiti precedenti già risolti insieme alle loro risposte. Dopo aver risolto il primo sottocompito, il modello aggiunge la relativa risposta al testo del prompt e riceve il sottocompito successivo, utilizzando le soluzioni precedenti come contesto. Questo processo continua fino alla risoluzione del sottocompito finale, il più complesso, che risponde direttamente alla domanda originale.

Esempio: un problema testuale originale viene suddiviso in due fasi tramite il metodo Least-to-Most. Inizialmente il modello formula e risolve una domanda intermedia («How long does each trip take?» — «Quanto tempo dura ogni viaggio?»), ottenendo la risposta «each trip takes 5 minutes» («ogni viaggio dura 5 minuti»). Questa risposta viene inclusa nel nuovo prompt insieme al sottocompito successivo — la domanda originale («How many times can she slide before it closes?» — «Quante volte riesce a scendere prima che l'attrazione chiuda?»). Utilizzando il risultato precedente, il modello calcola la risposta finale (in questo esempio: 3 volte).

In linea di principio, Least-to-Most Prompting si distingue dall'approccio standard chain-of-thought in quanto suddivide il processo di ragionamento in richieste separate con accumulo di conoscenza, invece di generare un'unica «catena di pensieri» continua nell'ambito di una singola risposta. Questo approccio graduale e ricorsivo consente al modello di passare progressivamente agli aspetti sempre più complessi del problema, eliminando efficacemente il problema dell'easy-to-hard generalization (quando il modello si trova di fronte a un problema più difficile rispetto a quelli presenti negli esempi di addestramento). Si noti che entrambe le fasi del metodo LtM vengono realizzate tramite few-shot prompting (dimostrazione di alcuni esempi) e non richiedono ulteriore addestramento del modello né fine-tuning su nuovi dati. Inoltre, il metodo è compatibile con altre tecniche di miglioramento del ragionamento negli LLM; ad esempio, può essere combinato con chain-of-thought e self-consistency (campionamento sequenziale di più soluzioni) durante la generazione della risposta, sebbene ciò non sia necessario.

Risultati sperimentali e applicazioni

Nel lavoro che ha proposto il Least-to-Most Prompting è stato dimostrato che questo metodo supera i metodi di prompting standard (incluso il chain-of-thought) su una serie di problemi che richiedono un ragionamento complesso a più passi. Ha dimostrato con successo i propri vantaggi in tre categorie chiave di problemi:

• Problemi simbolici e algoritmici. Ad esempio, nel problema della concatenazione delle ultime lettere delle parole (prendere sequenzialmente l'ultima lettera di ogni parola in un elenco e comporre con esse una nuova parola), il metodo LtM ha notevolmente migliorato la capacità del modello di generalizzare a sequenze di parole più lunghe. Senza addestramento specifico, il modello GPT-3 (code-davinci-002) con prompt chain-of-thought risolveva correttamente tali problemi solo in circa il 32% dei casi quando l'elenco di parole aveva lunghezza 12, mentre con l'utilizzo di Least-to-Most Prompting la precisione raggiungeva circa il 74%. Per elenchi brevi (della lunghezza presente negli esempi), entrambe le strategie funzionavano bene, ma all'aumentare della lunghezza della sequenza la qualità del chain-of-thought calava drasticamente, mentre Least-to-Most garantiva un calo più graduale e manteneva un'elevata precisione. Ciò dimostra la capacità del metodo LtM di generalizzare la logica della soluzione a dati in input più complessi (lunghi).
• Generalizzazione compositiva (compositional generalization). Questa categoria di problemi include, ad esempio, la traduzione di istruzioni testuali in una sequenza di azioni (come nel benchmark SCAN, che richiede l'esecuzione di comandi del tipo «jump twice and run» e la generalizzazione a combinazioni più lunghe). Il metodo LtM ha consentito agli LLM di risolvere con successo anche le varianti più complesse di tali problemi. In particolare, il modello GPT-3 con prompt LtM ha raggiunto il 99% di precisione su tutte le varianti di suddivisione dei dati nel dataset SCAN (inclusa la più difficile, length split, in cui le sequenze di test sono più lunghe di quelle di addestramento), utilizzando soli 14 esempi nel prompt. Per confronto, l'approccio standard chain-of-thought forniva solo circa il 16% di precisione in condizioni analoghe. Inoltre, questo risultato è stato ottenuto senza addestrare il modello sui dati di addestramento, mentre le precedenti migliori soluzioni per SCAN si basavano su architetture neuro-simboliche specializzate o metodi di augmentazione dei dati, che richiedevano l'uso dell'intero insieme di addestramento di oltre 15.000 esempi. Least-to-Most Prompting ha così dimostrato una capacità di generalizzazione compositiva senza precedenti per modelli non sottoposti a fine-tuning.
• Problemi matematici testuali. Il metodo è stato testato su problemi aritmetici in forma testuale, ad esempio dal dataset GSM8K (problemi testuali complessi di addizione/sottrazione e logica), nonché su una serie di domande del dataset DROP (che verificano la capacità di estrarre e calcolare informazioni numeriche nel testo). Anche in questo contesto, Least-to-Most Prompting ha mostrato un miglioramento della precisione rispetto al chain-of-thought. Per GSM8K, utilizzando il modello code-davinci-002, la precisione delle risposte è aumentata da circa il 60,9% a circa il 62,4%. Sui sottocompiti di DROP il vantaggio è stato ancora più evidente: ad esempio, su una parte delle domande riguardanti fatti «calcistici», la precisione è passata da circa il 59,6% (chain-of-thought) a circa il 73,4% con l'applicazione di LtM. Sebbene il miglioramento della qualità sui problemi matematici sia stato meno drastico rispetto a SCAN, gli autori sottolineano un aspetto importante: quasi qualsiasi problema di GSM8K viene risolto correttamente se il modello riceve una corretta decomposizione del problema. Ciò indica che la chiave per una risoluzione efficace risiede in domande intermedie ben formulate; l'approccio LtM è proprio orientato alla creazione automatica di tali domande e alla loro risoluzione sequenziale.

Complessivamente, gli esperimenti confermano che Least-to-Most Prompting supera significativamente sia il few-shot prompting naïf senza ragionamento, sia il metodo chain-of-thought su molti tipi di problemi che richiedono un'inferenza a più passi. Il metodo consente agli LLM di risolvere problemi più complessi rispetto a quelli con cui il modello si era inizialmente confrontato attraverso gli esempi, espandendo i confini dellin-context learning (apprendimento al volo tramite prompt).

Limitazioni e direzioni future

Nonostante i successi, il metodo Least-to-Most Prompting presenta alcune limitazioni. Prima di tutto, per diversi tipi di problemi sono necessari differenti approcci alla decomposizione. Un template di prompt che decompone efficacemente un problema matematico potrebbe essere del tutto inadatto per un problema logico o di buon senso comune. Ad esempio, i prompt che hanno insegnato al modello a suddividere in passi i problemi matematici testuali si sono rivelati inutili per una domanda di buon senso come «Aristotele usava un laptop?» — per tale problema è necessaria una strategia di scomposizione completamente diversa. Pertanto, per ogni nuovo dominio applicativo o tipo di problema è necessario selezionare nuovamente degli esempi di decomposizione del problema in sottocompiti e formulare un prompt corrispondente che illustri la struttura della soluzione. In altre parole, la conoscenza di come decomporre correttamente un problema non viene generalizzata universalmente dagli LLM stessi e deve essere specificata tramite esempi per ogni classe di problemi.

Inoltre, l'efficacia di LtM dipende sostanzialmente da quanto il problema si presta a essere suddiviso in sotto-obiettivi indipendenti. Se il modello non riesce a formulare correttamente i passi intermedi, o se alcuni sottocompiti necessari vengono omessi, anche la soluzione finale risulterà errata. Tuttavia, gli stessi sviluppatori osservano che in molti casi un insuccesso può trasformarsi in un successo se un essere umano suggerisce manualmente la corretta decomposizione — in tal caso il modello risolve agevolmente ciascuna parte e combina con successo le risposte. Ciò sottolinea il potenziale di ulteriore sviluppo dell'approccio: il miglioramento della qualità della generazione automatica dei sottocompiti e, possibilmente, dell'addestramento interattivo dei modelli. Nelle conclusioni, gli autori di LtM ipotizzano che il futuro dei metodi di prompting possa orientarsi verso un vero e proprio dialogo bidirezionale con il modello, in cui quest'ultimo riceve un feedback immediato e la correzione dei propri passi intermedi. Il metodo Least-to-Most Prompting può essere considerato un passo in questa direzione, dimostrando che l'interazione sequenziale con il modello attraverso la decomposizione e la risoluzione graduale dei problemi consente di ampliare significativamente le sue capacità di ragionamento senza addestramento su nuovi dati.

Riferimenti

• Articolo originale «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» su arXiv
• Versione HTML dell'articolo originale
• Cos'è il Least-to-Most Prompting? — articolo di AI Safety Info
• Panoramica del metodo su Medium
• Rassegna generale dei metodi di prompt engineering su arXiv

Bibliografia

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.