Least-to-most Prompting (NL)

Least-to-Most Prompting (LtM) — een methode voor het ontwikkelen van prompts voor grote taalmodellen (LLM), waarmee complexe taken kunnen worden opgelost door middel van decompositie in eenvoudigere stappen, gevolgd door het sequentieel oplossen van deze deeltaken. Deze aanpak werd in 2022 voorgesteld door een groep onderzoekers van Google Brain onder leiding van Denny Zhou en gepresenteerd op de conferentie ICLR 2023. Het belangrijkste doel van de methode is het overwinnen van de beperking van Chain-of-Thought-prompts, die slecht presteren op taken die complexer zijn dan de voorbeelden die aan het model zijn getoond tijdens het prompten. Least-to-Most Prompting stelt het model in staat om te generaliseren naar taken van hogere complexiteit, terwijl het interpreteerbaar blijft en geen aanvullende training van het neurale netwerk vereist. De naam van de methode is ontleend aan de pedagogische psychologie, waar «least to most prompting» het aanbieden van een reeks aanwijzingen met toenemend ondersteuningsniveau aan een student aanduidt, om een nieuwe vaardigheid te verwerven.

Beschrijving van de methode

De methode Least-to-Most Prompting wordt uitgevoerd in twee fasen, die elk aan het taalmodel zelf worden aangeboden via zorgvuldig samengestelde prompts (zonder aanvullende fine-tuning van het model):

1. Decompositie van de taak. In de eerste fase ontvangt het model een instructie en voorbeelden die demonstreren hoe een complexe taak kan worden opgesplitst in een reeks eenvoudigere deeltaken. Vervolgens wordt aan het model een concrete complexe vraag voorgelegd, en moet het een lijst van vereenvoudigde tussenvragen genereren. Zo kan het model voor een complexe taak zelfstandig een verduidelijkende deelvraag formuleren die een deel van het oorspronkelijke probleem aanpakt.
2. Sequentieel oplossen van deeltaken. In de tweede fase lost het model de verkregen deeltaken één voor één op — van de eenvoudigste naar de meest complexe. Hiervoor wordt elke deeltaak voorafgegaan door context: voorbeelden van oplossingen voor vergelijkbare deelproblemen, en (indien beschikbaar) reeds opgeloste voorgaande deeltaken samen met hun antwoorden. Na het oplossen van de eerste deeltaak voegt het model het antwoord toe aan de prompttekst en ontvangt het de volgende deeltaak, waarbij de eerdere oplossingen als context worden gebruikt. Dit gaat door totdat de laatste, meest complexe deeltaak is opgelost, die direct antwoord geeft op de oorspronkelijke vraag.

Voorbeeld: een oorspronkelijke tekstopgave wordt opgesplitst in twee fasen met behulp van de Least-to-Most methode. Eerst formuleert en beantwoordt het model een tussenvraag («How long does each trip take?» — «Hoe lang duurt één rit?»), waarbij het antwoord «each trip takes 5 minutes» («elke rit duurt 5 minuten») wordt verkregen. Dit antwoord wordt opgenomen in een nieuwe prompt samen met de volgende deeltaak — de oorspronkelijke vraag («How many times can she slide before it closes?» — «Hoe vaak kan ze glijden voordat de attractie sluit?»). Met behulp van het vorige resultaat berekent het model het uiteindelijke antwoord (in dit voorbeeld: 3 keer).

In essentie verschilt Least-to-Most Prompting van de standaard chain-of-thought aanpak doordat het het redeneerproces opsplitst in afzonderlijke verzoeken met kennisaccumulatie, in plaats van één doorlopende «gedachteketen» te genereren binnen één antwoord. Deze stapsgewijze, recursieve aanpak stelt het model in staat geleidelijk over te gaan naar steeds complexere aspecten van de taak, waardoor het probleem van easy-to-hard generalization effectief wordt opgelost (wanneer het model een taak tegenkomt die complexer is dan die in de trainingsvoorbeelden). Beide fasen van de LtM-methode worden uitgevoerd via few-shot prompting (het tonen van enkele voorbeelden) en vereisen geen aanvullende training of fine-tuning van het model op nieuwe data. Bovendien is de methode compatibel met andere technieken voor het verbeteren van het redeneren van LLM's; zo kan deze worden gecombineerd met chain-of-thought en self-consistency (het sequentieel samplen van meerdere oplossingen) bij het genereren van antwoorden, hoewel dit niet noodzakelijk is.

Experimentele resultaten en toepassingen

In het artikel dat Least-to-Most Prompting introduceerde, werd aangetoond dat deze methode standaard promptingmethoden overtreft (inclusief chain-of-thought) op een aantal taken die complexe meerstappige redenering vereisen. De methode toonde zijn voordelen succesvol aan in drie belangrijke taakcategorieën:

• Symbolische en algoritmische taken. Bijvoorbeeld, bij de taak van aaneenschakeling van de laatste letters van woorden (achtereenvolgens de laatste letter van elk woord in een lijst nemen en daaruit een nieuw woord samenstellen) verbeterde de LtM-methode het vermogen van het model om te generaliseren naar langere woordreeksen aanzienlijk. Zonder speciale training loste het model GPT-3 (code-davinci-002) met chain-of-thought prompts zulke taken slechts in ongeveer 32% van de gevallen correct op wanneer de woordenlijst lengte 12 had, terwijl met Least-to-Most Prompting een nauwkeurigheid van ~74% werd bereikt. Bij korte lijsten (van de lengte die in de voorbeelden voorkwam) presteerden beide strategieën goed, maar bij toenemende reekslengte daalde de kwaliteit van chain-of-thought sterk, terwijl Least-to-Most een gelijkmatigere afname vertoonde en een hoge nauwkeurigheid behield. Dit demonstreert het vermogen van de LtM-methode om de oplossingslogica te generaliseren naar complexere (langere) invoerdata.
• Compositionele generalisatie (compositional generalization). Deze taakcategorie omvat bijvoorbeeld het vertalen van tekstinstructies naar een reeks acties (zoals in de benchmark SCAN, waarbij opdrachten als «jump twice and run» moeten worden uitgevoerd en gegeneraliseerd naar langere combinaties). De LtM-methode stelde LLM's in staat zelfs de meest complexe varianten van dergelijke taken succesvol op te lossen. Het model GPT-3 met LtM-prompts behaalde 99% nauwkeurigheid op alle datasplitsingen in de SCAN-dataset (inclusief de moeilijkste length split, waarbij testsequenties langer zijn dan trainingssequenties), met slechts 14 voorbeelden in de prompt. Ter vergelijking: de standaard chain-of-thought aanpak gaf slechts ongeveer 16% nauwkeurigheid onder vergelijkbare omstandigheden. Bovendien werd dit bereikt zonder het model te trainen op trainingsdata, terwijl eerdere beste oplossingen voor SCAN gebruikmaakten van speciale neuro-symbolische architecturen of methoden voor data-augmentatie, waarvoor de volledige trainingsset van >15.000 voorbeelden nodig was. Zo demonstreerde Least-to-Most Prompting een ongekend vermogen tot compositionele generalisatie voor modellen zonder fine-tuning.
• Wiskundige tekstopgaven. De methode werd getest op rekenopgaven in tekstvorm, bijvoorbeeld uit de dataset GSM8K (complexe tekstopgaven over optellen/aftrekken en logica), evenals op een aantal vragen uit de set DROP (die het vermogen testen om numerieke informatie in tekst te extraheren en te berekenen). Ook hier toonde Least-to-Most Prompting een verbetering van de nauwkeurigheid ten opzichte van chain-of-thought. Zo steeg de nauwkeurigheid van antwoorden voor GSM8K bij gebruik van het model code-davinci-002 van ~60,9% naar ~62,4%. Op deeltaken van DROP was de winst nog duidelijker: op een deel van de vragen over «voetbal»-feiten steeg de nauwkeurigheid van ~59,6% (chain-of-thought) naar ~73,4% bij toepassing van LtM. Hoewel de kwaliteitsverbetering op wiskundige taken minder dramatisch was dan bij SCAN, benadrukken de auteurs een belangrijk punt: bijna elke GSM8K-taak kan correct worden opgelost als het model de juiste probleemdecompositie ontvangt. Dit toont aan dat de sleutel tot een succesvolle oplossing goed geformuleerde tussenvragen zijn; de LtM-aanpak is juist gericht op het automatisch aanmaken van zulke vragen en het sequentieel oplossen ervan.

Al met al bevestigen de experimenten dat Least-to-Most Prompting beduidend beter presteert dan zowel naïef few-shot prompten zonder redenering als de chain-of-thought methode op veel soorten taken die meerstappige inferentie vereisen. De methode stelt LLM's in staat problemen op te lossen die complexer zijn dan die waarmee het model aanvankelijk via voorbeelden kennismaakte, waardoor de grenzen van in-context learning (leren op het moment via prompts) worden verlegd.

Beperkingen en verdere richtingen

Ondanks de successen kent de methode Least-to-Most Prompting een aantal beperkingen. In de eerste plaats zijn voor verschillende typen taken verschillende benaderingen van decompositie vereist. Een promptsjabloon dat een wiskundige taak effectief opsplitst, kan volledig ongeschikt zijn voor een logische taak of een alledaagse taak op het gebied van gezond verstand. Zo bleken prompts die het model leerden wiskundige tekstopgaven in stappen op te delen, nutteloos voor een gezond-verstandvraag als «Gebruikte Aristoteles een laptop?» — voor zo'n taak is een geheel andere opsplitsingsstrategie nodig. Daarom moeten voor elk nieuw domein of type probleem opnieuw voorbeelden worden samengesteld van het opsplitsen van de taak in deeltaken, en moet een bijbehorende prompt worden geformuleerd die de oplossingsstructuur illustreert. Met andere woorden: de kennis van hoe een taak correct te decomponeren generaliseert niet universeel vanuit het LLM zelf; deze moet worden aangeboden via voorbeelden die zijn afgestemd op een specifieke klasse van taken.

Bovendien hangt de effectiviteit van LtM sterk af van de mate waarin de taak zich goed laat opsplitsen in zelfstandige subdoelen. Als het model de tussenstappen niet correct kan formuleren, of als bepaalde noodzakelijke deeltaken worden overgeslagen, zal de uiteindelijke oplossing ook onjuist zijn. Toch merken de ontwikkelaars op dat in veel gevallen een mislukking in een succes kan worden omgezet als een mens handmatig de juiste decompositie aanreikt — het model kan dan elk deel moeiteloos oplossen en de antwoorden succesvol combineren. Dit benadrukt het potentieel voor verdere ontwikkeling van de aanpak: het verbeteren van de kwaliteit van automatische deeltaakgeneratie en mogelijk interactief leren van modellen. In hun conclusie suggereren de auteurs van LtM dat de toekomst van promptingmethoden kan liggen in de richting van een volwaardige tweerichtingsdialoog met het model, waarbij het model onmiddellijke feedback ontvangt en correctie van zijn tussenstappen. De methode Least-to-Most Prompting kan worden beschouwd als een stap in die richting, en toont aan dat sequentiële interactie met het model via het opsplitsen en stapsgewijs oplossen van taken het mogelijk maakt om zijn redeneervermogens aanzienlijk uit te breiden zonder training op nieuwe data.

Verwijzingen

• Origineel artikel «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» op arXiv
• HTML-versie van het originele artikel
• Wat is Least-to-Most Prompting? — artikel van AI Safety Info
• Overzicht van de methode op Medium
• Samenvattend overzicht van prompt engineering-methoden op arXiv

Literatuur

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.