Least-to-most Prompting (SV)

Least-to-Most Prompting (LtM) — en metod för att utveckla promptar för stora språkmodeller (LLM), som gör det möjligt att lösa komplexa uppgifter genom att dekomponera dem i enklare steg och sedan lösa dessa deluppgifter i sekvens. Detta tillvägagångssätt föreslogs år 2022 av en forskargrupp från Google Brain under ledning av Denny Zhou och presenterades på konferensen ICLR 2023. Metodens huvudsakliga syfte är att övervinna begränsningarna hos Chain-of-Thought-promptar, som hanterar uppgifter som är mer komplexa än de exempel som visades för modellen under prompt-träningen dåligt. Least-to-Most Prompting gör det möjligt för modellen att generalisera till uppgifter med ökad svårighetsgrad, samtidigt som metoden förblir tolkningsbar och inte kräver ytterligare träning av det neurala nätverket. Metodens namn är hämtat från pedagogisk psykologi, där «least to most prompting» betecknar hur en student ges en serie ledtrådar med gradvis ökande stödnivå för att tillägna sig en ny färdighet.

Beskrivning av metoden

Metoden Least-to-Most Prompting genomförs i två steg, vart och ett av vilket ges till själva språkmodellen via noggrant utformade promptar (utan ytterligare fine-tuning av modellen):

1. Dekomposition av uppgiften. I det första steget får modellen en instruktion och exempel som visar hur en komplex uppgift bryts ned i en sekvens av enklare deluppgifter. Sedan presenteras modellen med en konkret komplex fråga och den förväntas producera en lista med förenklade mellanliggande frågor. Till exempel kan modellen för en komplex uppgift självständigt formulera en förtydligande delfråga som adresserar en del av det ursprungliga problemet.
2. Sekventiell lösning av deluppgifter. I det andra steget löser modellen de erhållna deluppgifterna en i taget — från den enklaste till den mest komplexa. För detta föregås varje deluppgift av kontext: exempel på lösningar av liknande delproblem, samt (om sådana finns) redan lösta tidigare deluppgifter tillsammans med deras svar. När modellen löst den första deluppgiften lägger den till svaret i prompttexten och tar emot nästa deluppgift, med de tidigare lösningarna som kontext. Detta fortsätter tills den sista, mest komplexa deluppgiften är löst, vilken direkt besvarar den ursprungliga frågan.

Exempel: en ursprunglig textuppgift delas upp i två steg med hjälp av Least-to-Most-metoden. Först formulerar och löser modellen en mellanliggande fråga («How long does each trip take?» — «Hur lång tid tar varje tur?»), och får svaret "each trip takes 5 minutes" («varje tur tar 5 minuter»). Detta svar inkluderas i en ny prompt tillsammans med nästa deluppgift — den ursprungliga frågan ("How many times can she slide before it closes?" — «Hur många gånger hinner hon åka innan attraktionen stänger?»). Med det föregående resultatet beräknar modellen det slutliga svaret (i detta exempel: 3 gånger).

Principellt skiljer sig Least-to-Most Prompting från det standard chain-of-thought-baserade tillvägagångssättet genom att det delar upp resonemangsprocessen i separata förfrågningar med kunskapsackumulering, i stället för att generera en enda sammanhängande «tankekedjа» inom ramen för ett enda svar. Detta stegvisa, rekursiva tillvägagångssätt gör det möjligt för modellen att gradvis gå vidare mot alltmer komplexa aspekter av uppgiften och effektivt eliminera problemet med easy-to-hard generalization (när modellen ställs inför en uppgift som är svårare än de i träningsexemplen). Det bör noteras att båda stadierna i LtM-metoden genomförs via few-shot prompting (demonstration av ett fåtal exempel) och inte kräver ytterligare träning av modellen eller fine-tuning på nya data. Dessutom är metoden kompatibel med andra tekniker för att förbättra LLM-resonemang — den kan till exempel kombineras med chain-of-thought och self-consistency (sekventiell sampling av flera lösningar) vid generering av svar, även om detta inte är nödvändigt.

Experimentella resultat och tillämpningar

I det arbete som föreslog Least-to-Most Prompting visades att denna metod överträffar standardmetoder för promptning (inklusive chain-of-thought) på ett antal uppgifter som kräver komplext flerstegsresonemang. Den demonstrerade framgångsrikt sina fördelar inom tre nyckelkategorier av uppgifter:

• Symboliska och algoritmiska uppgifter. Till exempel i uppgiften om sammansättning av sista bokstäverna i ord (att sekventiellt ta den sista bokstaven i varje ord i en lista och bilda ett nytt ord av dem) förbättrade LtM-metoden avsevärt modellens förmåga att generalisera till längre ordsekvenser. Utan specialträning löste modellen GPT-3 (code-davinci-002) med chain-of-thought-promptar sådana uppgifter korrekt i bara ungefär 32 % av fallen när ordlistan hade längden 12, medan noggrannheten med Least-to-Most Prompting nådde ~74 %. För korta listor (av den längd som förekom i exemplen) klarade båda strategierna uppgifterna väl, men när sekvenslängden ökade sjönk kvaliteten på chain-of-thought kraftigt, medan Least-to-Most uppvisade en jämnare minskning och bibehöll hög noggrannhet. Detta demonstrerar LtM-metodens förmåga att generalisera lösningslogiken till mer komplexa (längre) indata.
• Kompositionell generalisering (compositional generalization). Denna kategori av uppgifter inkluderar exempelvis översättning av textinstruktioner till en sekvens av handlingar (som i benchmark SCAN, som kräver utförande av kommandon av typen "jump twice and run" och generalisering till längre kombinationer). LtM-metoden gjorde det möjligt för LLM att framgångsrikt lösa även de mest komplexa varianterna av sådana uppgifter. I synnerhet nådde modellen GPT-3 med LtM-promptar 99 % noggrannhet på alla varianter av datauppdelning i SCAN-datasetet (inklusive den svåraste length split, där testsekvenserna är längre än träningssekvenserna), med endast 14 exempel i prompten. Till jämförelse gav standard chain-of-thought-metoden bara omkring 16 % noggrannhet under liknande förhållanden. Dessutom uppnåddes detta utan träning av modellen på träningsdata, medan tidigare bästa lösningar för SCAN förlitade sig på speciella neuro-symboliska arkitekturer eller metoder för dataaugmentering som krävde användning av hela träningssetet med >15 000 exempel. Least-to-Most Prompting demonstrerade således en aldrig tidigare skådad förmåga till kompositionell generalisering för modeller utan fine-tuning.
• Matematiska textuppgifter. Metoden testades på aritmetiska textuppgifter, till exempel från datasetet GSM8K (komplexa textuppgifter inom addition/subtraktion och logik), samt på ett antal frågor från samlingen DROP (som testar förmågan att extrahera och beräkna numerisk information i text). Även här visade Least-to-Most Prompting en förbättrad noggrannhet jämfört med chain-of-thought. För GSM8K ökade svarsnoggrannheten med modellen code-davinci-002 från ~60,9 % till ~62,4 %. På deluppgifter i DROP var vinsten ännu mer märkbar: till exempel steg noggrannheten på en del av frågorna om «fotbolls»-fakta från ~59,6 % (chain-of-thought) till ~73,4 % med LtM. Även om kvalitetsökningen på matematiska uppgifter var mindre dramatisk än i SCAN, noterar författarna en viktig punkt: nästan varje GSM8K-uppgift kan lösas korrekt om modellen får rätt dekomposition av problemet. Detta tyder på att nyckeln till framgångsrik lösning är välformulerade mellanliggande frågor; LtM-metoden är just inriktad på att automatiskt generera sådana frågor och lösa dem sekventiellt.

Sammanfattningsvis bekräftar experimenten att Least-to-Most Prompting avsevärt överträffar såväl naiv few-shot-promptning utan resonemang som chain-of-thought-metoden på många typer av uppgifter som kräver flerstegsslutledning. Metoden gör det möjligt för LLM att lösa problem som är mer komplexa än de problem modellen ursprungligen bekantades med via exempel, och utvidgar gränserna för in-context learning (inlärning i realtid via promptar).

Begränsningar och fortsatta riktningar

Trots framgångarna har metoden Least-to-Most Prompting ett antal begränsningar. Framför allt kräver olika typer av uppgifter olika tillvägagångssätt för dekomposition. En promptmall som effektivt delar upp en matematisk uppgift kanske är helt olämplig för en logisk uppgift eller en uppgift som kräver sunt förnuft. Till exempel visade sig promptar som lärt modellen att dela upp textuppgifter i matematik i steg vara värdelösa för en fråga inom sunt förnuft som «Använde Aristoteles en bärbar dator?» — för en sådan uppgift krävs en helt annan uppdelningsstrategi. Därför måste man för varje ny domän eller uppgiftstyp på nytt välja ut exempel på uppdelning av uppgiften i deluppgifter och utforma en motsvarande prompt som illustrerar lösningens struktur. Med andra ord generaliseras kunskapen om hur man korrekt dekomponerar en uppgift inte universellt av LLM självt — den måste anges via exempel anpassade för en specifik uppgiftsklass.

Dessutom beror LtM:s effektivitet i hög grad på hur väl uppgiften lämpar sig för uppdelning i självständiga delmål. Om modellen inte lyckas formulera de mellanliggande stegen korrekt, eller om nödvändiga deluppgifter utelämnas, kommer den slutliga lösningen också att bli felaktig. Icke desto mindre konstaterar utvecklarna själva att man i många fall kan omvandla ett misslyckande till en framgång om en människa manuellt föreslår rätt dekomposition — då löser modellen enkelt varje del och kombinerar svaren framgångsrikt. Detta understryker potentialen för vidare utveckling av metoden: förbättring av kvaliteten på automatisk generering av deluppgifter och eventuellt interaktiv träning av modeller. I sina slutsatser föreslår LtM-författarna att framtiden för promptmetoder kan ligga i riktningen mot en fullfjädrad tvåvägsdialog med modellen, där modellen får omedelbar återkoppling och korrigering av sina mellanliggande steg. Metoden Least-to-Most Prompting kan ses som ett steg i denna riktning, som visar att sekventiell interaktion med modellen genom uppdelning och stegvis lösning av uppgifter avsevärt kan utvidga dess tankeförmåga utan träning på nya data.

Länkar

• Originalartikeln «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» på arXiv
• HTML-version av originalartikeln
• Vad är Least-to-Most Prompting? — artikel från AI Safety Info
• Metodöversikt på Medium
• Sammanfattande översikt av prompt engineering-metoder på arXiv

Litteratur

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.