Least-to-most Prompting (CS)

Least-to-Most Prompting (LtM) — metoda vývoje promptů pro velké jazykové modely (LLM), která umožňuje řešit složité úlohy prostřednictvím jejich dekompozice na jednodušší kroky s následným postupným řešením těchto dílčích úloh. Tento přístup byl navržen v roce 2022 skupinou výzkumníků Google Brain pod vedením Dennyho Zhoua a představen na konferenci ICLR 2023. Hlavním cílem metody je překonat omezení Chain-of-Thought promptů, které si špatně poradí s úlohami složitějšími, než jsou příklady ukázané modelu při učení na promptech. Least-to-Most Prompting umožňuje modelu zobecňovat na úlohy vyšší obtížnosti, přičemž zůstává interpretovatelný a nevyžaduje dodatečné trénování neuronové sítě. Název metody je převzat z pedagogické psychologie, kde „least to most prompting" označuje poskytování studentovi série nápověd s narůstající mírou pomoci při osvojování nové dovednosti.

Popis metody

Metoda Least-to-Most Prompting se realizuje ve dvou fázích, přičemž každá z nich je zadávána samotným jazykovým modelům prostřednictvím carefully-crafted promptů (bez dodatečného dotrénování modelu):

1. Dekompozice úlohy. V první fázi model dostává instrukci a příklady demonstrující, jak rozložit složitou úlohu na posloupnost jednodušších dílčích úloh. Poté je modelu předložena konkrétní složitá otázka a model musí sestavit seznam zjednodušených meziotázek. Například pro složitou úlohu může model samostatně formulovat upřesňující podotázku adresující část původního problému.
2. Postupné řešení dílčích úloh. Ve druhé fázi model řeší získané dílčí úlohy postupně — od nejjednodušší k nejsložitější. Za tímto účelem každé dílčí úloze předchází kontext: příklady řešení podobných dílčích problémů a také (pokud existují) již vyřešené předchozí dílčí úlohy spolu s jejich odpověďmi. Po vyřešení první dílčí úlohy model přidá její odpověď k textu promptu a dostane další dílčí úlohu, přičemž využívá předchozí řešení jako kontext. Takto pokračuje až do vyřešení finální, nejsložitější dílčí úlohy, která přímo odpovídá na původní otázku.

Příklad: původní textová úloha je rozdělena do dvou fází pomocí metody Least-to-Most. Nejprve model formuluje a řeší meziotázku („How long does each trip take?" — „Jak dlouho trvá jedna jízda?") a získá odpověď „each trip takes 5 minutes" („každá jízda trvá 5 minut"). Tato odpověď je zahrnuta do nového promptu spolu s další dílčí úlohou – původní otázkou („How many times can she slide before it closes?" – „Kolikrát stihne sjet, než se atrakce zavře?"). S využitím předchozího výsledku model vypočítá finální odpověď (v tomto příkladu: 3krát).

Zásadně se Least-to-Most Prompting liší od standardního chain-of-thought přístupu tím, že rozděluje proces uvažování na samostatné dotazy s akumulací znalostí, namísto generování jednoho nepřerušovaného „řetězce myšlenek" v rámci jediné odpovědi. Takový postupný, rekurzivní přístup umožňuje modelu plynule přecházet k stále složitějším aspektům úlohy a účinně odstraňovat problém easy-to-hard generalization (kdy model narazí na úlohu složitější než ty, které byly v trénovacích příkladech). Je třeba poznamenat, že obě fáze LtM metody jsou realizovány prostřednictvím few-shot promptingu (ukázky několika příkladů) a nevyžadují dodatečné trénování modelu ani jeho dotrénování na nových datech. Metoda je navíc kompatibilní s dalšími technikami zlepšování uvažování LLM — lze ji například kombinovat s chain-of-thought a self-consistency (postupné vzorkování více řešení) při generování odpovědi, ačkoli to není nezbytné.

Experimentální výsledky a aplikace

V práci navrhující Least-to-Most Prompting bylo prokázáno, že tato metoda překonává standardní metody promptingu (včetně chain-of-thought) v řadě úloh vyžadujících složité vícekrokové uvažování. Úspěšně prokázala své výhody ve třech klíčových kategoriích úloh:

• Symbolické a algoritmické úlohy. Například v úloze konkatenace posledních písmen slov (postupně vzít poslední písmeno každého slova v seznamu a sestavit z nich nové slovo) metoda LtM výrazně zvýšila schopnost modelu zobecňovat na delší posloupnosti slov. Bez speciálního trénování model GPT-3 (code-davinci-002) s chain-of-thought prompty řešil tyto úlohy správně pouze přibližně v 32 % případů, když byl seznam slov délky 12, zatímco s využitím Least-to-Most Prompting dosahovala přesnost ~74 %. U krátkých seznamů (délky vyskytující se v příkladech) si obě strategie vedly dobře, avšak při nárůstu délky posloupnosti kvalita chain-of-thought rychle klesala, zatímco Least-to-Most zajišťoval plynulejší pokles a zachovával vysokou přesnost. To demonstruje schopnost LtM metody zobecňovat logiku řešení na složitější (delší) vstupní data.
• Kompoziční zobecnění (compositional generalization). Tato kategorie úloh zahrnuje například překlad textových instrukcí na posloupnost akcí (jako v benchmarku SCAN, vyžadujícím provádění příkazů typu „jump twice and run" a zobecňování na delší kombinace). Metoda LtM umožnila LLM úspěšně řešit i nejsložitější varianty těchto úloh. Konkrétně model GPT-3 s LtM prompty dosáhl 99 % přesnosti ve všech variantách rozdělení dat v sadě SCAN (včetně nejsložitějšího length split, kde jsou testovací posloupnosti delší než trénovací), přičemž použil pouze 14 příkladů v promptu. Pro srovnání, standardní chain-of-thought přístup dosahoval pouze přibližně 16 % přesnosti za analogických podmínek. Navíc toho bylo dosaženo bez trénování modelu na trénovacích datech, zatímco předchozí nejlepší řešení pro SCAN se opírala o speciální neuro-symbolické architektury nebo metody rozšíření dat vyžadující použití celé trénovací sady s více než 15 000 příklady. Least-to-Most Prompting tak prokázal bezprecedentní schopnost kompozičního zobecnění pro modely bez dotrénování.
• Matematické textové úlohy. Metoda byla testována na úlohách aritmetiky v textu, například ze sady GSM8K (složité textové úlohy na sčítání/odčítání a logiku), a také na řadě otázek ze sady DROP (ověřujících schopnost extrahovat a počítat číselné informace v textu). I zde Least-to-Most Prompting prokázal zlepšení přesnosti ve srovnání s chain-of-thought. Pro GSM8K při použití modelu code-davinci-002 vzrostla přesnost odpovědí z ~60,9 % na ~62,4 %. Na dílčích úlohách DROP byl zisk ještě výraznější: například u části otázek o „fotbalových" faktech přesnost stoupla z ~59,6 % (chain-of-thought) na ~73,4 % při použití LtM. Ačkoli nárůst kvality u matematických úloh byl méně dramatický než u SCAN, autoři poukazují na důležitý bod: téměř každou úlohu GSM8K se podaří správně vyřešit, pokud model dostane správnou dekompozici problému. To svědčí o tom, že klíčem k úspěšnému řešení jsou vhodně formulované meziotázky; LtM přístup je právě zaměřen na automatické vytváření takových otázek a jejich postupné řešení.

Celkově experimenty potvrzují, že Least-to-Most Prompting výrazně překonává jak naivní few-shot prompting bez uvažování, tak metodu chain-of-thought u mnoha typů úloh vyžadujících vícekrokový výstup. Metoda umožňuje LLM řešit problémy složitější než ty, se kterými se model původně seznamoval prostřednictvím příkladů, čímž rozšiřuje hranice in-context learningu (učení za chodu prostřednictvím promptů).

Omezení a další směry vývoje

Navzdory úspěchům má metoda Least-to-Most Prompting řadu omezení. Především různé typy úloh vyžadují různé přístupy k dekompozici. Šablona promptu, která efektivně rozděluje matematickou úlohu, může být pro logickou nebo každodenní úlohu zdravého rozumu zcela nevhodná. Například prompty, které naučily model dělit textové matematické úlohy na kroky, se ukázaly jako nepoužitelné pro otázku z oblasti zdravého rozumu jako „Používal Aristotelés notebook?" — pro takovou úlohu je zapotřebí zcela jiná strategie rozdělení. Proto je pro každou novou doménovou oblast nebo typ problémů nutné znovu hledat příklady dekompozice úlohy na dílčí úlohy a sestavovat odpovídající prompt ilustrující strukturu řešení. Jinými slovy, znalost správné dekompozice úlohy se samotným LLM neobecňuje univerzálně — je nutné ji zadávat prostřednictvím příkladů pro konkrétní třídu úloh.

Navíc účinnost LtM podstatně závisí na tom, jak dobře se úloha hodí k rozdělení na samostatné dílčí cíle. Pokud model nedokáže správně formulovat mezikroky nebo pokud budou některé nezbytné dílčí úlohy vynechány, výsledné řešení bude rovněž chybné. Samotní vývojáři však poznamenávají, že v mnoha případech lze neúspěch proměnit v úspěch, pokud člověk ručně navrhne správnou dekompozici — model pak bez potíží vyřeší každou část a úspěšně zkombinuje odpovědi. To zdůrazňuje potenciál dalšího rozvoje přístupu: zlepšení kvality automatického generování dílčích úloh a případně interaktivního učení modelů. V závěru autoři LtM předpokládají, že budoucnost metod promptingu může směřovat k plnohodnotnému obousměrnému dialogu s modelem, kde model dostává okamžitou zpětnou vazbu a korekci svých mezikroků. Metodu Least-to-Most Prompting lze vnímat jako krok tímto směrem, který ukazuje, že postupná interakce s modelem prostřednictvím dekompozice a postupného řešení úloh umožňuje výrazně rozšířit jeho myšlenkové schopnosti bez trénování na nových datech.

Odkazy

• Původní článek „Least-to-Most Prompting Enables Complex Reasoning in Large Language Models" na arXiv
• HTML verze původního článku
• Co je Least-to-Most Prompting? — článek AI Safety Info
• Přehled metody na Medium
• Souhrnný přehled metod prompt engineeringu na arXiv

Literatura

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.