Least-to-most Prompting (PL)

Least-to-Most Prompting (LtM) — metoda tworzenia podpowiedzi dla dużych modeli językowych (LLM), umożliwiająca rozwiązywanie złożonych zadań poprzez ich dekompozycję na prostsze etapy, a następnie sekwencyjne rozwiązywanie tych podzadań. Podejście to zostało zaproponowane w 2022 roku przez grupę badaczy Google Brain pod kierownictwem Denny Zhou i zaprezentowane na konferencji ICLR 2023. Głównym celem metody jest przezwyciężenie ograniczeń podpowiedzi Chain-of-Thought, które słabo radzą sobie z zadaniami trudniejszymi niż przykłady pokazane modelowi podczas uczenia się na podpowiedziach. Least-to-Most Prompting pozwala modelowi uogólniać na zadania o większej złożoności, pozostając przy tym interpretowalnym i nie wymagając dodatkowego trenowania sieci neuronowej. Nazwa metody pochodzi z psychologii pedagogicznej, gdzie „least to most prompting" oznacza podawanie uczniowi serii podpowiedzi o rosnącym poziomie pomocy w celu opanowania nowej umiejętności.

Opis metody

Metoda Least-to-Most Prompting jest realizowana w dwóch etapach, z których każdy zadawany jest samemu modelowi językowemu poprzez starannie skonstruowane podpowiedzi (bez dodatkowego doszkalania modelu):

1. Dekompozycja zadania. W pierwszym etapie model otrzymuje instrukcję oraz przykłady demonstrujące, jak rozkładać złożone zadanie na sekwencję prostszych podzadań. Następnie modelowi przedstawiane jest konkretne złożone pytanie i musi on wygenerować listę uproszczonych pytań pośrednich. Na przykład dla złożonego zadania model może samodzielnie sformułować doprecyzowujące pytanie poboczne, odnoszące się do części wyjściowego problemu.
2. Sekwencyjne rozwiązywanie podzadań. W drugim etapie model rozwiązuje uzyskane podzadania po kolei — od najprostszego do najtrudniejszego. W tym celu każdemu podzadaniu towarzyszy kontekst: przykłady rozwiązań podobnych podproblemów, a także (jeśli istnieją) już rozwiązane wcześniejsze podzadania wraz z ich odpowiedziami. Po rozwiązaniu pierwszego podzadania model dodaje jego odpowiedź do tekstu podpowiedzi i otrzymuje kolejne podzadanie, wykorzystując poprzednie rozwiązania jako kontekst. Proces trwa do momentu rozwiązania finalnego, najtrudniejszego podzadania, bezpośrednio odpowiadającego na wyjściowe pytanie.

Przykład: wyjściowe zadanie tekstowe zostaje podzielone na dwa etapy za pomocą metody Least-to-Most. Najpierw model formułuje i rozwiązuje pytanie pośrednie („How long does each trip take?" — „Ile czasu trwa jedna przejazd?"), uzyskując odpowiedź „each trip takes 5 minutes" („każdy przejazd trwa 5 minut"). Ta odpowiedź jest włączana do nowej podpowiedzi razem z kolejnym podzadaniem – pytaniem wyjściowym („How many times can she slide before it closes?" – „Ile razy zdąży zjechać, zanim atrakcja zostanie zamknięta?"). Korzystając z poprzedniego wyniku, model oblicza ostateczną odpowiedź (w tym przykładzie: 3 razy).

Zasadniczo Least-to-Most Prompting różni się od standardowego podejścia chain-of-thought tym, że rozkłada proces rozumowania na osobne zapytania z akumulacją wiedzy, zamiast generować jeden ciągły „łańcuch myśli" w ramach jednej odpowiedzi. Takie etapowe, rekurencyjne podejście pozwala modelowi stopniowo przechodzić do coraz bardziej złożonych aspektów zadania, skutecznie eliminując problem easy-to-hard generalization (gdy model napotyka zadanie trudniejsze niż te z przykładów treningowych). Należy zaznaczyć, że oba etapy metody LtM są realizowane poprzez few-shot prompting (demonstrację kilku przykładów) i nie wymagają dodatkowego trenowania modelu ani jego doszkalania na nowych danych. Ponadto metoda jest kompatybilna z innymi technikami poprawy rozumowania LLM — można ją na przykład łączyć z chain-of-thought i self-consistency (sekwencyjne próbkowanie wielu rozwiązań) podczas generowania odpowiedzi, choć nie jest to konieczne.

Wyniki eksperymentalne i zastosowania

W pracy proponującej Least-to-Most Prompting wykazano, że metoda ta przewyższa standardowe metody podpowiedzi (w tym chain-of-thought) w szeregu zadań wymagających złożonego wieloetapowego rozumowania. Skutecznie zademonstrowano jej zalety w trzech kluczowych kategoriach zadań:

• Zadania symboliczne i algorytmiczne. Na przykład w zadaniu konkatenacji ostatnich liter słów (sekwencyjne pobieranie ostatniej litery każdego słowa z listy i tworzenie z nich nowego słowa) metoda LtM znacząco poprawiła zdolność modelu do uogólniania na dłuższe sekwencje słów. Bez specjalnego trenowania model GPT-3 (code-davinci-002) z podpowiedziami chain-of-thought rozwiązywał takie zadania poprawnie jedynie w około 32% przypadków, gdy lista słów miała długość 12, podczas gdy przy użyciu Least-to-Most Prompting dokładność osiągała ~74%. Przy krótkich listach (o długości występującej w przykładach) obie strategie radziły sobie dobrze, jednak wraz ze wzrostem długości sekwencji jakość chain-of-thought gwałtownie spadała, podczas gdy Least-to-Most zapewniał łagodniejszy spadek i utrzymywał wysoką dokładność. Demonstruje to zdolność metody LtM do uogólniania logiki rozwiązania na bardziej złożone (dłuższe) dane wejściowe.
• Uogólnianie kompozycyjne (compositional generalization). Ta kategoria zadań obejmuje na przykład tłumaczenie instrukcji tekstowych na sekwencje działań (jak w benchmarku SCAN, wymagającym wykonywania poleceń typu „jump twice and run" i uogólniania na dłuższe kombinacje). Metoda LtM umożliwiła LLM skuteczne rozwiązywanie nawet najtrudniejszych wariantów takich zadań. W szczególności model GPT-3 z podpowiedziami LtM osiągnął 99% dokładności we wszystkich wariantach podziału danych w zestawie SCAN (w tym w najtrudniejszym length split, gdzie sekwencje testowe są dłuższe od treningowych), używając zaledwie 14 przykładów w podpowiedzi. Dla porównania, standardowe podejście chain-of-thought dawało jedynie około 16% dokładności w analogicznych warunkach. Co więcej, udało się to osiągnąć bez trenowania modelu na danych treningowych, podczas gdy wcześniejsze najlepsze rozwiązania dla SCAN opierały się na specjalnych architekturach neuro-symbolicznych lub metodach augmentacji danych, wymagających użycia całego zestawu treningowego liczącego >15 000 przykładów. Tym samym Least-to-Most Prompting zademonstrował bezprecedensową dla modeli bez doszkalania zdolność do uogólniania kompozycyjnego.
• Matematyczne zadania tekstowe. Metoda została przetestowana na zadaniach arytmetycznych w tekście, na przykład z datasetu GSM8K (złożone zadania tekstowe na dodawanie/odejmowanie i logikę), a także na szeregu pytań ze zbioru DROP (sprawdzającego umiejętność wyodrębniania i obliczania informacji numerycznych w tekście). I tutaj Least-to-Most Prompting wykazał poprawę dokładności w porównaniu z chain-of-thought. Dla GSM8K przy użyciu modelu code-davinci-002 dokładność odpowiedzi wzrosła z ~60,9% do ~62,4%. Na podzadaniach DROP zysk był jeszcze bardziej widoczny: na przykład w części pytań o fakty „piłkarskie" dokładność wzrosła z ~59,6% (chain-of-thought) do ~73,4% przy zastosowaniu LtM. Choć wzrost jakości na zadaniach matematycznych był mniej dramatyczny niż w SCAN, autorzy zwracają uwagę na istotny fakt: prawie każde zadanie GSM8K udaje się poprawnie rozwiązać, jeśli model otrzymuje właściwą dekompozycję problemu. Świadczy to o tym, że kluczem do skutecznego rozwiązania są trafnie sformułowane pytania pośrednie; podejście LtM jest właśnie ukierunkowane na automatyczne tworzenie takich pytań i ich sekwencyjne rozwiązywanie.

Podsumowując, eksperymenty potwierdzają, że Least-to-Most Prompting znacząco przewyższa zarówno naiwne few-shot podpowiadanie bez rozumowania, jak i metodę chain-of-thought w wielu rodzajach zadań wymagających wieloetapowego wnioskowania. Metoda pozwala LLM rozwiązywać problemy trudniejsze niż te, z którymi model zapoznawał się pierwotnie poprzez przykłady, poszerzając granice in-context learning (uczenia się w locie za pomocą podpowiedzi).

Ograniczenia i dalsze kierunki

Pomimo sukcesów metoda Least-to-Most Prompting ma szereg ograniczeń. Przede wszystkim różne typy zadań wymagają różnych podejść do dekompozycji. Szablon podpowiedzi skutecznie dzielący zadanie matematyczne może okazać się zupełnie nieprzydatny dla zadania logicznego lub zadania wymagającego zdrowego rozsądku. Na przykład podpowiedzi, które nauczyły model dzielić tekstowe zadania matematyczne na etapy, okazały się bezużyteczne dla pytania ze sfery zdrowego rozsądku w stylu „Czy Arystoteles używał laptopa?" — dla takiego zadania potrzebna jest zupełnie inna strategia podziału. Dlatego dla każdej nowej dziedziny lub typu problemów konieczne jest ponowne dobieranie przykładów podziału zadania na podzadania i tworzenie odpowiedniego promptu ilustrującego strukturę rozwiązania. Innymi słowy, wiedza o tym, jak poprawnie dekompozować zadanie, nie jest przez LLM uogólniana uniwersalnie — należy ją zadawać poprzez przykłady dopasowane do konkretnej klasy zadań.

Co więcej, skuteczność LtM w istotny sposób zależy od tego, jak dobrze zadanie poddaje się podziałowi na samodzielne podcele. Jeśli model nie zdoła poprawnie sformułować etapów pośrednich lub jeśli niektóre niezbędne podzadania zostaną pominięte, końcowe rozwiązanie również okaże się błędne. Niemniej jednak sami twórcy zauważają, że w wielu przypadkach niepowodzenie można zamienić w sukces, jeśli człowiek ręcznie wskaże właściwą dekompozycję — wówczas model bez trudu rozwiązuje każdą część i skutecznie łączy odpowiedzi. Podkreśla to potencjał dalszego rozwoju podejścia: poprawę jakości automatycznego generowania podzadań oraz ewentualnie interaktywnego uczenia modeli. W podsumowaniu autorzy LtM sugerują, że przyszłość metod podpowiedzi może zmierzać ku pełnoprawnemu dwustronnemu dialogowi z modelem, w którym model otrzymuje natychmiastową informację zwrotną i korektę swoich kroków pośrednich. Metodę Least-to-Most Prompting można postrzegać jako krok w tym kierunku, pokazujący, że sekwencyjna interakcja z modelem poprzez rozkład i etapowe rozwiązywanie zadań pozwala znacząco rozszerzyć jego zdolności poznawcze bez trenowania na nowych danych.

Odnośniki

• Oryginalna praca „Least-to-Most Prompting Enables Complex Reasoning in Large Language Models" na arXiv
• Wersja HTML oryginalnej pracy
• Czym jest Least-to-Most Prompting? — artykuł AI Safety Info
• Przegląd metody na Medium
• Ogólny przegląd metod prompt engineering na arXiv

Literatura

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.