Least-to-most Prompting (TL)

Least-to-Most Prompting (LtM) — isang pamamaraan ng pagbuo ng mga prompt para sa malalaking language model (LLM), na nagbibigay-daan sa paglutas ng mga kumplikadong gawain sa pamamagitan ng kanilang decomposition sa mas simpleng mga hakbang, na sinusundan ng sunud-sunod na paglutas ng mga subtask na ito. Ang pamamaraang ito ay iminungkahi noong 2022 ng isang grupo ng mga mananaliksik ng Google Brain sa ilalim ng pamumuno ni Denny Zhou at ipinakita sa kumperensyang ICLR 2023. Ang pangunahing layunin ng pamamaraan — lampasan ang limitasyon ng Chain-of-Thought na mga prompt, na hindi mahusay sa mga gawaing mas kumplikado kaysa sa mga halimbawang ipinakita sa modelo sa panahon ng prompt-based na pagsasanay. Ang Least-to-Most Prompting ay nagbibigay-daan sa modelo na mag-generalize sa mga gawain ng mas mataas na kumplikasyon, habang nananatiling interpretable at hindi nangangailangan ng karagdagang pagsasanay ng neural network. Ang pangalan ng pamamaraan ay hiniram mula sa pedagogical psychology, kung saan ang «least to most prompting» ay tumutukoy sa pagbibigay sa estudyante ng serye ng mga pahiwatig na may tumataas na antas ng tulong para sa pag-aaral ng bagong kasanayan.

Paglalarawan ng pamamaraan

Ang pamamaraan ng Least-to-Most Prompting ay isinasagawa sa dalawang yugto, na bawat isa ay ibinibigay sa mismong language model sa pamamagitan ng maingat na ginawang mga prompt (nang walang karagdagang fine-tuning ng modelo):

1. Decomposition ng gawain. Sa unang yugto, ang modelo ay tumatanggap ng instruksyon at mga halimbawa na nagpapakita kung paano hatiin ang isang kumplikadong gawain sa isang pagkakasunud-sunod ng mas simpleng mga subtask. Pagkatapos, isang partikular na kumplikadong tanong ang ipinipresenta sa modelo, at kailangan nitong bumuo ng listahan ng mga pinasimpleng intermediate na tanong. Halimbawa, para sa isang kumplikadong gawain, maaaring independyenteng buuin ng modelo ang isang naglilinaw na subtanong na tumutugon sa isang bahagi ng orihinal na problema.
2. Sunud-sunod na paglutas ng mga subtask. Sa ikalawang yugto, ang modelo ay naglulutas ng mga natanggap na subtask isa-isa — mula sa pinakasimple hanggang sa pinakakomplikado. Para dito, ang bawat subtask ay sinisimulaan ng konteksto: mga halimbawa ng paglutas ng mga katulad na subproblem, pati na rin (kung mayroon) ang mga naunang nalutas na subtask kasama ang kanilang mga sagot. Pagkatapos malutas ang unang subtask, idinaragdag ng modelo ang sagot nito sa teksto ng prompt at tinatanggap ang susunod na subtask, gamit ang mga nakaraang solusyon bilang konteksto. Ito ay nagpapatuloy hanggang malutas ang huling, pinaka-kumplikadong subtask, na direktang sumasagot sa orihinal na tanong.

Halimbawa: ang orihinal na textual na gawain ay nahahati sa dalawang yugto gamit ang pamamaraan ng Least-to-Most. Una, binubuo at nireresulta ng modelo ang intermediate na tanong («How long does each trip take?» — «Gaano katagal ang isang biyahe?»), na nakakuha ng sagot na "each trip takes 5 minutes" («ang bawat biyahe ay tumatagal ng 5 minuto»). Ang sagot na ito ay isinama sa bagong prompt kasama ang susunod na subtask — ang orihinal na tanong («How many times can she slide before it closes?» — «Ilang beses siyang makakapag-slide bago ito magsara?»). Gamit ang nakaraang resulta, kinakalkula ng modelo ang huling sagot (sa halimbawang ito: 3 beses).

Sa prinsipyo, ang Least-to-Most Prompting ay naiiba sa karaniwang chain-of-thought na pamamaraan dahil hinahati nito ang proseso ng pangangatuwiran sa mga hiwalay na kahilingan na may akumulasyon ng kaalaman, sa halip na bumuo ng isang tuluy-tuloy na «chain of thought» sa loob ng isang sagot. Ang ganitong hakbang-hakbang, recursive na pamamaraan ay nagbibigay-daan sa modelo na unti-unting lumipat sa mas kumplikadong mga aspeto ng gawain, epektibong inaalis ang problema ng easy-to-hard generalization (kapag ang modelo ay nakatagpo ng gawain na mas kumplikado kaysa sa mga nasa mga halimbawa sa pagsasanay). Dapat tandaan na ang parehong yugto ng LtM-pamamaraan ay isinasagawa sa pamamagitan ng few-shot prompting (pagpapakita ng ilang mga halimbawa) at hindi nangangailangan ng karagdagang pagsasanay ng modelo o fine-tuning nito sa bagong data. Bukod dito, ang pamamaraan ay tugma sa iba pang mga teknik para sa pagpapabuti ng pangangatuwiran ng LLM, halimbawa, maaari itong pagsamahin sa chain-of-thought at self-consistency (sunud-sunod na pagkuha ng maraming solusyon) sa panahon ng pagbuo ng sagot, bagaman hindi ito kinakailangan.

Mga eksperimental na resulta at aplikasyon

Sa gawain na nagmungkahi ng Least-to-Most Prompting, ipinakita na ang pamamaraang ito ay mas mahusay kaysa sa mga karaniwang pamamaraan ng prompt (kabilang ang chain-of-thought) sa ilang mga gawain na nangangailangan ng kumplikadong multi-step na pangangatuwiran. Matagumpay nitong ipinakita ang mga bentahe nito sa tatlong pangunahing kategorya ng mga gawain:

• Mga simbolikal at algorithmic na gawain. Halimbawa, sa gawain ng concatenation ng mga huling titik ng mga salita (sunud-sunod na kunin ang huling titik ng bawat salita sa listahan at buuin ang bagong salita mula sa kanila), ang LtM na pamamaraan ay makabuluhang nagpabuti ng kakayahan ng modelo na mag-generalize sa mas mahabang mga pagkakasunud-sunod ng salita. Nang walang espesyal na pagsasanay, ang modelo ng GPT-3 (code-davinci-002) na may chain-of-thought na mga prompt ay naglutas ng ganitong mga gawain nang tama sa halos 32% lamang ng mga kaso kapag ang listahan ng mga salita ay may haba na 12, samantalang sa paggamit ng Least-to-Most Prompting ang katumpakan ay umabot sa ~74%. Para sa maikling mga listahan (ng haba na natagpuan sa mga halimbawa), parehong mga estratehiya ay mahusay, ngunit sa pagtaas ng haba ng pagkakasunud-sunod ang kalidad ng chain-of-thought ay mabilis na bumaba, habang ang Least-to-Most ay nagbigay ng mas maayos na pagbaba at nagpanatili ng mataas na katumpakan. Ipinapakita nito ang kakayahan ng LtM-pamamaraan na mag-generalize ng lohika ng solusyon sa mas kumplikado (mas mahabang) input na data.
• Compositional generalization (komposisyonal na generalisasyon). Ang kategoryang ito ng mga gawain ay kinabibilangan, halimbawa, ng pagsasalin ng mga textual na instruksyon sa isang pagkakasunud-sunod ng mga aksyon (tulad ng sa benchmark na SCAN, na nangangailangan ng pagsunod sa mga utos tulad ng "jump twice and run" at pag-generalize sa mas mahabang mga kombinasyon). Ang LtM na pamamaraan ay nagbigay-daan sa LLM na matagumpay na malutas kahit ang pinaka-kumplikadong mga variant ng ganitong mga gawain. Sa partikular, ang modelo ng GPT-3 na may LtM na mga prompt ay nakamit ang 99% na katumpakan sa lahat ng mga variant ng paghahati ng data sa SCAN na dataset (kabilang ang pinaka-kumplikadong length split, kung saan ang mga test na pagkakasunud-sunod ay mas mahaba kaysa sa mga training na pagkakasunud-sunod), gamit lamang ang 14 na halimbawa sa prompt. Para sa paghahambing, ang karaniwang chain-of-thought na pamamaraan ay nagbigay ng halos 16% lamang na katumpakan sa katulad na mga kondisyon. Bukod dito, ito ay nagawa nang walang pagsasanay ng modelo sa training data, samantalang ang mga nakaraang pinakamahusay na solusyon para sa SCAN ay umasa sa mga espesyal na neuro-symbolic na arkitektura o mga pamamaraan ng pagpapalawak ng data na nangangailangan ng paggamit ng buong training set na may mahigit 15,000 mga halimbawa. Kaya, ipinakita ng Least-to-Most Prompting ang walang kapantay na kakayahan para sa compositional generalization para sa mga modelo na walang fine-tuning.
• Mga mathematical na textual na gawain. Ang pamamaraan ay nasubok sa mga arithmetic na gawain sa teksto, halimbawa, mula sa dataset na GSM8K (mga kumplikadong textual na gawain sa karagdagan/pagbabawas at lohika), pati na rin sa ilang mga tanong mula sa set na DROP (sinisuri ang kakayahang kumuha at magbilang ng numerical na impormasyon sa teksto). Dito rin, ang Least-to-Most Prompting ay nagpakita ng pagpapabuti ng katumpakan kumpara sa chain-of-thought. Kaya, para sa GSM8K sa paggamit ng modelo na code-davinci-002, ang katumpakan ng mga sagot ay tumaas mula ~60.9% hanggang ~62.4%. Sa mga subtask ng DROP, ang pakinabang ay mas kapansin-pansin pa: halimbawa, sa ilang mga tanong tungkol sa «football» na mga katotohanan, ang katumpakan ay tumaas mula ~59.6% (chain-of-thought) hanggang ~73.4% sa paggamit ng LtM. Bagaman ang paglago ng kalidad sa mga mathematical na gawain ay hindi gaanong dramatiko tulad ng sa SCAN, tinatandaan ng mga may-akda ang isang mahalagang punto: halos anumang gawain ng GSM8K ay maaaring malutas nang tama kung ang modelo ay makakatanggap ng tamang decomposition ng problema. Ipinapahiwatig nito na ang susi sa matagumpay na paglutas — ay ang maayos na nabuong mga intermediate na tanong; ang LtM-pamamaraan ay naglalayong lumikha ng ganitong mga tanong nang awtomatiko at sunud-sunod na malutas ang mga ito.

Sa kabuuan, kinukumpirma ng mga eksperimento na ang Least-to-Most Prompting ay makabuluhang mas mahusay kaysa sa simpleng few-shot prompting nang walang pangangatuwiran, pati na rin sa chain-of-thought na pamamaraan sa maraming uri ng mga gawain na nangangailangan ng multi-step na paghinuha. Nagbibigay-daan ang pamamaraan sa LLM na malutas ang mga problemang mas kumplikado kaysa sa mga unang nakilala ng modelo sa pamamagitan ng mga halimbawa, na nagpapalawak ng mga hangganan ng in-context learning (pag-aaral sa mabilisan sa pamamagitan ng mga prompt).

Mga limitasyon at karagdagang direksyon

Sa kabila ng mga tagumpay, ang pamamaraan ng Least-to-Most Prompting ay may ilang mga limitasyon. Una sa lahat, para sa iba't ibang uri ng mga gawain ay kailangan ng iba't ibang pamamaraan ng decomposition. Ang template ng prompt na epektibong naghahatid ng mathematical na gawain ay maaaring ganap na hindi angkop para sa isang lohikal o pang-araw-araw na gawain ng common sense. Halimbawa, ang mga prompt na nagturo sa modelo na hatiin ang mga textual na mathematical na gawain sa mga hakbang ay walang silbi para sa isang tanong mula sa larangan ng common sense tulad ng «Gumamit ba si Aristotle ng laptop?» — para sa ganitong gawain ay kailangan ng ganap na naiibang estratehiya ng paghahati. Kaya naman, para sa bawat bagong domain o uri ng problema, kailangang muling pumili ng mga halimbawa ng paghahati ng gawain sa mga subtask at buuin ang kaukulang prompt na naglalarawan ng istruktura ng solusyon. Sa madaling salita, ang kaalaman kung paano tama ang mag-decompose ng gawain ay hindi universally na nag-ge-generalize mismo ng LLM, kailangan itong ibigay sa pamamagitan ng mga halimbawa para sa isang partikular na klase ng mga gawain.

Bukod dito, ang bisa ng LtM ay malaki ang pagkakatukoy sa kung gaano kahusay na mahahati ang gawain sa mga independyenteng subgoal. Kung hindi makapagbubuong tama ang modelo ng mga intermediate na hakbang o kung ang ilang kinakailangang subtask ay malalaktawan, ang huling solusyon ay magiging mali rin. Gayunpaman, isinasaad ng mga developer na sa maraming kaso ang kabiguan ay maaaring gawing tagumpay kung ang tao ay mano-manong magbibigay ng tamang decomposition — kung gayon ang modelo ay madaling nireresulta ang bawat bahagi at matagumpay na pinagsasama ang mga sagot. Itinatampok nito ang potensyal ng karagdagang pag-unlad ng pamamaraan: pagpapabuti ng kalidad ng awtomatikong pagbuo ng mga subtask at, marahil, interactive na pagsasanay ng mga modelo. Sa konklusyon, iminumungkahi ng mga may-akda ng LtM na ang kinabukasan ng mga pamamaraan ng prompt ay maaaring nakatuon sa isang ganap na dobleng diyalogo sa modelo, kung saan ang modelo ay nakakatanggap ng agarang feedback at pagwawasto ng mga intermediate na hakbang nito. Ang pamamaraan ng Least-to-Most Prompting ay maaaring ituring bilang isang hakbang sa direksyong ito, na nagpapakita na ang sunud-sunod na pakikipag-ugnayan sa modelo sa pamamagitan ng paghahati at hakbang-hakbang na paglutas ng mga gawain ay nagbibigay-daan na makabuluhang mapalawak ang kakayahan sa pag-iisip nito nang walang pagsasanay sa bagong data.

Mga link

• Orihinal na artikulo «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» sa arXiv
• HTML bersyon ng orihinal na artikulo
• Ano ang Least-to-Most Prompting? — artikulo ng AI Safety Info
• Pagsusuri ng pamamaraan sa Medium
• Pangkalahatang pagsusuri ng mga pamamaraan ng prompt engineering sa arXiv

Panitikan

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.