Least-to-most Prompting (RO)

Least-to-Most Prompting (LtM) — metodă de elaborare a indiciilor pentru modele lingvistice de mari dimensiuni (LLM), care permite rezolvarea sarcinilor complexe prin descompunerea acestora în etape mai simple, urmată de rezolvarea secvențială a acestor subsarcini. Această abordare a fost propusă în 2022 de un grup de cercetători de la Google Brain, coordonat de Denny Zhou, și a fost prezentată la conferința ICLR 2023. Scopul principal al metodei este de a depăși limitarea indiciilor de tip Chain-of-Thought, care se descurcă slab cu sarcini mai complexe decât exemplele prezentate modelului în timpul antrenamentului pe indicii. Least-to-Most Prompting permite modelului să generalizeze pentru sarcini de complexitate sporită, rămânând în același timp interpretabil și fără a necesita antrenament suplimentar al rețelei neuronale. Denumirea metodei este împrumutată din psihologia pedagogică, unde „least to most prompting" desemnează oferirea către student a unei serii de indicii cu un nivel crescând de asistență pentru asimilarea unei noi abilități.

Descrierea metodei

Metoda Least-to-Most Prompting se realizează în două etape, fiecare dintre acestea fiind specificată chiar modelului lingvistic prin carefully-crafted prompts (fără antrenament suplimentar al modelului):

1. Descompunerea sarcinii. În prima etapă, modelul primește instrucțiuni și exemple care demonstrează cum să împartă o sarcină complexă într-o secvență de subsarcini mai simple. Apoi, modelului i se prezintă o întrebare complexă concretă, iar el trebuie să genereze o listă de întrebări intermediare simplificate. De exemplu, pentru o sarcină complexă, modelul poate formula în mod independent o subîntrebare clarificatoare care abordează o parte a problemei inițiale.
2. Rezolvarea secvențială a subsarcinilor. În a doua etapă, modelul rezolvă subsarcinile obținute pe rând — de la cea mai simplă la cea mai complexă. În acest scop, fiecare subsarcină este precedată de context: exemple de rezolvări ale unor sub-probleme similare, precum și (dacă există) subsarcinile anterioare deja rezolvate împreună cu răspunsurile lor. După rezolvarea primei subsarcini, modelul adaugă răspunsul acesteia la textul indiciului și primește următoarea subsarcină, folosind soluțiile anterioare drept context. Astfel continuă până când este rezolvată subsarcina finală, cea mai complexă, care răspunde direct la întrebarea inițială.

Exemplu: o problemă text inițială este împărțită în două etape cu ajutorul metodei Least-to-Most. Mai întâi, modelul formulează și rezolvă o întrebare intermediară («How long does each trip take?» — «Cât durează o singură cursă?»), obținând răspunsul „each trip takes 5 minutes" («fiecare cursă durează 5 minute»). Acest răspuns este inclus într-un nou indiciu împreună cu următoarea subsarcină — întrebarea inițială («How many times can she slide before it closes?» — «De câte ori va reuși să coboare înainte ca atracția să se închidă?»). Folosind rezultatul anterior, modelul calculează răspunsul final (în acest exemplu: de 3 ori).

Principal, Least-to-Most Prompting se deosebește de abordarea standard chain-of-thought prin aceea că împarte procesul de raționament în interogări separate cu acumulare de cunoștințe, în loc să genereze un singur «lanț de gânduri» continuu în cadrul unui singur răspuns. Această abordare etapizată și recursivă permite modelului să treacă treptat la aspecte tot mai complexe ale sarcinii, eliminând eficient problema easy-to-hard generalization (când modelul se confruntă cu o sarcină mai dificilă decât cele din exemplele de antrenament). De remarcat că ambele etape ale metodei LtM sunt implementate prin few-shot prompting (demonstrarea câtorva exemple) și nu necesită antrenament suplimentar al modelului sau fine-tuning pe date noi. În plus, metoda este compatibilă cu alte tehnici de îmbunătățire a raționamentului LLM; de exemplu, poate fi combinată cu chain-of-thought și self-consistency (eșantionarea secvențială a mai multor soluții) la generarea răspunsului, deși acest lucru nu este obligatoriu.

Rezultate experimentale și aplicații

În lucrarea care a propus Least-to-Most Prompting s-a demonstrat că această metodă depășește metodele standard de indicii (inclusiv chain-of-thought) la o serie de sarcini care necesită raționament complex cu mai mulți pași. Ea și-a demonstrat cu succes avantajele în trei categorii cheie de sarcini:

• Sarcini simbolice și algoritmice. De exemplu, în sarcina de concatenare a ultimelor litere ale cuvintelor (luarea pe rând a ultimei litere a fiecărui cuvânt dintr-o listă și formarea unui cuvânt nou) metoda LtM a îmbunătățit semnificativ capacitatea modelului de a generaliza pentru secvențe mai lungi de cuvinte. Fără antrenament special, modelul GPT-3 (code-davinci-002) cu indicii chain-of-thought rezolva astfel de sarcini corect în aproximativ 32% din cazuri când lista de cuvinte avea lungimea 12, în timp ce prin utilizarea Least-to-Most Prompting acuratețea atingea ~74%. La liste scurte (de lungimea întâlnită în exemple) ambele strategii funcționau bine, însă odată cu creșterea lungimii secvenței, calitatea chain-of-thought scădea brusc, în timp ce Least-to-Most asigura o scădere mai lină și menținea o acuratețe ridicată. Aceasta demonstrează capacitatea metodei LtM de a generaliza logica rezolvării pentru date de intrare mai complexe (mai lungi).
• Generalizare compozițională (compositional generalization). Această categorie de sarcini include, de exemplu, traducerea instrucțiunilor text într-o secvență de acțiuni (ca în benchmark-ul SCAN, care necesită executarea comenzilor de tipul „jump twice and run" și generalizarea pentru combinații mai lungi). Metoda LtM a permis LLM să rezolve cu succes chiar și cele mai complexe variante ale unor astfel de sarcini. În particular, modelul GPT-3 cu indicii LtM a atins 99% acuratețe pe toate variantele de împărțire a datelor din setul SCAN (inclusiv cel mai dificil length split, unde secvențele de test sunt mai lungi decât cele de antrenament), folosind doar 14 exemple în indiciu. Prin comparație, abordarea standard chain-of-thought oferea doar aproximativ 16% acuratețe în condiții similare. Mai mult, aceasta s-a obținut fără antrenarea modelului pe datele de antrenament, în timp ce soluțiile anterioare de top pentru SCAN se bazau pe arhitecturi neuro-simbolice speciale sau metode de augmentare a datelor, necesitând utilizarea întregului set de antrenament de peste 15 000 de exemple. Astfel, Least-to-Most Prompting a demonstrat o capacitate de generalizare compozițională fără precedent pentru modelele fără fine-tuning.
• Probleme matematice text. Metoda a fost testată pe sarcini de aritmetică în text, de exemplu din dataset-ul GSM8K (probleme text complexe de adunare/scădere și logică), precum și pe o serie de întrebări din setul DROP (care testează capacitatea de a extrage și calcula informații numerice din text). Și aici Least-to-Most Prompting a arătat îmbunătățiri de acuratețe față de chain-of-thought. Astfel, pentru GSM8K la utilizarea modelului code-davinci-002, acuratețea răspunsurilor a crescut de la ~60,9% la ~62,4%. Pe subsarcinile DROP câștigul a fost și mai vizibil: de exemplu, la o parte din întrebările despre fapte „de fotbal", acuratețea a crescut de la ~59,6% (chain-of-thought) la ~73,4% prin aplicarea LtM. Deși creșterea calității la sarcinile matematice a fost mai puțin dramatică decât în SCAN, autorii subliniază un aspect important: aproape orice sarcină din GSM8K poate fi rezolvată corect dacă modelul primește o descompunere corectă a problemei. Aceasta demonstrează că cheia succesului rezolvării constă în întrebările intermediare bine formulate; abordarea LtM este tocmai orientată spre generarea automată a acestor întrebări și rezolvarea lor secvențială.

În ansamblu, experimentele confirmă că Least-to-Most Prompting depășește semnificativ atât indiciile naive de tip few-shot fără raționament, cât și metoda chain-of-thought, la multe tipuri de sarcini care necesită inferență în mai mulți pași. Metoda permite LLM să rezolve probleme mai complexe decât cele cu care modelul a luat cunoștință inițial prin exemple, extinzând limitele in-context learning (învățării la fața locului prin indicii).

Limitări și direcții viitoare

În ciuda succeselor, metoda Least-to-Most Prompting prezintă o serie de limitări. În primul rând, pentru diferite tipuri de sarcini sunt necesare abordări diferite de descompunere. Șablonul de indiciu care descompune eficient o problemă matematică poate să nu fie deloc potrivit pentru o sarcină logică sau de bun simț cotidian. De exemplu, indiciile care au învățat modelul să împartă problemele text de matematică în pași s-au dovedit inutile pentru o întrebare din sfera bunului simț de tipul «A folosit Aristotel un laptop?» — pentru o astfel de sarcină este necesară o strategie de descompunere cu totul diferită. Prin urmare, pentru fiecare nou domeniu sau tip de probleme trebuie să se selecteze din nou exemple de descompunere a sarcinii în subsarcini și să se formeze un prompt corespunzător care să ilustreze structura soluției. Cu alte cuvinte, cunoașterea modului corect de a descompune o sarcină nu se generalizează universal de către LLM însuși; ea trebuie specificată prin exemple pentru o clasă concretă de sarcini.

Mai mult, eficiența LtM depinde în mod esențial de cât de bine se pretează sarcina la descompunere în subobiective independente. Dacă modelul nu reușește să formuleze corect pașii intermediari sau dacă anumite subsarcini necesare sunt omise, soluția finală va fi de asemenea incorectă. Cu toate acestea, chiar dezvoltatorii notează că în multe cazuri un eșec poate fi transformat în succes dacă un om sugerează manual descompunerea corectă — atunci modelul rezolvă fără dificultate fiecare parte și combină cu succes răspunsurile. Aceasta subliniază potențialul de dezvoltare ulterioară a abordării: îmbunătățirea calității generării automate a subsarcinilor și, posibil, antrenamentul interactiv al modelelor. În concluzie, autorii LtM sugerează că viitorul metodelor de indicii poate consta într-un dialog bidirecțional complet cu modelul, unde modelul primește feedback imediat și corectarea pașilor săi intermediari. Metoda Least-to-Most Prompting poate fi privită ca un pas în această direcție, demonstrând că interacțiunea secvențială cu modelul prin descompunerea și rezolvarea etapizată a sarcinilor permite să se extindă semnificativ capacitățile sale de raționament fără antrenament pe date noi.

Referințe

• Articolul original «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models» pe arXiv
• Versiunea HTML a articolului original
• Ce este Least-to-Most Prompting? — articol AI Safety Info
• Prezentare generală a metodei pe Medium
• Recenzie sintetică a metodelor de prompt engineering pe arXiv

Bibliografie

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.