Least-to-most Prompting (HU)

Least-to-Most Prompting (LtM) — nagy nyelvi modellek (LLM) számára készült promptok fejlesztési módszere, amely lehetővé teszi az összetett feladatok megoldását azok dekompozícióján keresztül: a feladatot egyszerűbb lépésekre bontja, majd ezeket a részfeladatokat egymás után oldja meg. Ezt a megközelítést 2022-ben javasolta a Google Brain kutatócsoportja Denny Zhou vezetésével, és az ICLR 2023 konferencián mutatták be. A módszer fő célja, hogy leküzdje a Chain-of-Thought promptok korlátját, amelyek rosszul teljesítenek olyan feladatokon, amelyek összetettebbek, mint a modellnek a prompt-alapú tanulás során megmutatott példák. A Least-to-Most Prompting lehetővé teszi a modell számára, hogy általánosítson a nagyobb nehézségű feladatokra, miközben értelmezhetővé marad, és nem igényel további neurális hálózati tanítást. A módszer neve a pedagógiai pszichológiából ered, ahol a „least to most prompting" azt jelöli, amikor a tanuló számára egyre növekvő segítséget nyújtó promptok sorozatát adják egy új készség elsajátításához.

A módszer leírása

A Least-to-Most Prompting módszer két szakaszban valósul meg, amelyek mindegyikét magán a nyelvi modellen hajtják végre, gondosan megformált promptokon keresztül (a modell további finomhangolása nélkül):

1. A feladat dekompozíciója. Az első szakaszban a modell utasítást és példákat kap, amelyek bemutatják, hogyan kell egy összetett feladatot egyszerűbb részfeladatok sorozatára bontani. Ezután a modell elé tárul egy konkrét nehéz kérdés, és a modellnek elő kell állítania az egyszerűsített közbenső kérdések listáját. Például egy összetett feladatnál a modell önállóan megfogalmazhat egy pontosító alkérdést, amely az eredeti probléma egy részét kezeli.
2. A részfeladatok egymást követő megoldása. A második szakaszban a modell sorban megoldja a kapott részfeladatokat — a legegyszerűbbtől a legbonyolultabbig. Ehhez minden részfeladatot kontextus előz meg: hasonló részproblémák megoldási példái, valamint (ha vannak) a már megoldott korábbi részfeladatok és azok válaszai. Az első részfeladat megoldása után a modell hozzáfűzi a választ a prompt szövegéhez, és megkapja a következő részfeladatot, a korábbi megoldásokat kontextusként felhasználva. Ez addig folytatódik, amíg az utolsó, legnehezebb részfeladat meg nem oldódik, amely közvetlenül válaszol az eredeti kérdésre.

Példa: az eredeti szöveges feladatot a Least-to-Most módszerrel két szakaszra bontják. Először a modell megfogalmaz és megold egy közbenső kérdést (\"How long does each trip take?\" — \"Mennyi ideig tart egy utazás?\"), és megkapja a választ: \"each trip takes 5 minutes\" (\"minden utazás 5 percig tart\"). Ezt a választ belefoglalják az új promptba a következő részfeladattal együtt – az eredeti kérdéssel (\"How many times can she slide before it closes?\" – \"Hányszor tud csúszni, mielőtt az attrakció bezár?\"). Az előző eredmény felhasználásával a modell kiszámítja a végső választ (ebben a példában: 3-szor).

Az LtM lényegében abban különbözik a standard chain-of-thought megközelítéstől, hogy a következtetési folyamatot különálló, tudást halmozó lekérdezésekre bontja ahelyett, hogy egyetlen folyamatos „gondolatláncolatot\" generálna egyetlen válaszon belül. Ez a fokozatos, rekurzív megközelítés lehetővé teszi a modell számára, hogy fokozatosan haladjon a feladat egyre összetettebb aspektusai felé, hatékonyan kiküszöbölve az easy-to-hard generalization problémáját (amikor a modell a tanítási példáknál nehezebb feladattal találkozik). Megjegyzendő, hogy az LtM módszer mindkét szakasza few-shot prompting révén valósul meg (néhány példa bemutatásával), és nem igényli a modell további tanítását vagy új adatokon való finomhangolását. Emellett a módszer kompatibilis az LLM következtetési képességét javító egyéb technikákkal; például kombinálható a chain-of-thought és a self-consistency (több megoldás egymás utáni mintavétele) módszerrel a válasz generálásakor, bár ez nem szükséges feltétel.

Kísérleti eredmények és alkalmazások

A Least-to-Most Prompting módszert bevezető munkában kimutatták, hogy ez a módszer felülmúlja a standard prompt módszereket (beleértve a chain-of-thought megközelítést is) számos, összetett többlépéses következtetést igénylő feladatban. A módszer sikeresen bizonyította előnyeit három kulcsfontosságú feladatkategóriában:

• Szimbolikus és algoritmikus feladatok. Például a szavak utolsó betűinek összefűzése (a lista minden szavának utolsó betűjét sorban kiveszi, és belőlük új szót alkot) feladatban az LtM módszer lényegesen javította a modell képességét a hosszabb szósorozatokra való általánosításban. Speciális tanítás nélkül a GPT-3 modell (code-davinci-002) chain-of-thought promptokkal ilyen feladatokat csak mintegy 32%-os pontossággal oldott meg, amikor a szólista hossza 12 volt, míg a Least-to-Most Prompting alkalmazásával a pontosság elérte a ~74%-ot. Rövid listáknál (a példákban szereplő hosszoknál) mindkét stratégia jól teljesített, azonban a sorozat hosszának növekedésével a chain-of-thought minősége meredeken esett, míg a Least-to-Most fokozatosabb csökkenést mutatott, és megőrizte a magas pontosságot. Ez demonstrálja az LtM módszer azon képességét, hogy általánosítja a megoldási logikát összetettebb (hosszabb) bemeneti adatokra.
• Kompozicionális általánosítás (compositional generalization). Ez a feladatkategória magában foglalja például szöveges utasítások cselekvéssorozatokra való lefordítását (mint a SCAN benchmarkban, amely olyan parancsok végrehajtását igényli, mint a \"jump twice and run\", és ezeket hosszabb kombinációkra kell általánosítani). Az LtM módszer lehetővé tette az LLM számára, hogy sikeresen megoldja az ilyen feladatok még legösszettebb változatait is. A GPT-3 modell LtM promptokkal 99%-os pontosságot ért el a SCAN adatkészlet összes adatfelosztási változatán (beleértve a legnehezebb length split változatot, ahol a tesztelési sorozatok hosszabbak a tanítási sorozatoknál), mindössze 14 példát használva a promptban. Összehasonlításképpen, a standard chain-of-thought megközelítés hasonló körülmények között csak mintegy 16%-os pontosságot adott. Ráadásul ezt a modell tanítása nélkül sikerült elérni, míg a SCAN korábbi legjobb megoldásai speciális neuro-szimbolikus architektúrákra vagy adataugmentációs módszerekre támaszkodtak, amelyek a teljes, >15 000 példából álló tanítókészlet felhasználását igényelték. Így a Least-to-Most Prompting példátlan kompozicionális általánosítási képességet mutatott a finomhangolás nélküli modellek körében.
• Matematikai szöveges feladatok. A módszert szöveges aritmetikai feladatokon tesztelték, például a GSM8K adatkészletből (összetett szöveges összeadási/kivonási és logikai feladatok), valamint a DROP készlet néhány kérdésén (amelyek a szövegből való numerikus információ kinyerési és számítási képességét ellenőrzik). Ebben a kategóriában is a Least-to-Most Prompting pontosságjavulást mutatott a chain-of-thought megközelítéshez képest. Például a GSM8K esetén a code-davinci-002 modell alkalmazásakor a válaszok pontossága ~60,9%-ról ~62,4%-ra nőtt. A DROP részfeladatokon a nyereség még szembetűnőbb volt: például a „focival" kapcsolatos kérdések egy részénél a pontosság ~59,6%-ról (chain-of-thought) ~73,4%-ra emelkedett az LtM alkalmazásával. Bár a matematikai feladatokon tapasztalt minőségjavulás kevésbé volt drámai, mint a SCAN esetén, a szerzők fontos szempontra hívják fel a figyelmet: szinte bármely GSM8K feladatot sikeresen meg lehet oldani, ha a modell helyes problémadekompozíciót kap. Ez azt jelzi, hogy a sikeres megoldás kulcsa a jól megfogalmazott közbenső kérdések; az LtM megközelítés éppen ezek automatikus létrehozására és egymás utáni megoldására irányul.

Összességében a kísérletek megerősítik, hogy a Least-to-Most Prompting lényegesen felülmúlja mind a következtetés nélküli naiv few-shot promptolást, mind a chain-of-thought módszert a többlépéses levezetést igénylő feladatok széles körében. A módszer lehetővé teszi az LLM számára, hogy olyan problémákat oldjon meg, amelyek összetettebbek azoknál, amelyekkel a modell eredetileg a példákon keresztül megismerkedett, kiterjesztve az in-context learning (promptokon keresztüli azonnali tanulás) határait.

Korlátok és további irányok

Sikerei ellenére a Least-to-Most Prompting módszernek számos korlátja van. Mindenekelőtt a különböző típusú feladatokhoz különböző dekompozíciós megközelítések szükségesek. Az a prompt-sablon, amely hatékonyan bont fel egy matematikai feladatot, teljesen alkalmatlan lehet egy logikai vagy hétköznapi józan ész feladatnál. Például azok a promptok, amelyek megtanítják a modellt a szöveges matematikai feladatok lépésekre bontására, haszontalannak bizonyultak egy józan ész jellegű kérdésnél, mint például „Használt-e Arisztotelész laptopot?" — ilyen feladathoz teljesen eltérő bontási stratégia szükséges. Ezért minden új szakterületre vagy problématípusnál újra kell kialakítani a feladat részfeladatokra bontásának példáit, és meg kell fogalmazni a megfelelő promptot, amely szemlélteti a megoldás struktúráját. Más szóval, a feladat helyes dekompozíciójának ismerete maguk az LLM-ek által nem általánosítható univerzálisan; azt konkrét feladatosztályokhoz példákon keresztül kell megadni.

Ezenfelül az LtM hatékonysága nagymértékben függ attól, hogy a feladat mennyire alkalmas önálló részfeladatokra való bontásra. Ha a modell nem tudja helyesen megfogalmazni a közbenső lépéseket, vagy ha bizonyos szükséges részfeladatok kimaradnak, a végső megoldás is helytelen lesz. Ugyanakkor maguk a fejlesztők megjegyzik, hogy sok esetben a kudarc sikerré alakítható, ha egy személy manuálisan megadja a helyes dekompozíciót — ekkor a modell könnyedén megoldja az egyes részeket, és sikeresen kombinálja a válaszokat. Ez rávilágít a megközelítés további fejlesztési lehetőségeire: a részfeladatok automatikus generálásának minőségjavítása, és esetleg a modellek interaktív tanítása. Záró megjegyzéseikben az LtM szerzői feltételezik, hogy a prompt módszerek jövője a modellel folytatott teljes értékű kétirányú párbeszéd felé mutathat, ahol a modell azonnali visszajelzést és közbenső lépéseinek korrekciójét kapja. A Least-to-Most Prompting módszer ebbe az irányba tett lépésként tekinthető, amely megmutatja, hogy a modellel való szekvenciális interakció — feladatbontáson és lépésenkénti megoldáson keresztül — lehetővé teszi gondolkodási képességeinek jelentős bővítését új adatokon való tanítás nélkül.

Hivatkozások

• Az eredeti \"Least-to-Most Prompting Enables Complex Reasoning in Large Language Models\" cikk az arXiv-on
• Az eredeti cikk HTML változata
• Mi az a Least-to-Most Prompting? — AI Safety Info cikk
• A módszer áttekintése a Mediumon
• A prompt engineering módszerek összefoglaló áttekintése az arXiv-on

Irodalom

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.