Least-to-most Prompting (BG)

Least-to-Most Prompting (LtM) — метод за разработване на подсказки за големи езикови модели (LLM), позволяващ решаването на сложни задачи чрез тяхната декомпозиция на по-прости стъпки с последващо последователно решаване на тези подзадачи. Този подход е предложен през 2022 година от група изследователи от Google Brain под ръководството на Дени Джоу и е представен на конференцията ICLR 2023. Основната цел на метода е да преодолее ограниченията на Chain-of-Thought подсказките, които се справят слабо със задачи, по-сложни от примерите, показани на модела при обучението с подсказки. Least-to-Most Prompting позволява на модела да обобщава върху задачи с повишена сложност, оставайки при това интерпретируем и без да изисква допълнително обучение на невронната мрежа. Названието на метода е заимствано от педагогическата психология, където „least to most prompting" означава предоставяне на студента на серия от подсказки с нарастващо ниво на помощ за усвояване на ново умение.

Описание на метода

Методът Least-to-Most Prompting се реализира в два етапа, всеки от които се задава на самия езиков модел чрез carefully-crafted prompts (без допълнително дообучаване на модела):

1. Декомпозиция на задачата. На първия етап моделът получава инструкция и примери, демонстриращи как да разбие сложна задача на последователност от по-прости подзадачи. След това на модела се представя конкретен сложен въпрос и той трябва да изведе списък от опростени междинни въпроси. Например, за дадена сложна задача моделът може самостоятелно да формулира уточняващ подвъпрос, адресиращ частта от изходния проблем.
2. Последователно решаване на подзадачите. На втория етап моделът решава получените подзадачи по ред — от най-простата към най-сложната. За целта всяка подзадача е предшествана от контекст: примери за решения на подобни подпроблеми, а също (при наличие) вече решените предишни подзадачи заедно с техните отговори. След като реши първата подзадача, моделът добавя нейния отговор към текста на подсказката и получава следващата подзадача, използвайки предишните решения като контекст. Това продължава, докато не бъде решена финалната, най-сложна подзадача, която пряко отговаря на изходния въпрос.

Пример: изходна текстова задача се разбива на два етапа с помощта на метода Least-to-Most. Първо моделът формулира и решава междинния въпрос („How long does each trip take?" — „Колко време отнема едно пътуване?"), получавайки отговора „each trip takes 5 minutes" („всяко пътуване отнема 5 минути"). Този отговор се включва в новата подсказка заедно със следващата подзадача — изходния въпрос („How many times can she slide before it closes?" — „Колко пъти ще успее да се спусне, преди атракционът да затвори?"). Използвайки предишния резултат, моделът изчислява финалния отговор (в дадения пример: 3 пъти).

Принципно, Least-to-Most Prompting се различава от стандартния chain-of-thought подход по това, че разбива процеса на разсъждение на отделни заявки с натрупване на знания, вместо да генерира една непрекъсната „верига от мисли" в рамките на един отговор. Такъв поетапен, рекурсивен подход позволява на модела постепенно да преминава към все по-сложни аспекти на задачата, ефективно отстранявайки проблема с easy-to-hard generalization (когато моделът се сблъсква със задача, по-сложна от тези в обучаващите примери). Отбелязваме, че и двата стадия на LtM метода се реализират чрез few-shot prompting (демонстрация на няколко примера) и не изискват допълнително обучение на модела или неговото дообучаване върху нови данни. Освен това методът е съвместим с други техники за подобряване на разсъждението при LLM — например, може да се комбинира с chain-of-thought и self-consistency (последователна извадка на няколко решения) при генерирането на отговор, макар това и да не е задължително.

Експериментални резултати и приложения

В работата, предложила Least-to-Most Prompting, е показано, че този метод превъзхожда стандартните методи за подсказки (включително chain-of-thought) при редица задачи, изискващи сложно многостъпково разсъждение. Той успешно демонстрира своите предимства в три ключови категории задачи:

• Символни и алгоритмични задачи. Например, при задачата за конкатенация на последните букви от думи (последователно вземане на последната буква от всяка дума в списъка и съставяне на нова дума от тях) методът LtM съществено подобри способността на модела да обобщава върху по-дълги последователности от думи. Без специално обучение моделът GPT-3 (code-davinci-002) с chain-of-thought подсказки решаваше такива задачи правилно само в около 32% от случаите, когато списъкът от думи беше с дължина 12, докато при използване на Least-to-Most Prompting точността достигаше ~74%. При кратки списъци (с дължини, срещани в примерите) и двете стратегии се справяха добре, но при нарастване на дължината на последователността качеството на chain-of-thought рязко спадаше, докато Least-to-Most осигуряваше по-плавно намаляване и запазваше висока точност. Това демонстрира способността на LtM метода да обобщава логиката на решението върху по-сложни (по-дълги) входни данни.
• Композиционно обобщение (compositional generalization). Тази категория задачи включва например превод на текстови инструкции в последователност от действия (както в benchmark-а SCAN, изискващ изпълняване на команди от типа „jump twice and run" и обобщаване върху по-дълги комбинации). Методът LtM позволи на LLM да решава успешно дори най-сложните варианти на такива задачи. По-конкретно, моделът GPT-3 с LtM подсказки постигна 99% точност при всички варианти на разделяне на данните в набора SCAN (включително най-сложния length split, при който тестовите последователности са по-дълги от обучаващите), използвайки само 14 примера в подсказката. За сравнение, стандартният chain-of-thought подход даваше само около 16% точност при аналогични условия. Нещо повече, това бе постигнато без обучение на модела върху тренировъчни данни, докато предишните най-добри решения за SCAN разчитаха на специални невро-символни архитектури или методи за разширяване на данните, изискващи използването на целия обучаващ набор от >15 000 примера. По този начин Least-to-Most Prompting демонстрира безпрецедентна за модели без дообучаване способност за композиционно обобщение.
• Математически текстови задачи. Методът беше тестван върху задачи по аритметика в текст, например от dataset-а GSM8K (сложни текстови задачи за събиране/изваждане и логика), а също и върху редица въпроси от набора DROP (проверяващи умението за извличане и изчисляване на числова информация в текст). И тук Least-to-Most Prompting показа подобрение на точността в сравнение с chain-of-thought. Така, за GSM8K при използване на модела code-davinci-002 точността на отговорите нарасна от ~60.9% до ~62.4%. При подзадачите на DROP ползата беше още по-забележима: например, при части от въпросите за „футболни" факти точността се повиши от ~59.6% (chain-of-thought) до ~73.4% при прилагане на LtM. Макар нарастването на качеството при математическите задачи да беше по-малко драматично, отколкото при SCAN, авторите отбелязват важен момент: почти всяка задача от GSM8K може да бъде решена правилно, ако моделът получи правилна декомпозиция на проблема. Това свидетелства, че ключът към успешното решаване е правилно формулираните междинни въпроси; LtM подходът е насочен именно към автоматичното им създаване и последователното им решаване.

Общо взето, експериментите потвърждават, че Least-to-Most Prompting значително превъзхожда както наивното few-shot подсказване без разсъждения, така и chain-of-thought метода при много видове задачи, изискващи многостъпков извод. Методът позволява на LLM да решава проблеми, по-сложни от тези, с които моделът първоначално се е запознал чрез примери, разширявайки границите на in-context learning (учене в движение посредством подсказки).

Ограничения и бъдещи направления

Въпреки успехите, методът Least-to-Most Prompting има редица ограничения. На първо място, за различните типове задачи се изискват различни подходи към декомпозицията. Шаблонът на подсказката, който ефективно разбива математическа задача, може да се окаже напълно неподходящ за логическа задача или за задача от ежедневието. Например, подсказките, научили модела да разделя текстовите задачи по математика на стъпки, се оказаха безполезни за въпрос от областта на здравия разум като „Използвал ли е Аристотел лаптоп?" — за такава задача е необходима съвсем различна стратегия на разбиване. Затова за всяка нова предметна област или тип проблеми се налага повторно подбиране на примери за разбиване на задачата на подзадачи и формиране на съответен prompt, илюстриращ структурата на решението. С други думи, знанието как правилно да се декомпозира задачата не се обобщава универсално от самия LLM и трябва да се задава чрез примери за конкретния клас задачи.

Нещо повече, ефективността на LtM съществено зависи от това, доколко успешно задачата се поддава на разбиване на самостоятелни подцели. Ако моделът не успее да формулира коректно междинните стъпки или ако някои необходими подзадачи бъдат пропуснати, крайното решение също ще бъде неправилно. Независимо от това, самите разработчици отбелязват, че в много случаи неуспехът може да се превърне в успех, ако човек ръчно подскаже правилната декомпозиция — тогава моделът без затруднение решава всяка от частите и успешно комбинира отговорите. Това подчертава потенциала за по-нататъшно развитие на подхода: подобряване на качеството на автоматичното генериране на подзадачи и евентуално интерактивно обучение на модели. В заключение авторите на LtM предполагат, че бъдещето на методите за подсказки може да се насочи към пълноценен двустранен диалог с модела, при който моделът получава незабавна обратна връзка и корекция на своите междинни стъпки. Методът Least-to-Most Prompting може да се разглежда като стъпка в тази посока, показваща, че последователното взаимодействие с модела чрез разбиване и поетапно решаване на задачите позволява значително разширяване на неговите мисловни способности без обучение върху нови данни.

Препратки

• Оригинална статия „Least-to-Most Prompting Enables Complex Reasoning in Large Language Models" в arXiv
• HTML версия на оригиналната статия
• Какво е Least-to-Most Prompting? — статия на AI Safety Info
• Преглед на метода в Medium
• Обобщаващ преглед на методите за prompt engineering в arXiv

Литература

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.