Least-to-most Prompting (DE)

Least-to-Most Prompting (LtM) ist eine Methode des Prompt-Engineerings für große Sprachmodelle (LLM), die es ermöglicht, komplexe Probleme durch ihre Dekomposition in einfachere Unterschritte zu lösen, welche anschließend nacheinander abgearbeitet werden. Dieser Ansatz wurde 2022 von einer Gruppe von Forschern bei Google Brain unter der Leitung von Denny Zhou vorgeschlagen und auf der ICLR 2023 Konferenz vorgestellt. Das Hauptziel der Methode ist es, die Einschränkungen des Chain-of-Thought-Promptings zu überwinden, das bei Aufgaben versagt, die komplexer sind als die Beispiele, die dem Modell während des Trainings mit Prompts gezeigt wurden. Least-to-Most Prompting ermöglicht es dem Modell, auf Aufgaben mit höherer Komplexität zu generalisieren, wobei der Ansatz interpretierbar bleibt und kein zusätzliches Training des neuronalen Netzes erfordert. Der Name der Methode ist der pädagogischen Psychologie entlehnt, wo „Least-to-Most Prompting“ eine Technik beschreibt, bei der einem Lernenden eine Reihe von Hinweisen mit zunehmender Hilfestellung gegeben wird, um eine neue Fähigkeit zu erlernen.

Beschreibung der Methode

Die Least-to-Most-Prompting-Methode wird in zwei Schritten umgesetzt, die jeweils durch sorgfältig gestaltete Prompts (ohne zusätzliches Fine-Tuning des Modells) an das Sprachmodell übergeben werden:

1. Dekomposition der Aufgabe. Im ersten Schritt erhält das Modell eine Anweisung und Beispiele, die demonstrieren, wie eine komplexe Aufgabe in eine Abfolge einfacherer Teilaufgaben zerlegt wird. Anschließend wird dem Modell eine konkrete komplexe Frage vorgelegt, woraufhin es eine Liste von vereinfachten Zwischenfragen ausgeben muss. Beispielsweise kann das Modell für eine komplexe Aufgabe selbstständig eine präzisierende Unterfrage formulieren, die einen Teil des ursprünglichen Problems behandelt.
2. Sequenzielle Lösung der Teilaufgaben. Im zweiten Schritt löst das Modell die erstellten Teilaufgaben nacheinander – von der einfachsten zur komplexesten. Hierfür wird jeder Teilaufgabe ein Kontext vorangestellt: Beispiele für Lösungen ähnlicher Teilprobleme sowie (falls vorhanden) bereits gelöste vorherige Teilaufgaben samt ihren Antworten. Nachdem die erste Teilaufgabe gelöst wurde, fügt das Modell die Antwort dem Prompt-Text hinzu und erhält die nächste Teilaufgabe, wobei die vorherigen Lösungen als Kontext dienen. Dies wird fortgesetzt, bis die letzte und komplexeste Teilaufgabe gelöst ist, die die ursprüngliche Frage direkt beantwortet.

Beispiel: Eine ursprüngliche Textaufgabe wird mithilfe der Least-to-Most-Methode in zwei Schritte zerlegt. Zuerst formuliert und löst das Modell eine Zwischenfrage („How long does each trip take?“ – „Wie lange dauert eine Fahrt?“), woraus die Antwort „each trip takes 5 minutes“ („jede Fahrt dauert 5 Minuten“) resultiert. Diese Antwort wird zusammen mit der nächsten Teilaufgabe – der ursprünglichen Frage („How many times can she slide before it closes?“ – „Wie oft kann sie rutschen, bevor die Attraktion schließt?“) – in einen neuen Prompt aufgenommen. Unter Verwendung des vorherigen Ergebnisses berechnet das Modell die endgültige Antwort (in diesem Beispiel: 3 Mal).

Grundsätzlich unterscheidet sich Least-to-Most Prompting vom standardmäßigen Chain-of-Thought-Ansatz dadurch, dass der Denkprozess in einzelne Anfragen mit Wissensakkumulation aufgeteilt wird, anstatt eine einzige kontinuierliche „Gedankenkette“ innerhalb einer Antwort zu generieren. Dieser schrittweise, rekursive Ansatz ermöglicht es dem Modell, sich allmählich komplexeren Aspekten der Aufgabe zu nähern und so das Problem der Easy-to-Hard Generalization (wenn ein Modell mit einer Aufgabe konfrontiert wird, die schwieriger ist als die in den Trainingsbeispielen) effektiv zu lösen. Es ist anzumerken, dass beide Stufen der LtM-Methode durch Few-Shot-Prompting (Demonstration einiger Beispiele) umgesetzt werden und kein zusätzliches Training oder Fine-Tuning des Modells auf neuen Daten erfordern. Darüber hinaus ist die Methode mit anderen Techniken zur Verbesserung des schlussfolgernden Denkens von LLMs kompatibel; sie kann beispielsweise mit Chain-of-Thought und Self-Consistency (sequenzielle Auswahl mehrerer Lösungen) bei der Generierung der Antwort kombiniert werden, obwohl dies nicht zwingend erforderlich ist.

Experimentelle Ergebnisse und Anwendungen

In der Arbeit, die Least-to-Most Prompting vorschlug, wurde gezeigt, dass diese Methode bei einer Reihe von Aufgaben, die komplexes, mehrstufiges Schlussfolgern erfordern, den Standard-Prompting-Methoden (einschließlich Chain-of-Thought) überlegen ist. Sie demonstrierte ihre Vorteile erfolgreich in drei Schlüsselkategorien von Aufgaben:

• Symbolische und algorithmische Aufgaben. Beispielsweise bei der Aufgabe der Konkatenation der letzten Buchstaben von Wörtern (den letzten Buchstaben jedes Wortes in einer Liste nehmen und daraus ein neues Wort bilden) verbesserte die LtM-Methode die Fähigkeit des Modells erheblich, auf längere Wortsequenzen zu generalisieren. Ohne spezielles Training löste das Modell GPT-3 (code-davinci-002) mit Chain-of-Thought-Prompts solche Aufgaben nur in etwa 32 % der Fälle korrekt, wenn die Wortliste 12 Wörter lang war, während mit Least-to-Most Prompting eine Genauigkeit von ~74 % erreicht wurde. Bei kurzen Listen (mit Längen, die in den Beispielen vorkamen) schnitten beide Strategien gut ab. Mit zunehmender Sequenzlänge nahm die Leistung von Chain-of-Thought jedoch stark ab, während Least-to-Most einen sanfteren Leistungsabfall zeigte und eine hohe Genauigkeit beibehielt. Dies demonstriert die Fähigkeit der LtM-Methode, die Lösungslogik auf komplexere (längere) Eingabedaten zu generalisieren.
• Kompositionelle Generalisierung (compositional generalization). Diese Aufgabenkategorie umfasst beispielsweise die Übersetzung von Textanweisungen in eine Handlungssequenz (wie im SCAN-Benchmark, der die Ausführung von Befehlen wie „jump twice and run“ und die Generalisierung auf längere Kombinationen erfordert). Die LtM-Methode ermöglichte es LLMs, selbst die komplexesten Varianten solcher Aufgaben erfolgreich zu lösen. Insbesondere erreichte das GPT-3-Modell mit LtM-Prompts eine Genauigkeit von 99 % bei allen Varianten der Datenaufteilung im SCAN-Datensatz (einschließlich des schwierigsten „length split“, bei dem die Testsequenzen länger sind als die Trainingssequenzen), wobei nur 14 Beispiele im Prompt verwendet wurden. Im Vergleich dazu erreichte der standardmäßige Chain-of-Thought-Ansatz unter ähnlichen Bedingungen nur eine Genauigkeit von etwa 16 %. Dies wurde zudem ohne Training des Modells auf den Trainingsdaten erreicht, während frühere Bestlösungen für SCAN auf speziellen neuro-symbolischen Architekturen oder Datenerweiterungsmethoden basierten, die den gesamten Trainingsdatensatz von >15.000 Beispielen erforderten. Somit zeigte Least-to-Most Prompting eine für Modelle ohne Fine-Tuning beispiellose Fähigkeit zur kompositionellen Generalisierung.
• Mathematische Textaufgaben. Die Methode wurde an arithmetischen Textaufgaben getestet, beispielsweise aus dem GSM8K-Datensatz (komplexe Textaufgaben zu Addition/Subtraktion und Logik) sowie an einer Reihe von Fragen aus dem DROP-Datensatz (der die Fähigkeit prüft, numerische Informationen aus Texten zu extrahieren und zu berechnen). Auch hier zeigte Least-to-Most Prompting eine verbesserte Genauigkeit im Vergleich zu Chain-of-Thought. So stieg die Genauigkeit der Antworten für GSM8K bei Verwendung des Modells code-davinci-002 von ~60,9 % auf ~62,4 %. Bei den Teilaufgaben von DROP war der Gewinn noch deutlicher: Beispielsweise stieg die Genauigkeit bei Fragen zu „Fußball“-Fakten von ~59,6 % (Chain-of-Thought) auf ~73,4 % bei Anwendung von LtM. Obwohl der Qualitätszuwachs bei mathematischen Aufgaben weniger dramatisch war als bei SCAN, heben die Autoren einen wichtigen Punkt hervor: Fast jede GSM8K-Aufgabe kann korrekt gelöst werden, wenn das Modell eine korrekte Dekomposition des Problems erhält. Dies deutet darauf hin, dass der Schlüssel zur erfolgreichen Lösung in gut formulierten Zwischenfragen liegt; der LtM-Ansatz zielt genau darauf ab, solche Fragen automatisch zu erstellen und sie sequenziell zu lösen.

Zusammenfassend bestätigen die Experimente, dass Least-to-Most Prompting sowohl dem naiven Few-Shot-Prompting ohne Schlussfolgerungen als auch der Chain-of-Thought-Methode bei vielen Arten von Aufgaben, die mehrstufiges Denken erfordern, deutlich überlegen ist. Die Methode ermöglicht es LLMs, Probleme zu lösen, die komplexer sind als jene, mit denen das Modell ursprünglich durch Beispiele vertraut gemacht wurde, und erweitert so die Grenzen des In-Context Learning (Lernen durch Prompts zur Laufzeit).

Grenzen und zukünftige Richtungen

Trotz der Erfolge weist die Least-to-Most-Prompting-Methode eine Reihe von Grenzen auf. Vor allem erfordern unterschiedliche Aufgabentypen unterschiedliche Ansätze zur Dekomposition. Eine Prompt-Vorlage, die eine mathematische Aufgabe effektiv zerlegt, ist möglicherweise für eine logische oder eine auf gesundem Menschenverstand basierende Aufgabe völlig ungeeignet. Beispielsweise erwiesen sich Prompts, die dem Modell beibrachten, mathematische Textaufgaben in Schritte zu unterteilen, als nutzlos für eine Frage aus dem Bereich des gesunden Menschenverstandes wie „Hat Aristoteles einen Laptop benutzt?“ – für eine solche Aufgabe ist eine völlig andere Zerlegungsstrategie erforderlich. Daher müssen für jeden neuen Anwendungsbereich oder Problemtyp die Beispiele für die Zerlegung der Aufgabe in Teilaufgaben neu ausgewählt und ein entsprechender Prompt formuliert werden, der die Lösungsstruktur illustriert. Mit anderen Worten, das Wissen, wie eine Aufgabe korrekt zu zerlegen ist, wird vom LLM nicht universell generalisiert, sondern muss durch Beispiele für eine bestimmte Aufgabenklasse vorgegeben werden.

Darüber hinaus hängt die Effektivität von LtM maßgeblich davon ab, wie gut sich eine Aufgabe in eigenständige Teilziele zerlegen lässt. Wenn das Modell die Zwischenschritte nicht korrekt formulieren kann oder wenn notwendige Teilaufgaben übersprungen werden, wird auch die endgültige Lösung falsch sein. Dennoch merken die Entwickler selbst an, dass in vielen Fällen ein Misserfolg in einen Erfolg umgewandelt werden kann, wenn ein Mensch die korrekte Dekomposition manuell vorgibt – dann löst das Modell jeden Teil mühelos und kombiniert die Antworten erfolgreich. Dies unterstreicht das Potenzial für die Weiterentwicklung des Ansatzes: die Verbesserung der Qualität der automatischen Generierung von Teilaufgaben und möglicherweise des interaktiven Lernens der Modelle. Abschließend vermuten die Autoren von LtM, dass die Zukunft der Prompting-Methoden in einem vollwertigen zweiseitigen Dialog mit dem Modell liegen könnte, bei dem das Modell sofortiges Feedback und Korrekturen zu seinen Zwischenschritten erhält. Die Least-to-Most-Prompting-Methode kann als ein Schritt in diese Richtung betrachtet werden, der zeigt, dass die sequenzielle Interaktion mit dem Modell durch Zerlegung und schrittweise Lösung von Aufgaben es ermöglicht, seine schlussfolgernden Fähigkeiten ohne Training auf neuen Daten erheblich zu erweitern.

Weblinks

• Originalartikel „Least-to-Most Prompting Enables Complex Reasoning in Large Language Models“ auf arXiv
• HTML-Version des Originalartikels
• Was ist Least-to-Most Prompting? – Artikel von AI Safety Info
• Überblick über die Methode auf Medium
• Zusammenfassender Überblick über Prompt-Engineering-Methoden auf arXiv

Literatur

• Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
• Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
• Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
• Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
• Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
• Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
• Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.