--- title: "Least-to-most Prompting (CS)" source: "https://systems-analysis.info/int/Least-to-most_Prompting_(CS)" wiki: "systems-analysis.info/int" article: "Least-to-most_Prompting_(CS)" language: "cs" categories: - "Category:Czech" - "Category:Large language models" - "Category:Machine learning" - "Category:Prompt engineering" revision_id: 3818 wiki_created_at: 2026-09-06T23:26:35Z wiki_modified_at: 2026-09-06T23:26:35Z downloaded_at: 2026-09-07T22:59:15Z --- # Least-to-most Prompting (CS) **Least-to-Most Prompting** (**LtM**) — metoda vývoje **promptů** pro velké jazykové modely (**LLM**), která umožňuje řešit složité úlohy prostřednictvím jejich **dekompozice** na jednodušší kroky s následným postupným řešením těchto dílčích úloh[\[1\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-pdf-1). Tento přístup byl navržen v roce 2022 skupinou výzkumníků Google Brain pod vedením **Dennyho Zhoua** a představen na konferenci ICLR 2023[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Hlavním cílem metody je překonat omezení Chain-of-Thought promptů, které si špatně poradí s úlohami složitějšími, než jsou příklady ukázané modelu při učení na promptech[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Least-to-Most Prompting umožňuje modelu **zobecňovat na úlohy vyšší obtížnosti**, přičemž zůstává interpretovatelný a nevyžaduje dodatečné trénování neuronové sítě[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Název metody je převzat z pedagogické psychologie, kde „least to most prompting" označuje poskytování studentovi série nápověd s narůstající mírou pomoci při osvojování nové dovednosti[\[3\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-aisafety-info-3). ## Popis metody Metoda Least-to-Most Prompting se realizuje ve **dvou fázích**[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2), přičemž každá z nich je zadávána samotným jazykovým modelům prostřednictvím carefully-crafted promptů (bez dodatečného dotrénování modelu): 1. **Dekompozice úlohy**. V první fázi model dostává instrukci a příklady demonstrující, jak rozložit složitou úlohu na posloupnost jednodušších dílčích úloh. Poté je modelu předložena konkrétní složitá otázka a model musí sestavit seznam zjednodušených **meziotázek**[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Například pro složitou úlohu může model samostatně formulovat upřesňující podotázku adresující část původního problému. 2. **Postupné řešení dílčích úloh**. Ve druhé fázi model řeší získané dílčí úlohy **postupně** — od nejjednodušší k nejsložitější. Za tímto účelem každé dílčí úloze předchází kontext: příklady řešení podobných dílčích problémů a také (pokud existují) již vyřešené předchozí dílčí úlohy spolu s jejich odpověďmi[\[4\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-medium-oxenai-4). Po vyřešení první dílčí úlohy model přidá její odpověď k textu promptu a dostane další dílčí úlohu, přičemž využívá předchozí řešení jako kontext[\[4\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-medium-oxenai-4). Takto pokračuje až do vyřešení finální, nejsložitější dílčí úlohy, která přímo odpovídá na původní otázku. Příklad: původní textová úloha je rozdělena do dvou fází pomocí metody Least-to-Most. Nejprve model formuluje a řeší meziotázku („How long does each trip take?" — „Jak dlouho trvá jedna jízda?") a získá odpověď „each trip takes 5 minutes" („každá jízda trvá 5 minut"). Tato odpověď je zahrnuta do nového promptu spolu s další dílčí úlohou – původní otázkou („How many times can she slide before it closes?" – „Kolikrát stihne sjet, než se atrakce zavře?"). S využitím předchozího výsledku model vypočítá finální odpověď (v tomto příkladu: 3krát). Zásadně se Least-to-Most Prompting liší od standardního chain-of-thought přístupu tím, že rozděluje proces uvažování na samostatné dotazy s akumulací znalostí, namísto generování jednoho nepřerušovaného „řetězce myšlenek" v rámci jediné odpovědi[\[3\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-aisafety-info-3). Takový **postupný, rekurzivní přístup** umožňuje modelu plynule přecházet k stále složitějším aspektům úlohy a účinně odstraňovat problém **easy-to-hard generalization** (kdy model narazí na úlohu složitější než ty, které byly v trénovacích příkladech)[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2)[\[3\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-aisafety-info-3). Je třeba poznamenat, že obě fáze LtM metody jsou realizovány prostřednictvím few-shot promptingu (ukázky několika příkladů) a nevyžadují dodatečné trénování modelu ani jeho dotrénování na nových datech[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Metoda je navíc kompatibilní s dalšími technikami zlepšování uvažování LLM — lze ji například kombinovat s chain-of-thought a self-consistency (postupné vzorkování více řešení) při generování odpovědi, ačkoli to není nezbytné[\[1\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-pdf-1). ## Experimentální výsledky a aplikace V práci navrhující Least-to-Most Prompting bylo prokázáno, že tato metoda **překonává standardní metody promptingu** (včetně chain-of-thought) v řadě úloh vyžadujících složité vícekrokové uvažování[\[1\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-pdf-1). Úspěšně prokázala své výhody ve třech klíčových kategoriích úloh: - **Symbolické a algoritmické úlohy**. Například v úloze **konkatenace posledních písmen slov** (postupně vzít poslední písmeno každého slova v seznamu a sestavit z nich nové slovo) metoda LtM výrazně zvýšila schopnost modelu zobecňovat na delší posloupnosti slov. Bez speciálního trénování model GPT-3 (code-davinci-002) s chain-of-thought prompty řešil tyto úlohy správně pouze přibližně v **32 %** případů, když byl seznam slov délky 12, zatímco s využitím Least-to-Most Prompting dosahovala přesnost **~74 %**[\[1\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-pdf-1). U krátkých seznamů (délky vyskytující se v příkladech) si obě strategie vedly dobře, avšak při nárůstu délky posloupnosti kvalita chain-of-thought rychle klesala, zatímco Least-to-Most zajišťoval plynulejší pokles a zachovával vysokou přesnost[\[1\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-pdf-1). To demonstruje schopnost LtM metody **zobecňovat logiku řešení** na složitější (delší) vstupní data. - **Kompoziční zobecnění** (compositional generalization). Tato kategorie úloh zahrnuje například překlad textových instrukcí na posloupnost akcí (jako v benchmarku **SCAN**, vyžadujícím provádění příkazů typu „jump twice and run" a zobecňování na delší kombinace)[\[4\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-medium-oxenai-4). Metoda LtM umožnila LLM úspěšně řešit i nejsložitější varianty těchto úloh. Konkrétně model GPT-3 s LtM prompty dosáhl **99 %** přesnosti ve všech variantách rozdělení dat v sadě SCAN (včetně nejsložitějšího length split, kde jsou testovací posloupnosti delší než trénovací), přičemž použil pouze 14 příkladů v promptu[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Pro srovnání, standardní chain-of-thought přístup dosahoval pouze přibližně **16 %** přesnosti za analogických podmínek[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Navíc toho bylo dosaženo **bez trénování modelu** na trénovacích datech, zatímco předchozí nejlepší řešení pro SCAN se opírala o speciální neuro-symbolické architektury nebo metody rozšíření dat vyžadující použití celé trénovací sady s více než 15 000 příklady[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2)[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Least-to-Most Prompting tak prokázal **bezprecedentní** schopnost kompozičního zobecnění pro modely bez dotrénování. - **Matematické textové úlohy**. Metoda byla testována na úlohách aritmetiky v textu, například ze sady **GSM8K** (složité textové úlohy na sčítání/odčítání a logiku)[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2), a také na řadě otázek ze sady **DROP** (ověřujících schopnost extrahovat a počítat číselné informace v textu)[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). I zde Least-to-Most Prompting prokázal **zlepšení přesnosti** ve srovnání s chain-of-thought. Pro GSM8K při použití modelu code-davinci-002 vzrostla přesnost odpovědí z ~60,9 % na ~62,4 %[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Na dílčích úlohách DROP byl zisk ještě výraznější: například u části otázek o „fotbalových" faktech přesnost stoupla z ~59,6 % (chain-of-thought) na ~73,4 % při použití LtM[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Ačkoli nárůst kvality u matematických úloh byl méně dramatický než u SCAN, autoři poukazují na důležitý bod: téměř každou úlohu GSM8K se podaří správně vyřešit, pokud model dostane správnou **dekompozici problému**[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). To svědčí o tom, že klíčem k úspěšnému řešení jsou vhodně formulované meziotázky; LtM přístup je právě zaměřen na automatické vytváření takových otázek a jejich postupné řešení. Celkově experimenty potvrzují, že Least-to-Most Prompting **výrazně překonává** jak naivní few-shot prompting bez uvažování, tak metodu chain-of-thought u mnoha typů úloh vyžadujících vícekrokový výstup[\[1\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-pdf-1). Metoda umožňuje LLM řešit problémy složitější než ty, se kterými se model původně seznamoval prostřednictvím příkladů, čímž rozšiřuje hranice **in-context learningu** (učení za chodu prostřednictvím promptů). ## Omezení a další směry vývoje Navzdory úspěchům má metoda Least-to-Most Prompting řadu **omezení**. Především různé typy úloh vyžadují **různé přístupy k dekompozici**. Šablona promptu, která efektivně rozděluje matematickou úlohu, může být pro logickou nebo každodenní úlohu zdravého rozumu zcela nevhodná[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Například prompty, které naučily model dělit textové matematické úlohy na kroky, se ukázaly jako nepoužitelné pro otázku z oblasti zdravého rozumu jako „Používal Aristotelés notebook?" — pro takovou úlohu je zapotřebí zcela jiná strategie rozdělení[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Proto je pro každou novou doménovou oblast nebo typ problémů nutné **znovu hledat příklady** dekompozice úlohy na dílčí úlohy a sestavovat odpovídající prompt ilustrující strukturu řešení[\[3\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-aisafety-info-3). Jinými slovy, znalost správné dekompozice úlohy se samotným LLM neobecňuje univerzálně — je nutné ji zadávat prostřednictvím příkladů pro konkrétní třídu úloh. Navíc účinnost LtM podstatně závisí na tom, jak **dobře se úloha hodí k rozdělení** na samostatné dílčí cíle. Pokud model nedokáže správně formulovat mezikroky nebo pokud budou některé nezbytné dílčí úlohy vynechány, výsledné řešení bude rovněž chybné. Samotní vývojáři však poznamenávají, že v mnoha případech lze neúspěch proměnit v úspěch, pokud člověk ručně navrhne správnou dekompozici — model pak bez potíží vyřeší každou část a úspěšně zkombinuje odpovědi[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). To zdůrazňuje potenciál dalšího rozvoje přístupu: zlepšení kvality automatického generování dílčích úloh a případně interaktivního učení modelů. V závěru autoři LtM předpokládají, že budoucnost metod promptingu může směřovat k plnohodnotnému **obousměrnému dialogu** s modelem, kde model dostává okamžitou zpětnou vazbu a korekci svých mezikroků[\[2\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-2). Metodu Least-to-Most Prompting lze vnímat jako krok tímto směrem, který ukazuje, že postupná interakce s modelem prostřednictvím dekompozice a postupného řešení úloh umožňuje výrazně **rozšířit jeho myšlenkové schopnosti bez trénování** na nových datech[\[1\]](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_note-arxiv-original-pdf-1). ## Odkazy - Původní článek „Least-to-Most Prompting Enables Complex Reasoning in Large Language Models" na arXiv - HTML verze původního článku - Co je Least-to-Most Prompting? — článek AI Safety Info - Přehled metody na Medium - Souhrnný přehled metod prompt engineeringu na arXiv ## Literatura - Zhou, D. et al. (2022). *Least-to-Most Prompting Enables Complex Reasoning in Large Language Models*. arXiv:2205.10625. - Zhou, D. et al. (2023). *Least-to-Most Prompting Enables Complex Reasoning in Large Language Models*. *ICLR 2023*. OpenReview. - Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903. - Wang, X. et al. (2022). *Self-Consistency Improves Chain of Thought Reasoning in Language Models*. arXiv:2203.11171. - Kojima, T. et al. (2022). *Large Language Models Are Zero-Shot Reasoners*. arXiv:2205.11916. - Nye, M. et al. (2021). *Show Your Work: Scratchpads for Intermediate Computation with Language Models*. arXiv:2112.00114. - Lake, B. M.; Baroni, M. (2018). *Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks*. arXiv:1711.00350. - Cobbe, K. et al. (2021). *Training Verifiers to Solve Math Word Problems*. arXiv:2110.14168. - Dua, D. et al. (2019). *DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs*. arXiv:1903.00161. - Zhang, Z. et al. (2022). *Automatic Chain of Thought Prompting in Large Language Models*. arXiv:2210.03493. ## Poznámky 1. ↑ [1.0](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original-pdf_1-0) [1.1](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original-pdf_1-1) [1.2](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original-pdf_1-2) [1.3](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original-pdf_1-3) [1.4](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original-pdf_1-4) [1.5](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original-pdf_1-5) [1.6](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original-pdf_1-6) Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». *ar5iv.org*. [1] 2. ↑ [2.00](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-0) [2.01](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-1) [2.02](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-2) [2.03](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-3) [2.04](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-4) [2.05](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-5) [2.06](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-6) [2.07](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-7) [2.08](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-8) [2.09](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-9) [2.10](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-10) [2.11](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-11) [2.12](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-12) [2.13](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-13) [2.14](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-14) [2.15](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-15) [2.16](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-16) [2.17](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-17) [2.18](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-18) [2.19](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-arxiv-original_2-19) Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». *arXiv*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-aisafety-info_3-0) [3.1](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-aisafety-info_3-1) [3.2](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-aisafety-info_3-2) [3.3](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-aisafety-info_3-3) «What is least-to-most prompting?». *AI Safety Info*. [3] 4. ↑ [4.0](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-medium-oxenai_4-0) [4.1](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-medium-oxenai_4-1) [4.2](https://systems-analysis.info/int/Least-to-most_Prompting_(CS)#cite_ref-medium-oxenai_4-2) OXEN AI. «Arxiv Dives Toolformer: Language models can teach themselves to use tools». *Medium*. [4]