Meta Prompting (CS)

Meta-prompting (angl. meta-prompting) — je pokročilá metoda prompt-engineeringu, při níž jsou velké jazykové modely (LLM) využívány k vytváření, úpravě a optimalizaci vlastních instrukcí (promptů). Na rozdíl od tradičních přístupů, kde člověk ručně píše podrobné instrukce, se meta-prompting zaměřuje na definování struktury řešení úlohy a rolí, které má model zastávat. Jinými slovy popisuje jak řešit úlohu, nikoli co přesně dělat v každém konkrétním případě.

Tento přístup umožňuje LLM samostatně dekompozovat složité problémy, upřesňovat dotazy a iterativně zlepšovat vlastní odpovědi, čímž otevírá cestu k vytváření autonomnějších a adaptivnějších systémů umělé inteligence.

Základní metody a přístupy

Termín „meta-prompting" se rozšířil ve vědecké literatuře koncem roku 2023 a začátkem roku 2024, kdy několik výzkumných skupin představilo podobné přístupy k řízení LLM.

Metoda „rámcového scénáře" (Scaffolding)

Jeden z klíčových přístupů navrhli výzkumníci ze Stanfordské univerzity a OpenAI. V tomto schématu, nazvaném scaffolding, hraje jeden a tentýž jazykový model (GPT-4 v experimentech) několik rolí současně:

• Dirigent (Conductor): Přijímá vysokoúrovňový meta-prompt a rozděluje složitou úlohu na řadu jednodušších dílčích úloh.
• Experti (Experts): „Dirigent" inicializuje několik svých instancí-„expertů", z nichž každý řeší samostatnou dílčí úlohu podle speciálně zadaných instrukcí.
• Integrace: „Dirigent" koordinuje práci „expertů" a integruje jejich odpovědi do finálního řešení.

Tento orchestrační přístup umožnil výrazně zvýšit efektivitu řešení složitých úloh. Například v experimentech meta-prompting překonal běžné jednokrokové dotazy o 17,1 % a další pokročilé metody o 15–17 % na sadách úloh vyžadujících vícekomponentní uvažování (například hra „24", šachové hádanky). Důležité je, že tato metoda má na úloze nezávislý charakter a funguje v režimu nulového příkladu (zero-shot), aniž by vyžadovala konkrétní příklady pro každou novou úlohu.

Teoretický přístup a strukturální šablony

Paralelně navrhla skupina výzkumníků z Univerzity Tsinghua vlastní koncepci meta-promptingu, přičemž přesunula důraz z obsahové části úlohy na její syntaxi a formu reprezentace dat. Opírajíce se o kategoriální model demonstrovali, že abstraktní popis struktury problému umožňuje modelu budovat úvahy blízké svou hloubkou lidskému myšlení a efektivně dekompozovat složité otázky na jednodušší kroky.

Související koncepty

Myšlenky meta-promptingu se projevují i v dalších metodách:

• Automatic Prompt Engineer (APE): Metoda, při níž LLM automaticky generuje a vybírá efektivní instrukce pro sebe sama, přičemž je hodnotí podle kvality dosahovaných výsledků.
• Self-Refine: Přístup, kdy model iterativně zlepšuje svou odpověď tím, že kriticky analyzuje předchozí verzi a generuje opravy na základě této kritiky.

Využití a výhody

Meta-prompting prokázal vysokou efektivitu v úlohách vyžadujících složité vícekomponentní uvažování, jako jsou matematické důkazy, programování a postupné řešení hádanek. Klíčové výhody metody:

• Tokenová efektivita: Soustředění na obecnou strukturu úlohy namísto výčtu mnoha příkladů snižuje objem promptu. Meta-prompt představuje univerzální šablonu vyžadující méně tokenů.
• Stabilita a nestrannost: Metoda se vyhýbá závislosti na konkrétních příkladech, čímž je model méně náchylný ke zkreslení ve prospěch zvláštností trénovacích vzorků.
• Dynamická adaptace: Na rozdíl od statického promptu meta-prompting připouští iterativní zlepšování. Model může v průběhu řešení upřesňovat instrukce, vyžadovat chybějící informace a upravovat strategii.
• Generalizace na nové úlohy: Vysokoúrovňové instrukce se snáze přenášejí na nové, dosud neviděné úlohy, což činí z meta-promptingu zdokonalenou formu přístupu zero-shot.

Omezení a rizika

• Náklady a složitost výpočtů: Metoda vyžaduje opakované dotazy na model pro jednu úlohu, což zvyšuje časové náklady i počet API-požadavků. Současné implementace fungují sekvenčně, což ztěžuje paralelizaci.
• Závislost na schopnostech modelu: Efektivita meta-promptingu silně závisí na kvalitě základního LLM. Výzkumy ukázaly, že GPT-3.5 z této metody téměř neprofituje, zatímco pro GPT-4 a novější modely je přínos výrazně vyšší.
• Fundamentální omezení LLM: Meta-prompting není všelék. Pokud úloha přesahuje znalosti základního modelu, ani dokonale formulovaný meta-prompt nezaručuje správný výsledek. V takových případech je nutné buď doladit model (fine-tuning), nebo jej integrovat s externími nástroji (například vyhledávání na internetu nebo interpret kódu).

Odkazy

• Příklad meta-promptingu v OpenAI Cookbook
• Popis metody v Prompt Engineering Guide

Literatura

• Suzgun, M.; Kalai, A. T. (2024). Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding. arXiv:2401.12954.
• Zhang, Y.; Yuan, Y.; Yao, A. C.-C. (2023). Meta Prompting for AGI Systems. arXiv:2311.11482.
• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
• Ning, X. et al. (2023). Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation. arXiv:2307.15337.
• Chen, X. et al. (2023). Universal Self-Consistency for Large Language Model Generation. arXiv:2311.17311.
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171.
• Fernando, C. et al. (2023). PromptBreeder: Self-Referential Self-Improvement via Prompt Evolution. arXiv:2309.16797.
• Zhou, P. et al. (2024). Self-DISCOVER: Large Language Models Self-Compose Reasoning Structures. arXiv:2402.03620.
• Chen, J. et al. (2024). Thought-Augmented Reasoning with Large Language Models. arXiv:2406.04271.