Prompt (language models) (CS)

Prompt (z angl. prompt — „nápověda" nebo „textový dotaz") v kontextu velkých jazykových modelů (LLM) je vstupní text nebo instrukce, kterou uživatel poskytuje modelu za účelem vygenerování požadované odpovědi. Prompt formuluje úlohu pro model, včetně nezbytných podmínek, kontextu a příkladů. Efektivita práce modelu do značné míry závisí na kvalitě sestavenéhopromptu.

Disciplína zabývající se metodami vývoje a optimalizace textových dotazů se nazývá prompt engineering. Jejím cílem je získávání maximálně relevantních, přesných a bezpečných odpovědí od AI modelů. Správně sestavený prompt zadává modelu „trasu" plnění úlohy a pomáhá upřesnit požadovaný kontext a žádaný výsledek.

Historie vývoje přístupu

Myšlenka řízení chování LLM pomocí textových nápověd se rozvíjela souběžně s růstem schopností samotných modelů.

Rané etapy (GPT-2)

Již v roce 2019 výzkumníci OpenAI prokázali, že velké předtrénované jazykové modely, jako například GPT-2, jsou schopny řešit nové úlohy bez dodatečného trénování, pokud jsou tyto úlohy formulovány ve formě textu. Práce „Language Models are Unsupervised Multitask Learners" označila zásadní posun: místo dolaďování modelu pro každou úlohu zvlášť začalo stačit formulovat pro ni srozumitelnou instrukci na vstupu.

Průlom s GPT-3 a In-Context Learning

Skutečný průlom nastal s vydáním modelu GPT-3 v roce 2020. S 175 miliardami parametrů GPT-3 prokázal schopnost kontextového učení (in-context learning) — osvojení nové úlohy „za běhu" z několika příkladů poskytnutých přímo v textu dotazu. Tento režim práce dostal název few-shot learning („učení s několika příklady") a ukázal, že škálování velikosti modelu vede k vysoké kvalitě plnění NLP úloh bez jakéhokoli dolaďování vah.

Vznik Chain-of-Thought (CoT)

Další vývoj v roce 2022 byl spojen se zlepšením schopnosti modelů ke složitému logickému uvažování. Byly navrženy speciální nápovědy ve formátu řetězce úvah (chain-of-thought prompting). V takových promptech model dostává nejen otázku, ale také příklad postupného, krok za krokem probíhajícího uvažování před odpovědí. To výrazně zvýšilo přesnost řešení aritmetických a logických úloh. Výzkum Kojimy a kolegů ukázal, že model lze stimulovat k uvažování dokonce i bez příkladů (zero-shot), pouhým přidáním fráze „Pojďme přemýšlet krok za krokem" na konec dotazu.

Multimodální prompty

Koncepce promptů přesáhla rámec textu. V roce 2022 s příchodem modelů DALL-E 2 a Stable Diffusion se uživatelské dotazy v přirozeném jazyce staly univerzálním rozhraním pro generování obrázků a později také hudby a videa.

Druhy a techniky použití promptů

Existuje několik základních typů a technik promptů, které se často kombinují.

Zero-shot prompting (Přímý dotaz)

Model dostává pouze instrukci nebo otázku bez jakýchkoli příkladů. V tomto režimu se LLM opírá o své obecné znalosti získané při předtrénování. Hodí se pro jednoduché úlohy, jako je překlad nebo sumarizace textu.

Few-shot prompting (Učení na příkladech)

Kromě instrukce jsou do promptu zahrnuty jeden nebo více příkladů se vstupy a očekávanými výstupy. Model se „učí za běhu" na těchto vzorcích a aplikuje osvojenou logiku na nový dotaz. Tato metoda, realizující in-context learning, výrazně zvyšuje přesnost u úloh, kde je důležitý určitý formát nebo styl odpovědi.

Řetězec úvah (Chain-of-Thought, CoT)

Zvláštní druh promptu pro úlohy vyžadující složité uvažování (matematika, logika). Do nápovědy je zahrnut postupný rozbor nebo plán řešení před závěrečnou odpovědí. To nutí model explicitně strukturovat proces uvažování, což výrazně zlepšuje kvalitu výsledku.

Ladění nápověd (Prompt Tuning)

Technika, kde místo ručního psaní promptu je použita automaticky optimalizovaná nápověda. Prompt je reprezentován sadou speciálních trénovatelných tokenů (spojitého vektoru), který se přidává k uživatelskému dotazu. Natrénováním pouze tohoto malého vektoru-promptu lze přizpůsobit velký „zmrazený" model nové úloze s minimálními výpočetními náklady.

Prompt engineering jako disciplína

Vznik profese

Růst schopností LLM vedl ke vzniku nové specializace — prompt inženýr. Tito specialisté vyvíjejí a ladí textové nápovědy s cílem získat od AI požadované chování. Prompt inženýři využívají znalosti z oblasti lingvistiky, logiky a psychologie, aby strukturovali vstupní data co nejefektivnějším způsobem. V letech 2022–2023 se objevily první pracovní nabídky na tuto pozici, což odráží vysokou poptávku po dovednostech efektivní interakce s AI systémy.

Budoucnost profese a automatizace

Oblast se rozvíjí rychle a její budoucnost je předmětem diskusí. Výzkumy z roku 2024, například od VMware, ukázaly, že samotná AI je schopna prostřednictvím prohledávání a optimalizace nacházet efektivní formulace dotazů, které často překonávají lidské výsledky. To vedlo k názoru, že ruční prompt engineering může být dočasným jevem a časem se nástroje pro automatický výběr nápověd stanou standardem. Nicméně k roku 2025 zůstává odbornost v oblasti prompt engineeringu žádaná.

Oblasti použití

• Zpracování přirozeného jazyka: Klasické NLP úlohy, jako jsou automatické sumarizace dokumentů, strojový překlad, zodpovídání otázek a extrakce informací.
• Chatboti a virtuální asistenti: Prompty pomáhají nastavit roli, styl komunikace a formát odpovědí, čímž jsou dialogové systémy konzistentnější a užitečnější.
• Generování kódu: Modely jako OpenAI Codex jsou schopny psát programový kód na základě popisu v přirozeném jazyce, což urychluje vývoj.
• Analýza dat: S pomocí promptů lze model nastavit na extrakci poznatků z nestrukturovaných textových zpráv nebo generování hypotéz.
• Vzdělávání: Vytváření inteligentních doučovatelů, kteří generují úlohy, vysvětlují složité koncepty a hodnotí odpovědi s ohledem na úroveň připravenosti žáka.
• Kreativní průmysly: Generování textů, uměleckých obrázků, hudby a scénářů na základě detailního popisu.

Škodlivé použití a zranitelnosti (Prompt Injection)

Otevřenost rozhraní LLM vedla ke vzniku nové třídy útoků — vkládání nápovědy (prompt injection). Útočník formuluje speciální škodlivý dotaz, který nutí model porušit jeho původní instrukce nebo vyzradit skryté informace. Odborníci to považují za druh útoku typu „injekce kódu", kde místo kódu jsou do systému „vstřikovány" zákeřné textové instrukce.

Typy útoků

• Jailbreak: Útok umožňující modelu „uniknout" z rámce uložených omezení (například zásad moderování) a generovat zakázaný obsah. Známým příkladem je DAN-prompt (Do Anything Now), který nutil ChatGPT odpovídat bez cenzury.
• Prompt Leaking: Speciální dotaz nutí model vyzradit části jeho skrytého systémového promptu.
• Token Smuggling: Škodlivá instrukce se maskuje jako neškodná část dotazu (například fragment kódu), aby obešla filtry a vyvolala nežádoucí chování.

Tyto útoky představují závažný problém, neboť tradiční metody kybernetické bezpečnosti jsou špatně přizpůsobeny hrozbám spojeným s interpretací přirozeného jazyka.

Literatura

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.