Generated Knowledge Prompting (CS)

Generated Knowledge Prompting (GKP, prompting s generováním znalostí) — je metoda prompt-inženýrství vyvinutá pro zlepšení schopnosti velkých jazykových modelů (LLM) řešit úlohy vyžadující uvažování a opírání se o faktické znalosti. Základní myšlenka GKP spočívá v tom, aby model provedl úlohu ve dvou fázích: nejprve vygeneroval sadu relevantních faktů k tématu dotazu a poté, opíraje se o tyto znalosti, formuloval konečnou odpověď.

Tento přístup umožňuje LLM aktivovat a využívat své vnitřní, parametrizované znalosti, které jsou implicitně zakódovány v miliardách parametrů, ale při standardních dotazech jsou často nedostupné. GKP řeší problém, kdy modely „nevědí, co vědí", a pomáhá jim propojit různorodé fakty pro vytvoření správného závěru.

Historie a původ

Metoda Generated Knowledge Prompting byla poprvé představena ve vědeckém článku „Generated Knowledge Prompting for Commonsense Reasoning", připraveném skupinou výzkumníků pod vedením Jiachenga Liua (Jiacheng Liu). Původní verze práce byla zveřejněna v archivu preprintů arXiv 15. října 2021 a konečná verze byla představena na prestižní konferenci Association for Computational Linguistics (ACL) v roce 2022.

GKP se stal jednou z prvních a nejvýznamnějších metod, které navrhly změnu paradigmatu interakce s LLM — přesunutí důrazu z jednorázové generace odpovědi na dvoustupňový kognitivní proces.

Dvoustupňový mechanismus fungování

Mechanismus GKP rozděluje složitou úlohu na dva jednodušší dílčí procesy: extrakci relevantních informací a jejich následné využití pro odvozování.

Fáze 1: Generování znalostí (Knowledge Generation)

V první fázi se používá jazykový model („generátor znalostí") k vytvoření několika (M) fragmentů znalostí relevantních k původní otázce. Tento proces je iniciován pomocí techniky few-shot prompting, kdy je modelu poskytnuto několik příkladů pro učení „v kontextu".

Prompt pro generování znalostí má přesně definovanou strukturu:

1. Instrukce: Obecný pokyn, například: „Vygeneruj několik faktů k tématu".
2. Demonstrační příklady: Několik dvojic „otázka–znalost" napsaných člověkem. Tyto příklady hrají kriticky důležitou roli, protože učí model, jaký typ informací je považován za užitečný. Přitom vygenerovaná znalost nesmí obsahovat samotnou odpověď přímo.
3. Nová otázka: Původní dotaz uživatele, pro který je třeba vygenerovat znalosti.

Pro jednu otázku se generuje M variant znalostí (v původní práci M=20), aby byl pro druhou fázi získán různorodý soubor faktů.

Fáze 2: Integrace znalostí a formování odpovědi (Knowledge Integration)

Ve druhé fázi se používá jiný jazykový model („model pro odvozování"), který může pracovat v režimu zero-shot nebo být doladěn na konkrétní úlohu.

Proces integrace probíhá následovně:

1. Augmentace dotazu: Původní otázka (q) je postupně kombinována s každým z M vygenerovaných fragmentů znalostí (k_m). Výsledkem je M+1 augmentovaných dotazů (včetně původní otázky bez znalostí).
2. Hodnocení a výběr odpovědi: Model pro odvozování vyhodnocuje podmíněnou pravděpodobnost každého možného variantu odpovědi (a) pro každý augmentovaný dotaz. Konečnou odpovědí se stává ten variant, který získal nejvyšší hodnocení pravděpodobnosti alespoň u jednoho z dotazů.

Tento dvoustupňový mechanismus zavádí jakýsi metakognitivní proces: „Před odpovědí se zamysli a formuluj, co o tomto tématu víš\".

Účinnost a výsledky testování

Účinnost GKP byla ověřena na řadě akademických benchmarků pro hodnocení uvažování na základě zdravého rozumu. Metoda prokázala výrazné zlepšení výkonu ve srovnání se základními přístupy.

Přehled výsledků GKP na hlavních benchmarcích (data z Liu et al., 2022)

Název benchmarku	Úloha	Přesnost základního modelu (%)	Přesnost s GKP (%)	Přírůstek (%)
NumerSense	Numerický zdravý rozum	64.05	72.47	+8.42
CommonsenseQA	Obecný zdravý rozum	39.89	47.26	+7.37
CommonsenseQA 2.0	Obecný zdravý rozum	70.20	73.03	+2.83
QASC	Vědecký zdravý rozum	76.74	80.33	+3.59

Největší přírůstek je pozorován v režimu zero-shot, což prokazuje schopnost GKP efektivně aktivovat vnitřní znalosti modelu bez dodatečného dolaďování.

Srovnávací analýza s jinými technikami

GKP vs. Chain-of-Thought (CoT)

Klíčový rozdíl mezi GKP a Chain-of-Thought (CoT) spočívá v typu generovaných informací:

• GKP generuje deklarativní znalosti — fakta, definice, tvrzení o světě („co"). Poskytuje modelu dodatečný kontext.
• CoT generuje procedurální znalosti — logické kroky, výpočty, posloupnost závěrů („jak"). Poskytuje modelu cestu uvažování.

GKP tedy poskytuje faktografický základ, zatímco CoT poskytuje logickou strukturu odvozování.

GKP vs. Retrieval-Augmented Generation (RAG)

Na rozdíl od GKP využívá metoda Retrieval-Augmented Generation (RAG) externí, neparametrizované zdroje znalostí.

• GKP využívá vnitřní znalosti, které si model osvojil během trénování. Nutí model „vzpomenout si\" na to, co již ví.
• RAG využívá externí znalosti z databází, dokumentů nebo internetu. Nutí model „vyhledávat\" informace ve vnějším světě.

Volba mezi GKP a RAG závisí na úloze: GKP je účinný, pokud jsou požadované znalosti obecně známé a dobře zastoupené v trénovacích datech, zatímco RAG je nenahraditelný pro úzce specializovaná, aktuální nebo proprietární data.

Omezení a rizika

• Problém „halucinací": Hlavní riziko GKP — možnost generování nesprávných faktů. Pokud model v první fázi vygeneruje nepravdivé tvrzení, ve druhé fázi bude přijato jako pravdivé, což povede k sebejisté, ale zcela chybné odpovědi.
• Výpočetní náklady: Metoda vyžaduje opakované volání LLM (M+1 volání pro jeden dotaz), což výrazně zvyšuje dobu odezvy (latency) a náklady na provoz ve srovnání se standardním promptingem.
• Složitost tvorby promptů: Účinnost GKP silně závisí na kvalitě few-shot příkladů, jejichž tvorba je netriviálním a pracným úkolem.

Vývoj a hybridní přístupy

Myšlenky obsažené v GKP se staly katalyzátorem pro vývoj složitějších a spolehlivějších technik promptingu, jako jsou:

• Hint-before-Solving (HSP): Přímý ideový nástupce GKP, který aplikuje dvoustupňový princip („nejprve znalost, pak akce") nikoli na jednoduchou odpověď, ale na složitější proces uvažování v CoT.
• Verify-and-Edit (VE): Hybridní framework, který je odpovědí na problém „halucinací" v GKP a CoT. VE nejprve generuje řetězec uvažování (jako CoT), poté automaticky ověřuje klíčové fakty pomocí externího vyhledávání (jako RAG) a upravuje uvažování před generováním konečné odpovědi.

Odkazy

• Generated Knowledge Prompting v Průvodci prompt inženýrstvím

Literatura

• Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
• Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
• Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
• Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
• Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
• Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
• Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
• Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
• Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467