Generated Knowledge Prompting (HU)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, tudásgenerálással támogatott promptolás) — egy prompt-mérnöki módszer, amelyet a nagy nyelvi modellek (LLM) rászoruló feladatokban való teljesítményének javítására fejlesztettek ki, különösen az érvelést és tényszerű tudást igénylő feladatok esetén[1]. A GKP alapgondolata az, hogy a modellt két lépésben hajtja végre a feladatot: először releváns tényeket generál a kérdés témájával kapcsolatban, majd ezekre a tudáselemekre támaszkodva fogalmazza meg a végleges választ[2].

Ez a megközelítés lehetővé teszi az LLM számára, hogy aktiválja és felhasználja belső, parametrizált tudását, amelyet milliárdnyi paraméterbe van kódolva, de standard lekérdezéseknél sokszor nem érhető el. A GKP azt a problémát oldja meg, amikor a modellek „nem tudják, hogy mit tudnak", és segíti őket abban, hogy szétszórt tényeket összekössenek a helyes következtetés levonásához[2].

Történet és eredet

A Generated Knowledge Prompting módszert először a „Generated Knowledge Prompting for Commonsense Reasoning" című tudományos cikkben mutatták be, amelyet Jiacheng Liu vezette kutatócsoport készített. A tanulmány előzetes változata az arXiv előnyomatok archívumában jelent meg 2021. október 15-én, a végleges verzióját pedig a neves Association for Computational Linguistics (ACL) konferencián mutatták be 2022-ben[1].

A GKP az első és legjelentősebb módszerek egyike volt, amely az LLM-ekkel való interakció paradigmájának megváltoztatását javasolta, az azonnali válaszgenerálásról a kétlépéses kognitív folyamatra helyezve a hangsúlyt.

Kétlépéses működési mechanizmus

A GKP mechanizmusa az összetett feladatot két egyszerűbb alfolyamatra bontja: a releváns információ kinyerésére és annak következtetésre való felhasználására.

1. lépés: Tudásgenerálás (Knowledge Generation)

Az első lépésben egy nyelvi modellt (a „tudásgenerátort") használnak arra, hogy több (M) tudáselemet hozzon létre, amelyek relevánsak az eredeti kérdésre. Ezt a folyamatot few-shot prompting technikával indítják el, ahol a modell néhány példát kap a „kontextusban való tanuláshoz".

A tudásgenerálási prompt meghatározott szerkezettel rendelkezik:

  1. Utasítás: Általános iránymutatás, például: „Generálj néhány tényt a témával kapcsolatban".
  2. Bemutatópéldák: Néhány, ember által írt „kérdés-tudás" pár. Ezek a példák kritikusan fontos szerepet játszanak, mivel megtanítják a modellnek, hogy milyen típusú információ tekinthető hasznosnak. A generált tudás nem tartalmazhatja közvetlenül magát a választ.
  3. Új kérdés: A felhasználó eredeti lekérdezése, amelyhez tudást kell generálni.

Egy kérdéshez M tudásváltozat generálódik (az eredeti munkában M=20), hogy a második lépéshez változatos tényhalmazt kapjanak[1].

2. lépés: Tudásintegráció és válaszformálás (Knowledge Integration)

A második lépésben egy másik nyelvi modellt (a „következtető modellt") használnak, amely működhet zero-shot módban, vagy finomhangolható az adott feladatra.

Az integráció folyamata a következőképpen zajlik:

  1. Lekérdezésbővítés: Az eredeti kérdést (q) egymás után összekapcsolják az M generált tudáselem mindegyikével (km). Ennek eredményeként M+1 bővített lekérdezés jön létre (beleértve az eredeti, tudás nélküli kérdést is).
  2. Értékelés és válaszválasztás: A következtető modell megbecsüli minden lehetséges válaszlehetőség (a) feltételes valószínűségét minden egyes bővített lekérdezéshez. A végső válasz az a lehetőség lesz, amely a legtöbb lekérdezésnél a legmagasabb valószínűségi értéket kapta.

Ez a kétlépéses mechanizmus egyfajta metakognitív folyamatot vezet be: „Mielőtt válaszolsz, gondolkodj el és fogalmazd meg, mit tudsz ebben a témában".

Hatékonyság és tesztelési eredmények

A GKP hatékonyságát számos akadémiai benchmarkon ellenőrizték, amelyek a józan ész alapú érvelést mérik. A módszer jelentős teljesítményjavulást mutatott az alapmódszerekhez képest.

A GKP eredményeinek összefoglalása a főbb benchmarkokon (adatok: Liu et al., 2022)[1]
Benchmark neve Feladat Alapmodell pontossága (%) GKP-vel elért pontosság (%) Növekedés (%)
NumerSense Numerikus józan ész 64.05 72.47 +8.42
CommonsenseQA Általános józan ész 39.89 47.26 +7.37
CommonsenseQA 2.0 Általános józan ész 70.20 73.03 +2.83
QASC Tudományos józan ész 76.74 80.33 +3.59

A legnagyobb növekedés zero-shot módban figyelhető meg, ami bizonyítja a GKP azon képességét, hogy hatékonyan aktiválja a modell belső tudását további finomhangolás nélkül.

Összehasonlító elemzés más technikákkal

GKP vs. Chain-of-Thought (CoT)

A GKP és a Chain-of-Thought (CoT) közötti fő különbség a generált információ típusában rejlik:

  • A GKP deklaratív tudást generál — tényeket, definíciókat, a világra vonatkozó kijelentéseket („mi"). Kiegészítő kontextust nyújt a modellnek.
  • A CoT procedurális tudást generál — logikai lépéseket, számításokat, következtetési sorrendeket („hogyan"). Következtetési utat nyújt a modellnek.

Így a GKP tényalapot biztosít, a CoT pedig a következtetés logikai szerkezetét[3].

GKP vs. Retrieval-Augmented Generation (RAG)

A GKP-vel ellentétben a Retrieval-Augmented Generation (RAG) módszer külső, nem parametrikus tudásforrásokat használ.

  • A GKP belső tudást használ, amelyet a modell a tanítás során sajátított el. Arra készteti a modellt, hogy „felidézze", amit már tud.
  • A RAG külső tudást használ adatbázisokból, dokumentumokból vagy az internetről. Arra készteti a modellt, hogy „keresse", az információt a külső világban.

A GKP és a RAG közötti választás a feladattól függ: a GKP akkor hatékony, ha a szükséges tudás közismert és jól képviselt a tanítóadatokban, míg a RAG nélkülözhetetlen szűk szakterületi, friss vagy saját tulajdonú adatok esetén.

Korlátok és kockázatok

  • A „hallucinációk" problémája: A GKP fő kockázata a téves tények generálásának lehetősége. Ha az első lépésben a modell hamis állítást generál, a második lépésben azt igaznak fogja tekinteni, ami magabiztos, de teljesen téves válaszhoz vezet.
  • Számítási költségek: A módszer az LLM többszöri hívását igényli (M+1 hívás egyetlen lekérdezéshez), ami jelentősen megnöveli a válaszidőt (latency) és a használati költséget a standard promptoláshoz képest.
  • Promptfejlesztés összetettsége: A GKP hatékonysága erősen függ a few-shot példák minőségétől, amelyek elkészítése nem triviális és időigényes feladat.

Evolúció és hibrid megközelítések

A GKP-ben lefektetett gondolatok katalizátorként szolgáltak összetettebb és megbízhatóbb promptolási technikák kidolgozásához, mint például:

  • Hint-before-Solving (HSP): A GKP közvetlen szellemi örököse, amely a kétlépéses elvet („először tudás, aztán cselekvés") nem egyszerű válaszra, hanem CoT-ban zajló összetettebb következtetési folyamatra alkalmazza[4].
  • Verify-and-Edit (VE): Hibrid keretrendszer, amely a GKP és a CoT „hallucinációs" problémájára ad választ. A VE először következtetési láncot generál (mint a CoT), majd külső keresés segítségével automatikusan ellenőrzi a kulcstényeket (mint a RAG), és szerkeszti a következtetéseket a végső válasz generálása előtt[5].

Hivatkozások

  • Generated Knowledge Prompting a Prompt Engineering Guide-ban

Irodalom

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

Megjegyzések

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(HU)&oldid=2587"