Generated Knowledge Prompting (PL)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, prompting z generowaniem wiedzy) — to metoda prompt engineeringu opracowana w celu poprawy zdolności dużych modeli językowych (LLM) do rozwiązywania zadań wymagających rozumowania i oparcia się na wiedzy faktycznej[1]. Główna idea GKP polega na tym, aby skłonić model do wykonania zadania w dwóch etapach: najpierw wygenerowania zestawu istotnych faktów na temat zapytania, a następnie, opierając się na tej wiedzy, sformułowania ostatecznej odpowiedzi[2].

Podejście to pozwala LLM aktywować i wykorzystywać swoją wewnętrzną, sparametryzowaną wiedzę, która jest niejawnie zakodowana w miliardach parametrów, lecz często niedostępna przy standardowych zapytaniach. GKP rozwiązuje problem, gdy modele „nie wiedzą, że wiedzą", i pomaga im łączyć rozproszone fakty w celu budowania poprawnych wniosków[2].

Historia i pochodzenie

Metoda Generated Knowledge Prompting została po raz pierwszy przedstawiona w artykule naukowym «Generated Knowledge Prompting for Commonsense Reasoning», przygotowanym przez grupę badaczy pod kierownictwem Jiachenga Liu. Wstępna wersja pracy została opublikowana w archiwum preprintów arXiv 15 października 2021 roku, a ostateczna wersja zaprezentowana na prestiżowej konferencji Association for Computational Linguistics (ACL) w 2022 roku[1].

GKP stał się jedną z pierwszych i najbardziej znaczących metod, które zaproponowały zmianę paradygmatu interakcji z LLM, przesuwając fokus z jednoetapowego generowania odpowiedzi na dwuetapowy proces kognitywny.

Dwuetapowy mechanizm działania

Mechanizm GKP dzieli złożone zadanie na dwa prostsze podprocesy: wyodrębnienie istotnych informacji oraz ich późniejsze wykorzystanie do wnioskowania.

Etap 1: Generowanie wiedzy (Knowledge Generation)

W pierwszym etapie używany jest model językowy («generator wiedzy») do tworzenia kilku (M) fragmentów wiedzy istotnych dla zadanego pytania. Proces ten jest inicjowany za pomocą techniki few-shot prompting, w której model otrzymuje kilka przykładów do uczenia się «w kontekście».

Prompt do generowania wiedzy ma ściśle określoną strukturę:

  1. Instrukcja: Ogólne polecenie, na przykład: «Wygeneruj kilka faktów na podany temat».
  2. Przykłady demonstracyjne: Kilka par «pytanie–wiedza» napisanych przez człowieka. Przykłady te odgrywają kluczową rolę, ponieważ uczą model, jakiego rodzaju informacje są uznawane za użyteczne. Przy tym wygenerowana wiedza nie powinna zawierać samej odpowiedzi wprost.
  3. Nowe pytanie: Oryginalne zapytanie użytkownika, dla którego należy wygenerować wiedzę.

Dla jednego pytania generuje się M wariantów wiedzy (w oryginalnej pracy M=20), aby uzyskać zróżnicowany zestaw faktów do drugiego etapu[1].

Etap 2: Integracja wiedzy i formułowanie odpowiedzi (Knowledge Integration)

W drugim etapie używany jest inny model językowy («model do wnioskowania»), który może pracować zarówno w trybie zero-shot, jak i być dostrojony do konkretnego zadania.

Proces integracji przebiega następująco:

  1. Augmentacja zapytania: Oryginalne pytanie (q) jest kolejno łączone z każdym z M wygenerowanych fragmentów wiedzy (km). W wyniku tego powstaje M+1 augmentowanych zapytań (w tym oryginalne pytanie bez wiedzy).
  2. Ocena i wybór odpowiedzi: Model do wnioskowania ocenia warunkowe prawdopodobieństwo każdego możliwego wariantu odpowiedzi (a) dla każdego augmentowanego zapytania. Ostateczną odpowiedzią staje się ten wariant, który uzyskał najwyższą ocenę prawdopodobieństwa dla co najmniej jednego z zapytań.

Ten dwuetapowy mechanizm wprowadza swoisty proces metakognitywny: «Zanim odpowiesz, zastanów się i sformułuj, co wiesz na ten temat».

Skuteczność i wyniki testowania

Skuteczność GKP została sprawdzona na szeregu akademickich benchmarków służących do oceny rozumowania opartego na zdrowym rozsądku. Metoda wykazała znaczną poprawę wydajności w porównaniu z podejściami bazowymi.

Zestawienie wyników GKP na głównych benchmarkach (dane z Liu et al., 2022)[1]
Nazwa benchmarku Zadanie Dokładność modelu bazowego (%) Dokładność z GKP (%) Przyrost (%)
NumerSense Liczbowy zdrowy rozsądek 64.05 72.47 +8.42
CommonsenseQA Ogólny zdrowy rozsądek 39.89 47.26 +7.37
CommonsenseQA 2.0 Ogólny zdrowy rozsądek 70.20 73.03 +2.83
QASC Naukowy zdrowy rozsądek 76.74 80.33 +3.59

Największy przyrost obserwowany jest w trybie zero-shot, co dowodzi zdolności GKP do efektywnego aktywowania wewnętrznej wiedzy modelu bez dodatkowego dostrajania.

Analiza porównawcza z innymi technikami

GKP vs. Chain-of-Thought (CoT)

Kluczowa różnica między GKP a Chain-of-Thought (CoT) polega na typie generowanych informacji:

  • GKP generuje wiedzę deklaratywną — fakty, definicje, twierdzenia o świecie («co»). Dostarcza modelowi dodatkowego kontekstu.
  • CoT generuje wiedzę proceduralną — kroki logiczne, obliczenia, sekwencję wnioskowań («jak»). Dostarcza modelowi ścieżki rozumowania.

Takim sposobem GKP dostarcza bazę faktograficzną, a CoT — logiczną strukturę wnioskowania[3].

GKP vs. Retrieval-Augmented Generation (RAG)

W przeciwieństwie do GKP, metoda Retrieval-Augmented Generation (RAG) wykorzystuje zewnętrzne, nieparametryczne źródła wiedzy.

  • GKP korzysta z wiedzy wewnętrznej, którą model przyswoił podczas treningu. Skłania model do «przypomnienia sobie» tego, co już wie.
  • RAG korzysta z wiedzy zewnętrznej pochodzącej z baz danych, dokumentów lub internetu. Skłania model do «wyszukiwania» informacji w zewnętrznym świecie.

Wybór między GKP a RAG zależy od zadania: GKP jest skuteczny, jeśli wymagana wiedza jest powszechnie znana i dobrze reprezentowana w danych treningowych, podczas gdy RAG jest niezastąpiony w przypadku danych wysoce wyspecjalizowanych, aktualnych lub zastrzeżonych.

Ograniczenia i ryzyka

  • Problem «halucynacji»: Głównym ryzykiem GKP jest możliwość generowania nieprawdziwych faktów. Jeśli w pierwszym etapie model wygeneruje fałszywe twierdzenie, w drugim etapie zostanie ono przyjęte jako prawdziwe, co doprowadzi do pewnej, lecz całkowicie błędnej odpowiedzi.
  • Koszty obliczeniowe: Metoda wymaga wielokrotnych wywołań LLM (M+1 wywołań dla jednego zapytania), co znacznie zwiększa czas odpowiedzi (latency) i koszty użytkowania w porównaniu ze standardowym promptingiem.
  • Złożoność tworzenia promptów: Skuteczność GKP w dużej mierze zależy od jakości przykładów few-shot, których przygotowanie jest zadaniem nietrywialnym i pracochłonnym.

Ewolucja i podejścia hybrydowe

Idee zawarte w GKP stały się katalizatorem dla opracowania bardziej zaawansowanych i niezawodnych technik promptingu, takich jak:

  • Hint-before-Solving (HSP): Bezpośredni ideowy następca GKP, który stosuje dwuetapową zasadę («najpierw wiedza, potem działanie») nie do prostej odpowiedzi, lecz do bardziej złożonego procesu rozumowania w CoT[4].
  • Verify-and-Edit (VE): Hybrydowy framework będący odpowiedzią na problem «halucynacji» w GKP i CoT. VE najpierw generuje łańcuch rozumowania (jak CoT), następnie automatycznie weryfikuje kluczowe fakty za pomocą zewnętrznego wyszukiwania (jak RAG) i edytuje rozumowanie przed wygenerowaniem ostatecznej odpowiedzi[5].

Odnośniki

  • Generated Knowledge Prompting w Prompt Engineering Guide

Literatura

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

Przypisy

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(PL)&oldid=2592"