Generated Knowledge Prompting (RO)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, prompting cu generare de cunoștințe) — este o metodă de prompt engineering, dezvoltată pentru a îmbunătăți capacitatea modelelor lingvistice mari (LLM) de a rezolva sarcini care necesită raționament și sprijin pe cunoștințe factuale[1]. Ideea principală a GKP constă în a determina modelul să execute sarcina în două etape: mai întâi să genereze un set de fapte relevante despre subiectul interogării, iar apoi, bazându-se pe aceste cunoștințe, să formuleze răspunsul final[2].

Această abordare permite LLM-urilor să activeze și să utilizeze cunoștințele lor interne, parametrizate, care sunt implicit codificate în miliardele de parametri, dar adesea inaccesibile la interogări standard. GKP rezolvă problema când modelele „nu știu ce știu" și le ajută să conecteze fapte disparate pentru a construi o concluzie corectă[2].

Istorie și origine

Metoda Generated Knowledge Prompting a fost prezentată pentru prima dată în articolul științific «Generated Knowledge Prompting for Commonsense Reasoning», elaborat de un grup de cercetători sub conducerea lui Jiacheng Liu. Versiunea inițială a lucrării a fost publicată în arhiva de preprinturi arXiv pe 15 octombrie 2021, iar versiunea finală a fost prezentată la prestigioasa conferință Association for Computational Linguistics (ACL) în 2022[1].

GKP a devenit una dintre primele și cele mai semnificative metode care au propus schimbarea paradigmei de interacțiune cu LLM-urile, deplasând accentul de la generarea instantanee a răspunsului la un proces cognitiv în două etape.

Mecanismul de funcționare în două etape

Mecanismul GKP împarte sarcina complexă în două subprocese mai simple: extragerea informațiilor relevante și utilizarea ulterioară a acestora pentru inferență.

Etapa 1: Generarea cunoștințelor (Knowledge Generation)

În prima etapă se folosește un model lingvistic („generator de cunoștințe") pentru a crea mai multe (M) fragmente de cunoștințe relevante pentru întrebarea inițială. Acest proces este inițiat prin tehnica few-shot prompting, unde modelului i se oferă câteva exemple pentru învățare „în context\".

Prompt-ul pentru generarea cunoștințelor are o structură strict definită:

  1. Instrucțiunea: O indicație generală, de exemplu: „Generează câteva fapte despre subiect\".
  2. Exemple demonstrative: Câteva perechi „întrebare-cunoștință\", scrise de un om. Aceste exemple joacă un rol critic, deoarece instruiesc modelul asupra tipului de informație considerat util. Totodată, cunoștința generată nu trebuie să conțină direct răspunsul.
  3. Noua întrebare: Interogarea inițială a utilizatorului, pentru care este necesar să se genereze cunoștințe.

Pentru o singură întrebare se generează M variante de cunoștințe (în lucrarea originală M=20), pentru a obține un set divers de fapte pentru a doua etapă[1].

Etapa 2: Integrarea cunoștințelor și formularea răspunsului (Knowledge Integration)

În a doua etapă se folosește un alt model lingvistic („modelul de inferență\"), care poate funcționa atât în regim zero-shot, cât și să fie ajustat fin pentru o sarcină specifică.

Procesul de integrare se desfășoară astfel:

  1. Augmentarea interogării: Întrebarea inițială (q) este combinată secvențial cu fiecare dintre cele M fragmente de cunoștințe generate (km). Ca rezultat, se creează M+1 interogări augmentate (inclusiv întrebarea inițială fără cunoștințe).
  2. Evaluarea și selectarea răspunsului: Modelul de inferență evaluează probabilitatea condiționată a fiecărei variante posibile de răspuns (a) pentru fiecare interogare augmentată. Răspunsul final devine varianta care a obținut cea mai mare evaluare a probabilității cel puțin pentru una dintre interogări.

Acest mecanism în două etape introduce un fel de proces metacognitiv: „Înainte de a răspunde, gândește-te și formulează ce știi despre acest subiect\\".

Eficiență și rezultate ale testării

Eficiența GKP a fost verificată pe o serie de benchmark-uri academice pentru evaluarea raționamentului bazat pe simțul comun. Metoda a demonstrat o îmbunătățire semnificativă a performanței față de abordările de bază.

Rezumatul rezultatelor GKP pe principalele benchmark-uri (date din Liu et al., 2022)[1]
Numele benchmark-ului Sarcina Acuratețea modelului de bază (%) Acuratețea cu GKP (%) Creștere (%)
NumerSense Simț comun numeric 64.05 72.47 +8.42
CommonsenseQA Simț comun general 39.89 47.26 +7.37
CommonsenseQA 2.0 Simț comun general 70.20 73.03 +2.83
QASC Simț comun științific 76.74 80.33 +3.59

Cel mai mare progres se observă în regimul zero-shot, ceea ce demonstrează capacitatea GKP de a activa eficient cunoștințele interne ale modelului fără ajustare fină suplimentară.

Analiză comparativă cu alte tehnici

GKP vs. Chain-of-Thought (CoT)

Diferența cheie dintre GKP și Chain-of-Thought (CoT) constă în tipul de informație generată:

  • GKP generează cunoștințe declarative — fapte, definiții, afirmații despre lume („ce"). El oferă modelului context suplimentar.
  • CoT generează cunoștințe procedurale — pași logici, calcule, secvența de inferențe („cum"). El oferă modelului calea de raționament.

Astfel, GKP furnizează baza factuală, iar CoT — structura logică a inferenței[3].

GKP vs. Retrieval-Augmented Generation (RAG)

Spre deosebire de GKP, metoda Retrieval-Augmented Generation (RAG) utilizează surse de cunoștințe externe, neparametrice.

  • GKP utilizează cunoștințe interne, pe care modelul le-a asimilat în timpul antrenamentului. El determină modelul să „își amintească\" ceea ce știe deja.
  • RAG utilizează cunoștințe externe din baze de date, documente sau internet. El determină modelul să „caute\" informații în lumea exterioară.

Alegerea între GKP și RAG depinde de sarcină: GKP este eficient dacă cunoștințele necesare sunt de notorietate generală și bine reprezentate în datele de antrenament, în timp ce RAG este indispensabil pentru date înalt specializate, recente sau proprietare.

Limitări și riscuri

  • Problema „halucinațiilor": Principalul risc al GKP este posibilitatea generării de fapte incorecte. Dacă în prima etapă modelul generează o afirmație falsă, în a doua etapă aceasta va fi tratată ca adevărată, ceea ce va conduce la un răspuns încrezător, dar complet greșit.
  • Costuri computaționale: Metoda necesită multiple apeluri la LLM (M+1 apeluri pentru o singură interogare), ceea ce crește semnificativ timpul de răspuns (latency) și costul utilizării față de prompting-ul standard.
  • Complexitatea elaborării prompt-urilor: Eficiența GKP depinde puternic de calitatea exemplelor few-shot, a căror creare reprezintă o sarcină netrivială și laborioasă.

Evoluție și abordări hibride

Ideile puse la baza GKP au servit drept catalizator pentru dezvoltarea unor tehnici de prompting mai complexe și mai robuste, precum:

  • Hint-before-Solving (HSP): Moștenitorul direct al ideilor GKP, care aplică principiul în două etape („mai întâi cunoașterea, apoi acțiunea\") nu unui răspuns simplu, ci unui proces de raționament mai complex în CoT[4].
  • Verify-and-Edit (VE): Un framework hibrid, care reprezintă răspunsul la problema „halucinațiilor\" din GKP și CoT. VE generează mai întâi un lanț de raționament (ca în CoT), apoi verifică automat faptele cheie prin căutare externă (ca în RAG) și editează raționamentele înainte de generarea răspunsului final[5].

Referințe

  • Generated Knowledge Prompting în Prompt Engineering Guide

Bibliografie

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

Note

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(RO)&oldid=2594"