Generated Knowledge Prompting (TL)

From Systems analysis Wiki
Jump to navigation Jump to search

Generated Knowledge Prompting (GKP, prompting na may pagbuo ng kaalaman) — ito ay isang pamamaraan ng prompt engineering na binuo upang mapabuti ang kakayahan ng malalaking language model (LLM) sa paglutas ng mga gawaing nangangailangan ng pag-iisip at pagtukoy sa mga katotohanang pangkaalaman[1]. Ang pangunahing ideya ng GKP ay pilitin ang modelo na isagawa ang gawain sa dalawang yugto: una, bumuo ng isang hanay ng mga kaugnay na katotohanan tungkol sa paksa ng kahilingan, at pagkatapos, batay sa mga kaalamang iyon, bumalangkas ng panghuling sagot[2].

Ang pamamaraang ito ay nagbibigay-daan sa LLM na ma-activate at magamit ang mga panloob nitong parametric na kaalaman, na implikadong naka-encode sa bilyun-bilyong parameter, ngunit kadalasang hindi naa-access sa mga karaniwang kahilingan. Nireresolta ng GKP ang suliranin kung saan ang mga modelo ay "hindi alam na alam nila" at tinutulungan silang iugnay ang magkakahiwalay na mga katotohanan upang makabuo ng tamang konklusyon[2].

Kasaysayan at Pinagmulan

Ang pamamaraang Generated Knowledge Prompting ay unang iniharap sa siyentipikong papel na «Generated Knowledge Prompting for Commonsense Reasoning», na inihanda ng isang pangkat ng mga mananaliksik sa ilalim ng pamumuno ni Jiacheng Liu. Ang paunang bersyon ng gawa ay inilathala sa archive ng mga preprint na arXiv noong ika-15 ng Oktubre 2021, at ang panghuling bersyon ay iniharap sa prestihiyosong kumperensya ng Association for Computational Linguistics (ACL) noong 2022[1].

Ang GKP ay naging isa sa mga una at pinaka-makabuluhang pamamaraan na nagmungkahi ng pagbabago ng paradigma ng pakikipag-ugnayan sa LLM, inilipat ang pokus mula sa isang-hakbang na pagbuo ng sagot patungo sa dalawang-yugtong proseso ng pag-iisip.

Dalawang-Yugtong Mekanismo ng Pagtatrabaho

Hinihiwalay ng mekanismo ng GKP ang isang kumplikadong gawain sa dalawang mas simpleng subprocess: pagkuha ng kaugnay na impormasyon at ang kasunod na paggamit nito para sa konklusyon.

Yugto 1: Pagbuo ng Kaalaman (Knowledge Generation)

Sa unang yugto, ginagamit ang isang language model ("generator ng kaalaman") upang lumikha ng ilang (M) piraso ng kaalaman na may kaugnayan sa orihinal na tanong. Ang prosesong ito ay sinimulan gamit ang teknik ng few-shot prompting, kung saan ang modelo ay binibigyan ng ilang halimbawa para sa pag-aaral "sa konteksto".

Ang prompt para sa pagbuo ng kaalaman ay may mahigpit na tinukoy na istraktura:

  1. Instruksyon: Pangkalahatang tagubilin, halimbawa: «Bumuo ng ilang katotohanan tungkol sa paksa».
  2. Mga Demonstrasyon: Ilang pares na «tanong-kaalaman» na isinulat ng tao. Ang mga halimbawang ito ay may kritikal na kahalagahan, dahil tinuturuan nila ang modelo kung anong uri ng impormasyon ang itinuturing na kapaki-pakinabang. Pritong ang nabuo na kaalaman ay hindi dapat naglalaman ng sagot mismo nang direkta.
  3. Bagong Tanong: Ang orihinal na kahilingan ng gumagamit, kung saan kailangang bumuo ng kaalaman.

Para sa isang tanong, nabubuo ang M na mga variant ng kaalaman (sa orihinal na gawa M=20), upang makakuha ng iba't ibang hanay ng mga katotohanan para sa ikalawang yugto[1].

Yugto 2: Integrasyon ng Kaalaman at Pagbuo ng Sagot (Knowledge Integration)

Sa ikalawang yugto, ginagamit ang isa pang language model ("modelo para sa konklusyon"), na maaaring gumana sa zero-shot na mode o maaaring i-fine-tune para sa isang partikular na gawain.

Ang proseso ng integrasyon ay nagaganap tulad ng sumusunod:

  1. Augmentation ng Kahilingan: Ang orihinal na tanong (q) ay sunud-sunod na pinagsama sa bawat isa sa M na nabuong piraso ng kaalaman (km). Bilang resulta, nilikha ang M+1 na mga augmented na kahilingan (kabilang ang orihinal na tanong nang wala ang kaalaman).
  2. Pagsusuri at Pagpili ng Sagot: Sinusuri ng modelo para sa konklusyon ang kondisyonal na posibilidad ng bawat posibleng variant ng sagot (a) para sa bawat augmented na kahilingan. Ang panghuling sagot ay ang variant na nakatanggap ng pinakamataas na marka ng posibilidad sa kahit isa sa mga kahilingan.

Ang dalawang-yugtong mekanismong ito ay nagpapakilala ng isang uri ng metacognitive na proseso: «Bago sumagot, mag-isip at bumalangkas ng alam mo tungkol sa paksang ito».

Bisa at Mga Resulta ng Pagsubok

Ang bisa ng GKP ay napatunayan sa isang bilang ng mga akademikong benchmark para sa pagsusuri ng pag-iisip batay sa karaniwang kaalaman. Ang pamamaraan ay nagpakita ng makabuluhang pagpapabuti ng pagganap kumpara sa mga pangunahing pamamaraan.

Buod ng mga resulta ng GKP sa mga pangunahing benchmark (datos mula sa Liu et al., 2022)[1]
Pangalan ng Benchmark Gawain Katumpakan ng Base Model (%) Katumpakan gamit ang GKP (%) Pagtaas (%)
NumerSense Numerical na Karaniwang Kaalaman 64.05 72.47 +8.42
CommonsenseQA Pangkalahatang Karaniwang Kaalaman 39.89 47.26 +7.37
CommonsenseQA 2.0 Pangkalahatang Karaniwang Kaalaman 70.20 73.03 +2.83
QASC Siyentipikong Karaniwang Kaalaman 76.74 80.33 +3.59

Ang pinakamalaking pagtaas ay sinusunod sa zero-shot na mode, na nagpapatunay sa kakayahan ng GKP na epektibong ma-activate ang mga panloob na kaalaman ng modelo nang walang karagdagang fine-tuning.

Paghahambing na Pagsusuri sa Iba Pang mga Teknik

GKP vs. Chain-of-Thought (CoT)

Ang pangunahing pagkakaiba sa pagitan ng GKP at Chain-of-Thought (CoT) ay nasa uri ng nabubuong impormasyon:

  • GKP ay bumubuo ng declarative na kaalaman — mga katotohanan, kahulugan, mga pahayag tungkol sa mundo («ano»). Nagbibigay ito sa modelo ng karagdagang konteksto.
  • CoT ay bumubuo ng procedural na kaalaman — mga lohikal na hakbang, mga kalkulasyon, pagkakasunod-sunod ng mga konklusyon («paano»). Nagbibigay ito sa modelo ng landas ng pag-iisip.

Kaya, nagbibigay ang GKP ng katotohanang batayan, habang ang CoT ay nagbibigay ng lohikal na istraktura ng konklusyon[3].

GKP vs. Retrieval-Augmented Generation (RAG)

Sa kaibahan ng GKP, ang pamamaraan ng Retrieval-Augmented Generation (RAG) ay gumagamit ng mga panlabas, non-parametric na pinagkukunan ng kaalaman.

  • GKP ay gumagamit ng panloob na kaalaman na natutunan ng modelo sa panahon ng pagsasanay. Pinipili nito ang modelo na «alalahanin» ang alam na nito.
  • RAG ay gumagamit ng panlabas na kaalaman mula sa mga database, dokumento, o internet. Pinipili nito ang modelo na «maghanap» ng impormasyon sa panlabas na mundo.

Ang pagpili sa pagitan ng GKP at RAG ay nakasalalay sa gawain: ang GKP ay epektibo kung ang kinakailangang kaalaman ay pangkalahatang kilala at mahusay na kinakatawan sa data ng pagsasanay, habang ang RAG ay hindi mapapalitan para sa mga napaka-espesyalisado, sariwang, o proprietary na datos.

Mga Limitasyon at Panganib

  • Suliranin ng «mga Hallucination»: Ang pangunahing panganib ng GKP ay ang posibilidad na makabuo ng maling mga katotohanan. Kung sa unang yugto ang modelo ay bumubuo ng maling pahayag, sa ikalawang yugto ito ay tatanggapin bilang totoo, na hahantong sa isang tiwala ngunit ganap na maling sagot.
  • Mga Gastos sa Pagkalkula: Ang pamamaraan ay nangangailangan ng maraming beses na pagtawag sa LLM (M+1 na tawag para sa isang kahilingan), na makabuluhang nagpapataas ng oras ng sagot (latency) at gastos sa paggamit kumpara sa karaniwang prompting.
  • Kumplikado ng Pagbuo ng Prompt: Ang bisa ng GKP ay lubos na nakasalalay sa kalidad ng mga few-shot na halimbawa, na ang paglikha nito ay isang hindi-trivial at masinsinang gawain.

Ebolusyon at Mga Hybrid na Pamamaraan

Ang mga ideyang nakasalin sa GKP ay nagsilbing katalisto para sa pagbuo ng mas kumplikado at maaasahang mga teknik ng prompting, tulad ng:

  • Hint-before-Solving (HSP): Direktang ideolohikal na kahalili ng GKP, na inilalapat ang dalawang-yugtong prinsipyo («una ang kaalaman, pagkatapos ang aksyon») hindi sa simpleng sagot, kundi sa mas kumplikadong proseso ng pag-iisip sa CoT[4].
  • Verify-and-Edit (VE): Isang hybrid na framework na sagot sa suliranin ng «mga hallucination» sa GKP at CoT. Ang VE ay unang bumubuo ng chain of thought (tulad ng CoT), pagkatapos ay awtomatikong sinusuri ang mga pangunahing katotohanan gamit ang panlabas na paghahanap (tulad ng RAG) at ine-edit ang pag-iisip bago buuin ang panghuling sagot[5].

Mga Sanggunian

  • Generated Knowledge Prompting sa Prompt Engineering Guide

Panitikan

  • Liu, J. et al. (2021). Generated Knowledge Prompting for Commonsense Reasoning. arXiv:2110.08387
  • Liu, J. et al. (2022). Generated Knowledge Prompting for Commonsense Reasoning. In *Proc. ACL 2022*. ACL:2022
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
  • Wang, X. et al. (2022). Self-Consistency Improves Chain-of-Thought Reasoning in Language Models. arXiv:2203.11171
  • Fu, J. et al. (2024). Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge. arXiv:2402.14310
  • Zhao, R. et al. (2023). Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework. arXiv:2305.03268
  • Lin, B. et al. (2020). NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models. Dataset page
  • Talmor, A. et al. (2019). CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge. ACL paper
  • Khot, T. et al. (2019). QASC: A Dataset for Question Answering via Sentence Composition. arXiv:1910.11473
  • Mu, J. et al. (2023). Learning to Compress Prompts with Gist Tokens. arXiv:2304.08467

Mga Tala

  1. ↑ 1.0 1.1 1.2 1.3 Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. [1]
  2. ↑ 2.0 2.1 Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». arXiv preprint arXiv:2110.08387. [2]
  3. ↑ Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». arXiv preprint arXiv:2201.11903. [3]
  4. ↑ Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». arXiv preprint arXiv:2402.14310. [4]
  5. ↑ Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». arXiv preprint arXiv:2305.03268. [5]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generated_Knowledge_Prompting_(TL)&oldid=2597"