--- title: "Generated Knowledge Prompting (KO)" source: "https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)" wiki: "systems-analysis.info/int" article: "Generated_Knowledge_Prompting_(KO)" language: "ko" categories: - "Category:Korean" - "Category:Large language models" - "Category:Machine learning" - "Category:Prompt engineering" revision_id: 2590 wiki_created_at: 2026-09-06T23:06:34Z wiki_modified_at: 2026-09-06T23:06:34Z downloaded_at: 2026-09-07T22:52:18Z --- # Generated Knowledge Prompting (KO) **Generated Knowledge Prompting** (**GKP**, **생성된 지식 프롬프팅**) — 대형 언어 모델(LLM)의 추론 능력과 사실적 지식에 기반한 과제 해결 능력을 향상시키기 위해 개발된 prompt engineering 기법이다[\[1\]](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_note-liu2022acl-1). GKP의 핵심 아이디어는 모델이 과제를 두 단계에 걸쳐 수행하도록 하는 것이다: 먼저 질문 주제와 관련된 사실들을 생성하고, 그런 다음 이 지식을 토대로 최종 답변을 도출한다[\[2\]](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_note-liu2021arxiv-2). 이 접근법은 LLM이 수십억 개의 매개변수 속에 암묵적으로 인코딩되어 있지만 일반적인 질의에서는 종종 활성화되지 않는 *매개변수화된* 내부 지식을 활성화하고 활용할 수 있도록 한다. GKP는 모델이 "자신이 알고 있다는 사실을 모르는" 문제를 해결하고, 분산된 사실들을 연결하여 올바른 추론을 구성하는 데 도움을 준다[\[2\]](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_note-liu2021arxiv-2). ## 역사와 기원 **Generated Knowledge Prompting** 기법은 **Jiacheng Liu**를 중심으로 한 연구자 그룹이 작성한 「*Generated Knowledge Prompting for Commonsense Reasoning*」이라는 논문에서 처음 소개되었다. 초기 버전은 2021년 10월 15일 프리프린트 아카이브 *arXiv*에 게재되었으며, 최종 버전은 2022년 권위 있는 *Association for Computational Linguistics* (ACL) 학술대회에서 발표되었다[\[1\]](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_note-liu2022acl-1). GKP는 LLM과의 상호작용 패러다임을 변화시키려는 최초의 가장 중요한 기법 중 하나로, 단일 시점에서의 답변 생성에서 두 단계의 인지 과정으로 초점을 전환하는 것을 제안하였다. ## 2단계 작동 메커니즘 GKP의 메커니즘은 복잡한 과제를 두 가지 더 단순한 하위 프로세스로 분리한다: 관련 정보 추출과 이를 활용한 추론. ### 1단계: 지식 생성 (Knowledge Generation) 첫 번째 단계에서는 언어 모델("지식 생성기")을 사용하여 원래 질문과 관련된 여러 개(M개)의 지식 단편을 생성한다. 이 과정은 few-shot prompting 기법을 통해 시작되며, 모델에게 "컨텍스트 내" 학습을 위한 여러 예시가 제공된다. 지식 생성을 위한 프롬프트는 엄격하게 정의된 구조를 가진다: 1. **지시사항**: 예를 들어 "주제에 관한 여러 사실을 생성하라"와 같은 일반적인 지침. 2. **시연 예시**: 사람이 작성한 여러 쌍의 "질문-지식" 쌍. 이 예시들은 모델에게 어떤 유형의 정보가 유용한지를 가르치는 데 있어 매우 중요한 역할을 한다. 단, 생성된 지식은 답변 자체를 직접 포함해서는 안 된다. 3. **새로운 질문**: 지식을 생성해야 하는 사용자의 원래 질의. 하나의 질문에 대해 *M*가지 지식 변형이 생성되며(원 논문에서 M=20), 이는 두 번째 단계를 위한 다양한 사실 집합을 확보하기 위함이다[\[1\]](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_note-liu2022acl-1). ### 2단계: 지식 통합 및 답변 생성 (Knowledge Integration) 두 번째 단계에서는 다른 언어 모델("추론 모델")이 사용되며, 이 모델은 *zero-shot* 방식으로 작동하거나 특정 과제에 맞게 fine-tuning될 수 있다. 통합 과정은 다음과 같이 진행된다: 1. **질의 증강**: 원래 질문(*q*)이 *M*개의 생성된 지식 단편(*km*) 각각과 순차적으로 결합된다. 이를 통해 *M+1*개의 증강된 질의(지식 없는 원래 질문 포함)가 생성된다. 2. **답변 평가 및 선택**: 추론 모델은 각 증강 질의에 대해 가능한 각 답변(*a*)의 조건부 확률을 평가한다. 최종 답변은 적어도 하나의 질의에서 가장 높은 확률 점수를 받은 선택지가 된다. 이 두 단계의 메커니즘은 일종의 메타인지 과정을 도입한다: "*답변하기 전에, 이 주제에 대해 자신이 알고 있는 것을 생각하고 정리하라*". ## 효과성 및 테스트 결과 GKP의 효과성은 상식 추론 평가를 위한 여러 학술 benchmark에서 검증되었다. 이 기법은 기본 접근법 대비 성능이 크게 향상되었음을 보여주었다. | Benchmark 명칭 | 과제 | 기본 모델 정확도 (%) | GKP 적용 정확도 (%) | 향상폭 (%) | |-----------------------|-------------|----------------------|---------------------|------------| | **NumerSense** | 수치 상식 | 64.05 | 72.47 | +8.42 | | **CommonsenseQA** | 일반 상식 | 39.89 | 47.26 | +7.37 | | **CommonsenseQA 2.0** | 일반 상식 | 70.20 | 73.03 | +2.83 | | **QASC** | 과학적 상식 | 76.74 | 80.33 | +3.59 | 주요 benchmark에서의 GKP 결과 요약 (Liu et al., 2022 데이터)[\[1\]](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_note-liu2022acl-1) 가장 큰 향상은 *zero-shot* 모드에서 관찰되었으며, 이는 GKP가 추가적인 fine-tuning 없이도 모델의 내부 지식을 효과적으로 활성화할 수 있음을 입증한다. ## 다른 기법과의 비교 분석 ### GKP vs. Chain-of-Thought (CoT) GKP와 Chain-of-Thought (CoT)의 핵심적인 차이는 생성되는 정보의 유형에 있다: - **GKP**는 **선언적 지식**을 생성한다 — 세계에 관한 사실, 정의, 명제(*"무엇"*). 모델에게 추가적인 컨텍스트를 제공한다. - **CoT**는 **절차적 지식**을 생성한다 — 논리적 단계, 계산, 추론의 순서(*"어떻게"*). 모델에게 추론 경로를 제공한다. 따라서 GKP는 사실적 기반을 제공하고, CoT는 추론의 논리적 구조를 제공한다[\[3\]](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_note-wei2022cot-3). ### GKP vs. Retrieval-Augmented Generation (RAG) GKP와 달리 Retrieval-Augmented Generation (RAG) 기법은 외부의 비매개변수적 지식 원천을 활용한다. - **GKP**는 모델이 훈련 중에 습득한 **내부 지식**을 활용한다. 모델이 이미 알고 있는 것을 "*기억*"하도록 한다. - **RAG**는 데이터베이스, 문서, 또는 인터넷의 **외부 지식**을 활용한다. 모델이 외부 세계에서 정보를 "*검색*"하도록 한다. GKP와 RAG 중 어느 것을 선택할지는 과제에 따라 다르다: GKP는 필요한 지식이 일반적으로 알려져 있고 훈련 데이터에 잘 표현되어 있는 경우에 효과적이며, RAG는 고도로 전문화된 최신 데이터나 독점 데이터에 필수적이다. ## 한계 및 위험성 - **"환각" 문제**: GKP의 주요 위험은 잘못된 사실이 생성될 가능성이다. 첫 번째 단계에서 모델이 거짓 명제를 생성하면, 두 번째 단계에서 이것이 사실로 받아들여져 자신감 있지만 완전히 잘못된 답변이 도출될 수 있다. - **연산 비용**: 이 기법은 LLM에 대한 다중 호출(하나의 질의에 대해 M+1번의 호출)을 필요로 하므로, 표준 프롬프팅에 비해 응답 시간(*latency*)과 사용 비용이 크게 증가한다. - **프롬프트 개발의 복잡성**: GKP의 효과성은 *few-shot* 예시의 품질에 크게 의존하며, 이를 작성하는 것은 쉽지 않고 노동 집약적인 작업이다. ## 발전과 하이브리드 접근법 GKP에 내재된 아이디어는 더 복잡하고 견고한 prompting 기법들을 개발하는 촉매제 역할을 하였으며, 그 예는 다음과 같다: - **Hint-before-Solving (HSP)**: GKP의 직접적인 이념적 후계자로, 2단계 원칙("먼저 지식, 그 다음 행동")을 단순한 답변이 아닌 CoT의 더 복잡한 추론 과정에 적용한다[\[4\]](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_note-hsp2024-4). - **Verify-and-Edit (VE)**: GKP와 CoT에서의 "환각" 문제에 대한 대응으로 등장한 하이브리드 프레임워크. VE는 먼저 추론 체인을 생성하고(CoT처럼), 그런 다음 외부 검색을 통해 핵심 사실을 자동으로 검증하며(RAG처럼), 최종 답변을 생성하기 전에 추론을 편집한다[\[5\]](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_note-zhao2023ve-5). ## 참조 링크 - Generated Knowledge Prompting — Prompt Engineering Guide ## 참고 문헌 - Liu, J. et al. (2021). *Generated Knowledge Prompting for Commonsense Reasoning*. arXiv:2110.08387 - Liu, J. et al. (2022). *Generated Knowledge Prompting for Commonsense Reasoning*. In \*Proc. ACL 2022\*. ACL:2022 - Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903 - Wang, X. et al. (2022). *Self-Consistency Improves Chain-of-Thought Reasoning in Language Models*. arXiv:2203.11171 - Fu, J. et al. (2024). *Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge*. arXiv:2402.14310 - Zhao, R. et al. (2023). *Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework*. arXiv:2305.03268 - Lin, B. et al. (2020). *NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models*. Dataset page - Talmor, A. et al. (2019). *CommonsenseQA: A Question-Answering Challenge Targeting Commonsense Knowledge*. ACL paper - Khot, T. et al. (2019). *QASC: A Dataset for Question Answering via Sentence Composition*. arXiv:1910.11473 - Mu, J. et al. (2023). *Learning to Compress Prompts with Gist Tokens*. arXiv:2304.08467 ## 주석 1. ↑ [1.0](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_ref-liu2022acl_1-0) [1.1](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_ref-liu2022acl_1-1) [1.2](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_ref-liu2022acl_1-2) [1.3](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_ref-liu2022acl_1-3) Liu, J., Liu, A., Lu, X., et al. (2022). «Generated Knowledge Prompting for Commonsense Reasoning». *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_ref-liu2021arxiv_2-0) [2.1](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_ref-liu2021arxiv_2-1) Liu, J., Liu, A., Lu, X., et al. (2021). «Generated Knowledge Prompting for Commonsense Reasoning». *arXiv preprint arXiv:2110.08387*. [2] 3. [↑](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_ref-wei2022cot_3-0) Wei, J., Wang, X., Schuurmans, D., et al. (2022). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». *arXiv preprint arXiv:2201.11903*. [3] 4. [↑](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_ref-hsp2024_4-0) Katz, O., Maman, Y., et al. (2024). «Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Scaffolding». *arXiv preprint arXiv:2402.14310*. [4] 5. [↑](https://systems-analysis.info/int/Generated_Knowledge_Prompting_(KO)#cite_ref-zhao2023ve_5-0) Zhao, R., Zhang, J., et al. (2023). «Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework». *arXiv preprint arXiv:2305.03268*. [5]