--- title: "Chain-of-Verification (KO)" source: "https://systems-analysis.info/int/Chain-of-Verification_(KO)" wiki: "systems-analysis.info/int" article: "Chain-of-Verification_(KO)" language: "ko" categories: - "Category:Korean" - "Category:Large language models" - "Category:Machine learning" - "Category:Prompt engineering" revision_id: 880 wiki_created_at: 2026-09-06T22:40:10Z wiki_modified_at: 2026-09-06T22:40:10Z downloaded_at: 2026-09-07T22:42:51Z --- # Chain-of-Verification (KO) **Chain-of-Verification (CoVe)** — LLM(대형 언어 모델)에서 **환각**(사실적으로 틀리지만 그럴듯한 답변을 생성하는 현상)의 발생 빈도를 줄이기 위해 제안된 방법론입니다[\[1\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-arxiv-original-1). **셰흐자드 둘리아왈라**(Shehzaad Dhuliawala)의 주도 하에 Meta AI 연구팀이 개발하여 「Chain-of-Verification Reduces Hallucination in Large Language Models」(2023)라는 논문에서 발표된 이 접근법은 LLM의 **자기 검증**(self-verification) 및 **자기 수정** 방법론의 범주에 속합니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). CoVe의 핵심 아이디어는 외부 소스를 활용하지 않고 모델 자체가 생성된 답변을 단계적으로 검증한다는 것입니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). 이를 통해 시스템이 사용자에게 답변을 제시하기 전에 자기 분석과 오류 수정에 더 많은 '합리적인' 노력을 기울이도록 유도합니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). ## 배경: 언어 모델의 환각 현상 대형 언어 모델(LLM)은 그럴듯해 보이지만 사실적으로 틀린 답변을 생성하는 '환각' 현상에 빈번히 시달립니다[\[3\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-medium-cove-3). 이 문제는 NLP 분야에서 미해결 과제로 널리 인식되어 있으며, 최신 모델조차 높은 확신을 가지고 허위 정보를 제공하여 사용자를 오도할 수 있습니다[\[1\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-arxiv-original-1). 예를 들어, 모델이 존재하지 않는 사실을 설득력 있게 '꾸며내거나' 유명 인물의 전기 정보를 혼동할 수 있습니다. 이러한 사실적 오류는 상세한 검증 없이는 발견하기 어렵기 때문에, 연구자들은 LLM 답변에서 환각을 줄이는 방법을 적극적으로 개발하고 있습니다. ## CoVe 방법론의 단계 Chain-of-Verification은 네 가지 순차적 단계를 통해 구현됩니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2)[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2): 1. **기본 답변 생성**. 모델은 특별한 지시 없이 원래 요청에 대한 초기 답변(기본 가설 답변)을 생성합니다[\[3\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-medium-cove-3). 이 초안 답변은 출발점 역할을 하며, 다음 단계에서 발견할 환각을 포함할 수 있습니다. 2. **검증 질문 계획**. 원래 질문과 생성된 답변을 바탕으로, 모델은 기본 답변의 주장들에 대한 사실적 정확성을 확인하는 구체화 질문 목록을 작성합니다[\[3\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-medium-cove-3). 이러한 **verification questions**는 답변의 핵심 사실을 겨냥하며, 가능한 오류나 부정확성을 발견하는 데 도움을 줍니다. 3. **검증 수행 (베리피케이션)**. 모델은 편향을 피하기 위해 초기 답변에 의존하지 않으면서 각 검증 질문에 순차적으로 독립적으로 답변합니다[\[3\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-medium-cove-3). 획득한 답변들은 원래 답변과 비교하여 모순이나 오류를 발견하며, 이를 통해 사실로 뒷받침되지 않는 원래 답변의 부분이 드러납니다. 4. **최종 답변 생성**. 마지막으로, 발견된 불일치를 바탕으로 모델이 수정된 최종 답변을 생성합니다[\[3\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-medium-cove-3). 이 답변에는 검증 결과를 반영한 수정 사항이 반영되어 사실적 정확성이 향상되고 환각 발생 가능성이 줄어듭니다. 이 각 단계는 동일한 LLM에 서로 다른 지시를 담은 추가 요청을 통해 수행됩니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). 즉, 모델은 차례로 답변자, 검증자(질문을 생성하고 답변하는 역할), 그리고 최종 출력의 편집자 역할을 담당합니다. ## 검증 구현 방식의 변형 방법론의 저자들은 검증 질문을 제시하고 답변을 얻는 방식에서 차이가 나는 여러 베리피케이션 단계 구현 방식을 시험했습니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2): - **통합 방식 (Joint)**. 모델이 단일 요청 내에서 검증 질문과 그에 대한 답변을 모두 생성합니다. 이 방식은 덜 선호되는데, 모델이 즉시 답변하면서 사실을 환각하거나 편향으로 인해 원래 답변의 오류를 반복할 수 있기 때문입니다[\[3\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-medium-cove-3). - **2단계 방식 (2-Step)**. 검증 질문을 먼저 별도의 요청으로 생성한 후, 다음 요청에서 모델이 생성된 질문 목록에 답변합니다[\[3\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-medium-cove-3). 단계를 분리함으로써 질문 생성 시 원래 답변의 영향을 피하는 데 도움이 됩니다. - **개별 검증 방식 (Factored)**. 모델이 여러 순차적 요청(질문당 하나씩)을 사용하여 **각 검증 질문에 별도로** 답변합니다[\[3\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-medium-cove-3). 이 방식은 원래 답변의 단순한 복사를 방지합니다. 검증 질문에 대한 답변이 자율적으로 작성되어 초기 환각의 반복 위험이 줄어듭니다. 단점은 요청 수가 질문 수에 비례하여 증가함에 따라 연산 비용이 증가한다는 점입니다. - **수정 포함 개별 검증 방식 (Factored + Revise)**. 모든 검증 질문에 대한 답변을 얻은 후, 모델이 추가적인 비교 및 **개정** 단계를 수행합니다. 별도의 요청을 통해 획득한 사실들을 원래 답변과 대조하고 불일치를 명시적으로 표시한 후, 수정 사항이 반영된 최종 답변을 생성합니다[\[3\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-medium-cove-3). 이 추가 단계는 시스템이 불일치를 더 면밀히 분석하고 수정된 정보를 최종 출력에 통합하도록 합니다. ## 실험 결과 Chain-of-Verification은 답변의 사실적 정확성에 민감한 여러 과제에서 검증되었습니다[\[1\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-arxiv-original-1). 여기에는 지식 베이스 기반 사실 열거 질문(Wikidata 및 Wikipedia 카테고리 목록), 텍스트의 여러 부분에서 나온 복수 답변 질문(MultiSpanQA), 그리고 장문 텍스트 생성 과제(예: 전기문 생성) 등이 포함되었습니다[\[1\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-arxiv-original-1). 결과는 자기 검증 없는 기본 모델과 비교했을 때 CoVe를 사용한 모든 과제 유형에서 **환각이 크게 감소**했음을 보여주었습니다[\[1\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-arxiv-original-1). 특히 factored + revise 방식, 즉 최종 사실 대조가 포함된 개별 검증 방식이 가장 효과적이었습니다. 이 방식은 최고의 정확도 지표를 달성했습니다. 예를 들어, 전기문 생성 과제에서 **LLaMA-65B** 모델(650억 파라미터 LLM)에 CoVe를 적용하자 사실성 지표인 **FactScore**가 약 63.7점에서 약 71.4점으로 향상되었습니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). FactScore의 향상은 최종 답변에 검증된 사실이 더 많이 포함되고 허구의 정보가 줄어들었음을 나타냅니다. 나아가, 검증 체인이 연결된 LLM은 더 강력하거나 특별히 갖춰진 일부 시스템조차 능가할 수 있었습니다. 실제로 CoVe가 적용된 LLaMA-65B는 **ChatGPT**(OpenAI 모델)보다 높은 FactScore를 기록했으며, 사실 지원을 위한 인터넷 검색이 보강된 모델인 **Perplexity.ai**를 앞질렀습니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). 이는 주목할 만한데, Perplexity는 정보 검색에 외부 소스를 활용하는 반면, CoVe는 모델 자체의 내부적인 추론 및 자기 검증 능력에만 의존하여 품질 향상을 달성하기 때문입니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). 물론 가장 희귀한 사실(특수한 지식이 요구되는 경우)에서는 Perplexity와 같은 retrieval 시스템이 여전히 우위를 유지하지만, 대부분의 질문에서 CoVe가 더 정확한 답변을 제공했습니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). ## 한계 및 전망 Chain-of-Verification이 환각의 비율을 현저히 줄이기는 하지만, 이 방법론으로 환각을 완전히 제거할 수는 없다는 점에 주목해야 합니다. 검증 질문이 일부 잘못된 세부 사항을 포착하지 못하거나 LLM 자체가 올바른 사실을 알지 못할 경우 모델은 여전히 오류를 범할 수 있습니다. 또한 CoVe는 **연산 부하를 증가시킵니다**. 단일 사용자 요청에 대해 모델에 여러 번의 순차적 호출(답변 생성, 질문 생성, 질문에 대한 답변, 최종 취합)이 필요한 반면, 일반 모델은 한 단계에서 답변합니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). 그럼에도 불구하고, 저자들은 총 비용 측면에서 CoVe가 다른 다단계 환각 탐지 접근법과 비견되며 실용적인 솔루션으로 남아 있음을 보여줍니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). Meta AI 연구자들은 논문에서 방법론 개선을 위한 가능한 방향을 제시했습니다. 명백한 방향 중 하나는 **CoVe를 외부 도구와 결합하는 것**으로, 예를 들어 베리피케이션 단계에서 인터넷 검색이나 지식 베이스 모듈을 연결하는 것입니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). 이를 통해 외부에서 신뢰할 수 있는 정보를 얻어 원래 답변의 사실을 더욱 확실하게 확인하거나 반박할 수 있을 것입니다. 이처럼 Chain-of-Verification은 더 책임감 있고 정확한 AI 시스템을 향한 한 걸음으로서, 모델로 하여금 **자신의 답변을 비판적으로 재검토**하도록 함으로써 답변의 품질을 크게 향상시키고 생성된 텍스트에서 허구의 사실이 퍼지는 것을 줄일 수 있음을 보여줍니다[\[2\]](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_note-aclanthology-findings-2). ## 참조 링크 - arXiv에 게재된 원문 논문 「Chain-of-Verification Reduces Hallucination in Large Language Models」 - ACL Anthology에 게재된 논문 「Chain-of-Verification Reduces Hallucination in Large Language Models」 - Chain of Verification (CoVe) — Understanding & Implementation — Medium 기고문 ## 참고문헌 - Dhuliawala, S. et al. (2023). *Chain-of-Verification Reduces Hallucination in Large Language Models*. arXiv:2309.11495. - Manakul, P. et al. (2023). *SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models*. arXiv:2303.08896. - Yang, B. et al. (2025). *Hallucination Detection in Large Language Models with Metamorphic Relations*. arXiv:2502.15844. - Liang, X. et al. (2024). *Internal Consistency and Self-Feedback in Large Language Models: A Survey*. arXiv:2407.14507. - Lightman, H. et al. (2023). *Let's Verify Step by Step*. arXiv:2305.20050. - Ling, Z. et al. (2023). *Deductive Verification of Chain-of-Thought Reasoning*. arXiv:2306.03872. - Lyu, Q. et al. (2023). *Faithful Chain-of-Thought Reasoning*. arXiv:2301.13379. - Madaan, A. et al. (2023). *Self-Refine: Iterative Refinement with Self-Feedback*. arXiv:2303.17651. - Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903. - Wang, X. et al. (2022). *Self-Consistency Improves Chain of Thought Reasoning in Language Models*. arXiv:2203.11171. - Yao, S. et al. (2023). *Tree of Thoughts: Deliberate Problem Solving with Large Language Models*. arXiv:2305.10601. ## 각주 1. ↑ [1.0](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-arxiv-original_1-0) [1.1](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-arxiv-original_1-1) [1.2](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-arxiv-original_1-2) [1.3](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-arxiv-original_1-3) [1.4](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-arxiv-original_1-4) Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». *arXiv*. [1] 2. ↑ [2.00](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-0) [2.01](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-1) [2.02](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-2) [2.03](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-3) [2.04](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-4) [2.05](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-5) [2.06](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-6) [2.07](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-7) [2.08](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-8) [2.09](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-9) [2.10](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-10) [2.11](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-11) [2.12](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-12) [2.13](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-13) [2.14](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-aclanthology-findings_2-14) Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». *ACL Anthology*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-medium-cove_3-0) [3.1](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-medium-cove_3-1) [3.2](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-medium-cove_3-2) [3.3](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-medium-cove_3-3) [3.4](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-medium-cove_3-4) [3.5](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-medium-cove_3-5) [3.6](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-medium-cove_3-6) [3.7](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-medium-cove_3-7) [3.8](https://systems-analysis.info/int/Chain-of-Verification_(KO)#cite_ref-medium-cove_3-8) chowdhury, sourajit roy. «Chain of Verification (CoVe) — Understanding & Implementation». *Medium*. [3]