Chain-of-Verification (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

Chain-of-Verification (CoVe) — LLM(대형 언어 모델)에서 환각(사실적으로 틀리지만 그럴듯한 답변을 생성하는 현상)의 발생 빈도를 줄이기 위해 제안된 방법론입니다[1]. 셰흐자드 둘리아왈라(Shehzaad Dhuliawala)의 주도 하에 Meta AI 연구팀이 개발하여 「Chain-of-Verification Reduces Hallucination in Large Language Models」(2023)라는 논문에서 발표된 이 접근법은 LLM의 자기 검증(self-verification) 및 자기 수정 방법론의 범주에 속합니다[2]. CoVe의 핵심 아이디어는 외부 소스를 활용하지 않고 모델 자체가 생성된 답변을 단계적으로 검증한다는 것입니다[2]. 이를 통해 시스템이 사용자에게 답변을 제시하기 전에 자기 분석과 오류 수정에 더 많은 '합리적인' 노력을 기울이도록 유도합니다[2].

배경: 언어 모델의 환각 현상

대형 언어 모델(LLM)은 그럴듯해 보이지만 사실적으로 틀린 답변을 생성하는 '환각' 현상에 빈번히 시달립니다[3]. 이 문제는 NLP 분야에서 미해결 과제로 널리 인식되어 있으며, 최신 모델조차 높은 확신을 가지고 허위 정보를 제공하여 사용자를 오도할 수 있습니다[1]. 예를 들어, 모델이 존재하지 않는 사실을 설득력 있게 '꾸며내거나' 유명 인물의 전기 정보를 혼동할 수 있습니다. 이러한 사실적 오류는 상세한 검증 없이는 발견하기 어렵기 때문에, 연구자들은 LLM 답변에서 환각을 줄이는 방법을 적극적으로 개발하고 있습니다.

CoVe 방법론의 단계

Chain-of-Verification은 네 가지 순차적 단계를 통해 구현됩니다[2][2]:

  1. 기본 답변 생성. 모델은 특별한 지시 없이 원래 요청에 대한 초기 답변(기본 가설 답변)을 생성합니다[3]. 이 초안 답변은 출발점 역할을 하며, 다음 단계에서 발견할 환각을 포함할 수 있습니다.
  2. 검증 질문 계획. 원래 질문과 생성된 답변을 바탕으로, 모델은 기본 답변의 주장들에 대한 사실적 정확성을 확인하는 구체화 질문 목록을 작성합니다[3]. 이러한 verification questions는 답변의 핵심 사실을 겨냥하며, 가능한 오류나 부정확성을 발견하는 데 도움을 줍니다.
  3. 검증 수행 (베리피케이션). 모델은 편향을 피하기 위해 초기 답변에 의존하지 않으면서 각 검증 질문에 순차적으로 독립적으로 답변합니다[3]. 획득한 답변들은 원래 답변과 비교하여 모순이나 오류를 발견하며, 이를 통해 사실로 뒷받침되지 않는 원래 답변의 부분이 드러납니다.
  4. 최종 답변 생성. 마지막으로, 발견된 불일치를 바탕으로 모델이 수정된 최종 답변을 생성합니다[3]. 이 답변에는 검증 결과를 반영한 수정 사항이 반영되어 사실적 정확성이 향상되고 환각 발생 가능성이 줄어듭니다.

이 각 단계는 동일한 LLM에 서로 다른 지시를 담은 추가 요청을 통해 수행됩니다[2]. 즉, 모델은 차례로 답변자, 검증자(질문을 생성하고 답변하는 역할), 그리고 최종 출력의 편집자 역할을 담당합니다.

검증 구현 방식의 변형

방법론의 저자들은 검증 질문을 제시하고 답변을 얻는 방식에서 차이가 나는 여러 베리피케이션 단계 구현 방식을 시험했습니다[2]:

  • 통합 방식 (Joint). 모델이 단일 요청 내에서 검증 질문과 그에 대한 답변을 모두 생성합니다. 이 방식은 덜 선호되는데, 모델이 즉시 답변하면서 사실을 환각하거나 편향으로 인해 원래 답변의 오류를 반복할 수 있기 때문입니다[3].
  • 2단계 방식 (2-Step). 검증 질문을 먼저 별도의 요청으로 생성한 후, 다음 요청에서 모델이 생성된 질문 목록에 답변합니다[3]. 단계를 분리함으로써 질문 생성 시 원래 답변의 영향을 피하는 데 도움이 됩니다.
  • 개별 검증 방식 (Factored). 모델이 여러 순차적 요청(질문당 하나씩)을 사용하여 각 검증 질문에 별도로 답변합니다[3]. 이 방식은 원래 답변의 단순한 복사를 방지합니다. 검증 질문에 대한 답변이 자율적으로 작성되어 초기 환각의 반복 위험이 줄어듭니다. 단점은 요청 수가 질문 수에 비례하여 증가함에 따라 연산 비용이 증가한다는 점입니다.
  • 수정 포함 개별 검증 방식 (Factored + Revise). 모든 검증 질문에 대한 답변을 얻은 후, 모델이 추가적인 비교 및 개정 단계를 수행합니다. 별도의 요청을 통해 획득한 사실들을 원래 답변과 대조하고 불일치를 명시적으로 표시한 후, 수정 사항이 반영된 최종 답변을 생성합니다[3]. 이 추가 단계는 시스템이 불일치를 더 면밀히 분석하고 수정된 정보를 최종 출력에 통합하도록 합니다.

실험 결과

Chain-of-Verification은 답변의 사실적 정확성에 민감한 여러 과제에서 검증되었습니다[1]. 여기에는 지식 베이스 기반 사실 열거 질문(Wikidata 및 Wikipedia 카테고리 목록), 텍스트의 여러 부분에서 나온 복수 답변 질문(MultiSpanQA), 그리고 장문 텍스트 생성 과제(예: 전기문 생성) 등이 포함되었습니다[1].

결과는 자기 검증 없는 기본 모델과 비교했을 때 CoVe를 사용한 모든 과제 유형에서 환각이 크게 감소했음을 보여주었습니다[1]. 특히 factored + revise 방식, 즉 최종 사실 대조가 포함된 개별 검증 방식이 가장 효과적이었습니다. 이 방식은 최고의 정확도 지표를 달성했습니다. 예를 들어, 전기문 생성 과제에서 LLaMA-65B 모델(650억 파라미터 LLM)에 CoVe를 적용하자 사실성 지표인 FactScore가 약 63.7점에서 약 71.4점으로 향상되었습니다[2]. FactScore의 향상은 최종 답변에 검증된 사실이 더 많이 포함되고 허구의 정보가 줄어들었음을 나타냅니다.

나아가, 검증 체인이 연결된 LLM은 더 강력하거나 특별히 갖춰진 일부 시스템조차 능가할 수 있었습니다. 실제로 CoVe가 적용된 LLaMA-65B는 ChatGPT(OpenAI 모델)보다 높은 FactScore를 기록했으며, 사실 지원을 위한 인터넷 검색이 보강된 모델인 Perplexity.ai를 앞질렀습니다[2]. 이는 주목할 만한데, Perplexity는 정보 검색에 외부 소스를 활용하는 반면, CoVe는 모델 자체의 내부적인 추론 및 자기 검증 능력에만 의존하여 품질 향상을 달성하기 때문입니다[2]. 물론 가장 희귀한 사실(특수한 지식이 요구되는 경우)에서는 Perplexity와 같은 retrieval 시스템이 여전히 우위를 유지하지만, 대부분의 질문에서 CoVe가 더 정확한 답변을 제공했습니다[2].

한계 및 전망

Chain-of-Verification이 환각의 비율을 현저히 줄이기는 하지만, 이 방법론으로 환각을 완전히 제거할 수는 없다는 점에 주목해야 합니다. 검증 질문이 일부 잘못된 세부 사항을 포착하지 못하거나 LLM 자체가 올바른 사실을 알지 못할 경우 모델은 여전히 오류를 범할 수 있습니다. 또한 CoVe는 연산 부하를 증가시킵니다. 단일 사용자 요청에 대해 모델에 여러 번의 순차적 호출(답변 생성, 질문 생성, 질문에 대한 답변, 최종 취합)이 필요한 반면, 일반 모델은 한 단계에서 답변합니다[2]. 그럼에도 불구하고, 저자들은 총 비용 측면에서 CoVe가 다른 다단계 환각 탐지 접근법과 비견되며 실용적인 솔루션으로 남아 있음을 보여줍니다[2].

Meta AI 연구자들은 논문에서 방법론 개선을 위한 가능한 방향을 제시했습니다. 명백한 방향 중 하나는 CoVe를 외부 도구와 결합하는 것으로, 예를 들어 베리피케이션 단계에서 인터넷 검색이나 지식 베이스 모듈을 연결하는 것입니다[2]. 이를 통해 외부에서 신뢰할 수 있는 정보를 얻어 원래 답변의 사실을 더욱 확실하게 확인하거나 반박할 수 있을 것입니다. 이처럼 Chain-of-Verification은 더 책임감 있고 정확한 AI 시스템을 향한 한 걸음으로서, 모델로 하여금 자신의 답변을 비판적으로 재검토하도록 함으로써 답변의 품질을 크게 향상시키고 생성된 텍스트에서 허구의 사실이 퍼지는 것을 줄일 수 있음을 보여줍니다[2].

참조 링크

  • arXiv에 게재된 원문 논문 「Chain-of-Verification Reduces Hallucination in Large Language Models」
  • ACL Anthology에 게재된 논문 「Chain-of-Verification Reduces Hallucination in Large Language Models」
  • Chain of Verification (CoVe) — Understanding & Implementation — Medium 기고문

참고문헌

  • Dhuliawala, S. et al. (2023). Chain-of-Verification Reduces Hallucination in Large Language Models. arXiv:2309.11495.
  • Manakul, P. et al. (2023). SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv:2303.08896.
  • Yang, B. et al. (2025). Hallucination Detection in Large Language Models with Metamorphic Relations. arXiv:2502.15844.
  • Liang, X. et al. (2024). Internal Consistency and Self-Feedback in Large Language Models: A Survey. arXiv:2407.14507.
  • Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
  • Ling, Z. et al. (2023). Deductive Verification of Chain-of-Thought Reasoning. arXiv:2306.03872.
  • Lyu, Q. et al. (2023). Faithful Chain-of-Thought Reasoning. arXiv:2301.13379.
  • Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
  • Yao, S. et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. arXiv:2305.10601.

각주

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». arXiv. [1]
  2. ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 Dhuliawala, Shehzaad et al. «Chain-of-Verification Reduces Hallucination in Large Language Models». ACL Anthology. [2]
  3. ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 chowdhury, sourajit roy. «Chain of Verification (CoVe) — Understanding & Implementation». Medium. [3]
Retrieved from "https://systems-analysis.info/int/index.php?title=Chain-of-Verification_(KO)&oldid=880"