Least-to-most Prompting (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

Least-to-Most Prompting (LtM) — 대형 언어 모델(LLM)을 위한 프롬프트 설계 방법으로, 복잡한 문제를 더 단순한 단계들로 분해한 뒤 해당 하위 문제들을 순차적으로 풀어나가는 방식입니다[1]. 이 접근법은 2022년 Denny Zhou가 이끄는 Google Brain 연구팀에 의해 제안되었으며, ICLR 2023 학술대회에서 발표되었습니다[2]. 이 방법의 주요 목적은 Chain-of-Thought 프롬프트의 한계를 극복하는 것입니다. Chain-of-Thought 프롬프트는 프롬프트 학습 시 모델에 제시된 예시보다 더 복잡한 문제에서 성능이 크게 떨어지는 문제가 있습니다[2]. Least-to-Most Prompting은 모델이 더 높은 난이도의 문제로 일반화할 수 있도록 하면서도, 해석 가능성을 유지하고 신경망의 추가 학습을 필요로 하지 않습니다[2]. 이 방법의 명칭은 교육심리학에서 차용된 것으로, 교육심리학에서 「least to most prompting」은 학생이 새로운 기술을 습득할 수 있도록 점차 도움의 수준이 높아지는 일련의 힌트를 제공하는 방식을 의미합니다[3].

방법 설명

Least-to-Most Prompting은 두 단계로 구현됩니다[2]. 각 단계는 모델을 추가로 재학습시키지 않고, 정교하게 설계된 프롬프트를 통해 언어 모델 자체에 지시됩니다.

  1. 문제 분해. 첫 번째 단계에서 모델은 복잡한 문제를 일련의 더 단순한 하위 문제들로 나누는 방법을 보여주는 지시문과 예시를 받습니다. 이후 모델에 구체적인 복잡한 질문이 제시되면, 모델은 단순화된 중간 질문 목록을 도출해야 합니다[2]. 예를 들어, 복잡한 문제에 대해 모델이 원래 문제의 일부를 다루는 세부 질문을 스스로 설정할 수 있습니다.
  2. 하위 문제의 순차적 해결. 두 번째 단계에서 모델은 도출된 하위 문제들을 가장 단순한 것부터 가장 복잡한 것까지 순서대로 풉니다. 이를 위해 각 하위 문제 앞에는 유사한 하위 문제 풀이 예시와, 존재하는 경우 이미 풀린 이전 하위 문제 및 그 답변이 맥락으로 제공됩니다[4]. 첫 번째 하위 문제를 풀고 나면, 모델은 그 답변을 프롬프트 텍스트에 추가하고 이전 풀이를 맥락으로 활용하여 다음 하위 문제로 넘어갑니다[4]. 이 과정은 원래 질문에 직접적으로 답하는 최종적이고 가장 복잡한 하위 문제가 풀릴 때까지 계속됩니다.

예시: 원래의 텍스트 문제가 Least-to-Most 방법을 사용하여 두 단계로 분해됩니다. 먼저 모델이 중간 질문(「How long does each trip take?」 — 「한 번 내려가는 데 얼마나 걸리나요?」)을 설정하고 풀어서 「each trip takes 5 minutes」(「한 번 내려가는 데 5분이 걸립니다」)라는 답을 얻습니다. 이 답변은 다음 하위 문제인 원래 질문(「How many times can she slide before it closes?」 — 「놀이기구가 닫히기 전에 몇 번이나 탈 수 있나요?」)과 함께 새로운 프롬프트에 포함됩니다. 이전 결과를 활용하여 모델은 최종 답변(이 예시에서는 3회)을 계산합니다.

근본적으로, Least-to-Most Prompting은 단일 응답 내에서 하나의 연속적인 「사고의 흐름」을 생성하는 대신, 지식을 축적하면서 추론 과정을 별도의 요청들로 분리한다는 점에서 표준 chain-of-thought 접근법과 구별됩니다[3]. 이러한 단계적이고 재귀적인 접근법은 모델이 점진적으로 문제의 더 복잡한 측면으로 나아가게 하며, 모델이 학습 예시보다 더 어려운 문제에 직면하는 easy-to-hard generalization 문제를 효과적으로 해결합니다[2][3]. LtM 방법의 두 단계 모두 few-shot prompting(몇 가지 예시 제시)을 통해 구현되며, 모델의 추가 훈련이나 새로운 데이터로의 재학습이 필요하지 않다는 점을 강조합니다[2]. 또한 이 방법은 LLM의 추론을 개선하는 다른 기법들과 호환됩니다. 예를 들어, 응답 생성 시 chain-of-thought 및 self-consistency(여러 풀이를 순차적으로 샘플링하는 방법)와 결합할 수 있으나, 이는 필수적인 것은 아닙니다[1].

실험 결과 및 응용

Least-to-Most Prompting을 제안한 연구에서는, 이 방법이 복잡한 다단계 추론을 요구하는 여러 문제에서 chain-of-thought을 포함한 표준 프롬프트 방법들을 능가함이 입증되었습니다[1]. 세 가지 주요 문제 유형에서 그 우수성이 성공적으로 입증되었습니다:

  • 기호적 및 알고리즘적 문제. 예를 들어 단어의 마지막 글자 연결 문제(목록의 각 단어에서 마지막 글자를 순서대로 가져와 새로운 단어를 만드는 것)에서 LtM 방법은 더 긴 단어 시퀀스로 모델의 일반화 능력을 크게 향상시켰습니다. 특별한 훈련 없이 chain-of-thought 프롬프트를 사용한 GPT-3 모델(code-davinci-002)은 단어 목록의 길이가 12일 때 이러한 문제를 약 32%의 경우에만 올바르게 풀었던 반면, Least-to-Most Prompting을 사용했을 때 정확도는 ~74%에 달했습니다[1]. 짧은 목록(예시에 등장하는 길이)에서는 두 전략 모두 잘 작동했지만, 시퀀스 길이가 늘어날수록 chain-of-thought의 성능은 급격히 떨어진 반면, Least-to-Most는 더 완만한 감소를 보이며 높은 정확도를 유지했습니다[1]. 이는 LtM 방법이 더 복잡한(긴) 입력 데이터에 대해 풀이 논리를 일반화하는 능력을 가지고 있음을 보여줍니다.
  • 조합적 일반화 (compositional generalization). 이 문제 유형에는, 예를 들어 텍스트 지시문을 일련의 동작으로 번역하는 것이 포함됩니다(「jump twice and run」과 같은 명령을 수행하고 더 긴 조합으로 일반화할 것을 요구하는 SCAN 벤치마크처럼)[4]. LtM 방법은 LLM이 이러한 문제의 가장 복잡한 변형도 성공적으로 풀 수 있게 했습니다. 특히 LtM 프롬프트를 사용한 GPT-3 모델은 SCAN 데이터셋의 모든 데이터 분할 변형(테스트 시퀀스가 학습 데이터보다 긴 가장 어려운 length split 포함)에서 99%의 정확도를 달성했으며, 프롬프트에 단 14개의 예시만 사용했습니다[2]. 비교하자면, 표준 chain-of-thought 접근법은 동일한 조건에서 약 16%의 정확도만 보였습니다[2]. 더욱이 이는 모델 훈련 없이 달성된 것으로, 이전 SCAN 최고 성능 솔루션들이 >15,000개 예시로 구성된 전체 학습 세트를 사용하는 특수 신경-기호 아키텍처나 데이터 증강 방법에 의존했던 것과 대조적입니다[2][2]. 이처럼 Least-to-Most Prompting은 재학습 없는 모델로서는 전례 없는 조합적 일반화 능력을 입증했습니다.
  • 수학 텍스트 문제. 이 방법은 GSM8K 데이터셋(복잡한 덧셈/뺄셈 및 논리 텍스트 문제)[2]과 DROP 데이터셋의 여러 질문(텍스트에서 수치 정보를 추출하고 계산하는 능력을 검증)[2] 등 산술 텍스트 문제에서 테스트되었습니다. 여기서도 Least-to-Most Prompting은 chain-of-thought 대비 정확도 향상을 보였습니다. GSM8K에서 code-davinci-002 모델을 사용했을 때, 응답 정확도는 약 60.9%에서 약 62.4%로 향상되었습니다[2]. DROP의 하위 문제들에서는 향상폭이 더욱 두드러졌습니다: 예를 들어 「축구」 관련 질문 일부에서 정확도가 chain-of-thought의 ~59.6%에서 LtM 적용 시 ~73.4%로 상승했습니다[2]. 수학 문제에서의 성능 향상이 SCAN에서만큼 극적이지는 않았지만, 저자들은 중요한 점을 지적합니다: 모델이 올바른 문제 분해를 제공받으면 GSM8K의 거의 모든 문제를 정확하게 풀 수 있습니다[2]. 이는 성공적인 풀이의 핵심이 잘 설정된 중간 질문에 있음을 시사하며, LtM 접근법은 바로 이러한 질문들을 자동으로 생성하고 순차적으로 해결하는 데 초점을 맞춥니다.

종합적으로, 실험들은 Least-to-Most Prompting이 다단계 추론을 요구하는 많은 문제 유형에서 추론 없는 단순 few-shot 프롬프팅과 chain-of-thought 방법 모두를 크게 능가함을 확인합니다[1]. 이 방법은 LLM이 처음 예시를 통해 접했던 것보다 더 복잡한 문제를 풀 수 있게 하여, 인-context learning(프롬프트를 통한 즉석 학습)의 경계를 확장합니다.

한계 및 향후 방향

성과에도 불구하고, Least-to-Most Prompting 방법은 몇 가지 한계를 가지고 있습니다. 무엇보다도, 문제 유형마다 서로 다른 분해 접근법이 필요합니다. 수학 문제를 효과적으로 분해하는 프롬프트 패턴이 논리적이거나 상식적인 문제에는 전혀 맞지 않을 수 있습니다[2]. 예를 들어, 모델에게 수학 텍스트 문제를 단계별로 나누도록 가르친 프롬프트들이 「아리스토텔레스가 노트북을 사용했나요?」와 같은 상식 문제에는 전혀 도움이 되지 않았습니다. 이러한 문제에는 완전히 다른 분해 전략이 필요합니다[2]. 따라서 새로운 도메인이나 문제 유형마다 문제를 하위 문제로 나누는 예시들을 새롭게 설계하고, 풀이 구조를 설명하는 해당 프롬프트를 작성해야 합니다[3]. 다시 말해, 문제를 올바르게 분해하는 방법에 대한 지식은 LLM 자체적으로 보편적으로 일반화되지 않으며, 특정 문제 유형에 맞는 예시를 통해 제공되어야 합니다.

더욱이 LtM의 효과는 문제가 얼마나 독립적인 하위 목표로 잘 분해될 수 있는가에 크게 의존합니다. 모델이 중간 단계를 올바르게 설정하지 못하거나 필요한 하위 문제가 누락되면, 최종 풀이도 틀리게 됩니다. 그럼에도 불구하고 개발자들은 많은 경우 사람이 올바른 분해를 직접 제안해주면 실패를 성공으로 바꿀 수 있다고 지적합니다. 이 경우 모델은 각 부분을 어렵지 않게 풀고 성공적으로 답변을 조합합니다[2]. 이는 접근법의 추가 발전 가능성을 강조합니다: 하위 문제 자동 생성 품질의 향상과 잠재적으로 대화형 모델 학습의 가능성입니다. LtM 저자들은 결론에서 프롬프트 방법의 미래가 모델이 즉각적인 피드백을 받고 중간 단계를 수정하는 완전한 양방향 대화 방향으로 나아갈 수 있다고 제안합니다[2]. Least-to-Most Prompting은 이러한 방향으로의 한 걸음으로 볼 수 있으며, 문제를 분해하고 단계적으로 해결하는 순차적 모델 상호작용이 새로운 데이터 학습 없이도 모델의 사고 능력을 크게 확장할 수 있음을 보여줍니다[1].

참조 링크

  • 원본 논문 「Least-to-Most Prompting Enables Complex Reasoning in Large Language Models」 (arXiv)
  • 원본 논문 HTML 버전
  • Least-to-Most Prompting이란? — AI Safety Info 기사
  • Medium에서의 방법 개요
  • arXiv의 prompt engineering 방법 종합 개요

참고문헌

  • Zhou, D. et al. (2022). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. arXiv:2205.10625.
  • Zhou, D. et al. (2023). Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023. OpenReview.
  • Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
  • Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
  • Kojima, T. et al. (2022). Large Language Models Are Zero-Shot Reasoners. arXiv:2205.11916.
  • Nye, M. et al. (2021). Show Your Work: Scratchpads for Intermediate Computation with Language Models. arXiv:2112.00114.
  • Lake, B. M.; Baroni, M. (2018). Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. arXiv:1711.00350.
  • Cobbe, K. et al. (2021). Training Verifiers to Solve Math Word Problems. arXiv:2110.14168.
  • Dua, D. et al. (2019). DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs. arXiv:1903.00161.
  • Zhang, Z. et al. (2022). Automatic Chain of Thought Prompting in Large Language Models. arXiv:2210.03493.

주석

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». ar5iv.org. [1]
  2. ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 Zhou, Denny et al. «Least-to-Most Prompting Enables Complex Reasoning in Large Language Models». arXiv. [2]
  3. ↑ 3.0 3.1 3.2 3.3 «What is least-to-most prompting?». AI Safety Info. [3]
  4. ↑ 4.0 4.1 4.2 OXEN AI. «Arxiv Dives Toolformer: Language models can teach themselves to use tools». Medium. [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=Least-to-most_Prompting_(KO)&oldid=3829"