Automatic Prompt Engineer (APE) (KO)

자동 프롬프트 엔지니어 (APE) — 대형 언어 모델(LLM)의 동작을 제어하기 위한 텍스트 지시문(프롬프트)을 자동으로 생성하고 최적화하는 방법론이다. 이 접근법은 2022년 용차오 저우 (Yongchao Zhou)의 주도 하에 연구자 그룹에 의해 제안되었다.

수동 프롬프트 선정 및 반복적 개선 대신, APE는 프롬프트 엔지니어링을 최적화 문제로 형식화한다. 이 문제의 틀 안에서 프롬프트는 자연어로 된 "프로그램"으로 간주되며, 특정 품질 함수(예: 모델 응답의 정확도 또는 신뢰도)를 최대화하기 위해 합성되어야 한다.

기본 개념 및 방법

APE 방법은 생성 모델과 목표 모델 두 개의 언어 모델을 연계하여 사용한다. 이 과정은 반복적인 탐색 및 선택(search-and-select) 사이클로 구성된다:

1. 후보 생성. 생성 모델은 목표 작업에 대한 여러 "입력-출력" 쌍 예시를 입력으로 받아, 그러한 결과를 도출할 수 있는 다양한 프롬프트 후보들을 생성한다.
2. 평가. 생성된 각 프롬프트 후보는 목표 LLM에 전달된다. 목표 모델은 새로운 테스트 데이터셋에서 지시문을 수행하며, 그 응답은 사전에 정의된 지표(예: 정확도, 재현율, F1 점수)에 따라 평가된다.
3. 선택. 평가 결과 가장 우수한 성능을 보인 프롬프트가 선택된다.
4. 반복 (선택 사항). 사이클이 반복될 수 있다. 생성 모델은 발견된 최적 프롬프트를 개선하도록 지시받아 변형을 생성하며, 이후 최대 효율 달성을 위해 평가 및 선택 과정이 반복된다.

이 접근법은 LLM을 활용하여 가설(프롬프트)을 생성하고 이를 후속 평가함으로써 수동 프롬프트 선정 과정을 자동으로 재현할 수 있게 한다.

핵심 방법론

프롬프트 엔지니어링의 자동화는 다양한 알고리즘 접근법을 통해 구현된다.

LLM 기반 자동화

이것은 위에서 설명한 고전적인 APE 방법으로, 하나의 LLM이 다른 (또는 동일한) LLM을 위한 프롬프트를 생성하고 평가하는 데 사용된다. 이 접근법은 이산적 텍스트 프롬프트에 매우 효과적인 것으로 입증되었다.

진화적 방법

특히 길고 복잡한 프롬프트의 생성 및 선택을 위해 유전 알고리즘 또는 beam search가 사용된다. 예를 들어, APEX (Automatic Engineering of Long Prompts) 프레임워크는 복잡한 지시문을 점진적으로 "성장"시키고 개선하기 위해 진화 알고리즘을 적용한다.

그래디언트 방법 (Soft Prompts)

이 접근법은 텍스트 지시문이 아닌 학습 가능한 벡터(embedding)로 구성된 연속적 또는 소프트 프롬프트(soft prompts)를 다룬다. 이 벡터들은 목표 작업에 대해 직접 경사 하강법을 통해 최적화된다. 여기에는 Prompt Tuning 및 Prefix-Tuning과 같은 기법이 포함된다.

강화 학습

이 패러다임에서 LLM은 프롬프트(행동)를 생성하는 에이전트 역할을 하며, 환경은 응답 품질 평가(보상)를 반환한다. 목표는 강화 학습(RL) 방법을 통해 프롬프트 생성의 최적 전략을 찾아 누적 보상을 최대화하는 것이다.

결과 및 발견

원본 APE 연구의 실험에서 자동으로 생성된 지시문이 대부분의 경우 사람이 작성한 프롬프트보다 품질 면에서 우수한 것으로 나타났다.

• NLP 24개 작업 테스트에서 APE가 생성한 프롬프트는 24개 중 19개의 경우에서 사람보다 효과적이었다.
• APE는 Chain-of-Thought 스타일 프롬프팅을 위한 더 효과적인 표현을 자동으로 "발견"할 수 있었다. 표준 문구인 «Let's think step by step» (단계적으로 생각해 봅시다) 대신, APE는 더 상세하고 효과적인 지시문을 생성했다: «Let's work this out in a step by step way to be sure we have the right answer» (올바른 답을 얻을 수 있도록 단계적으로 풀어봅시다). 이 표현은 MultiArith 및 GSM8K와 같은 dataset에서 수학 문제 해결 정확도를 향상시켰다.

적용 및 장점

적용 사례

• few-shot learning 개선: 최적의 예시 및 지시문 자동 선택.
• 모델 신뢰도 향상: APE는 TruthfulQA와 같은 benchmark에서 "환각"을 최소화하고 응답의 진실성을 최대화하는 프롬프트를 탐색하도록 설정될 수 있다.
• 개발 자동화: 챗봇, 정보 추출 시스템 및 기타 LLM 애플리케이션 개발 가속화.

장점

• 확장성: 사람의 개입 없이 수백 또는 수천 개의 프롬프트를 자동으로 생성하고 평가할 수 있는 능력.
• 적응성: 새롭고 고도로 전문화된 도메인에 LLM을 쉽게 조정 가능.
• 자원 절약: 수동 프롬프트 선정에 소요되는 시간과 노력의 상당한 절감.

발전 및 관련 접근법

APE의 개념은 계속 발전하고 있다. APET (Automatic Prompt Engineering Toolbox)와 같은 완전 자율 시스템이 등장했으며, 이를 통해 LLM(예: GPT-4)은 복잡한 프롬프팅 전략(Expert Prompting, Chain of Thought, Tree of Thoughts)을 독립적으로 적용하고 외부 개입 없이 지시문을 동적으로 개선할 수 있다.

APE는 LLM과의 상호작용 자동화라는 더 넓은 트렌드의 일부이며, 여기에는 다음도 포함된다:

• AutoPrompt: 개별 "트리거" token을 찾기 위해 그래디언트 탐색을 사용한 초기 방법.
• OPRO (Optimization by PROmpting): DeepMind의 APE와 유사한 접근법으로, 프롬프트 최적화에 LLM을 사용.

참조

• Automatic Prompt Engineer (APE) 프로젝트 공식 사이트
• 논문 «Large Language Models Are Human-Level Prompt Engineers»
• AutoPrompt (2020). AutoPrompt – Official GitHub Repository. GitHub.

문헌

• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Hsieh, C.-J. et al. (2024). Automatic Engineering of Long Prompts. Findings of ACL 2024. 2024.findings-acl.634.
• Hsieh, C.-J. et al. (2023). Automatic Long Prompt Engineering. arXiv:2311.10117.
• Shin, T. et al. (2020). AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv:2010.15980.
• Yang, C. et al. (2023). Large Language Models as Optimizers (OPRO). arXiv:2309.03409.
• Liu, Y. et al. (2024). Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers. arXiv:2405.10276.
• Kepel, D.; Valogianni, K. (2024). Autonomous Prompt Engineering in Large Language Models (APET). arXiv:2407.11000.
• Yang, C. et al. (2024). Optimizing Instructions and Demonstrations for Multi-Stage LM Programs. arXiv:2406.11695.
• Hsieh, C.-J. et al. (2024). APEX (code repository and results). PDF.