Prompt (language models) (KO)

프롬프트 (영어 prompt — «힌트» 또는 «텍스트 요청»에서 유래) 는 대형 언어 모델(LLM)의 맥락에서, 사용자가 원하는 응답을 생성하기 위해 모델에 제공하는 입력 텍스트 또는 지시문이다. 프롬프트는 필요한 조건, 맥락, 예시를 포함하여 모델에게 수행할 작업을 정의한다. 모델의 성능은 작성된 프롬프트의 품질에 크게 달려 있다.

텍스트 요청의 개발 및 최적화 방법을 연구하는 학문 분야를 prompt engineering(프롬프트 엔지니어링)이라고 한다. 그 목표는 AI 모델로부터 가장 관련성 높고, 정확하며, 안전한 응답을 얻는 것이다. 잘 구성된 프롬프트는 모델에게 작업 수행의 «경로»를 제시하여 요구되는 맥락과 원하는 결과를 명확히 하는 데 도움을 준다.

접근법의 발전 역사

텍스트 힌트를 이용한 LLM 행동 제어 아이디어는 모델 자체의 능력이 성장함에 따라 함께 발전해 왔다.

초기 단계 (GPT-2)

2019년, OpenAI 연구자들은 GPT-2와 같은 대규모 사전학습 언어 모델이 작업을 텍스트 형식으로 표현하면 추가 학습 없이도 새로운 과제를 수행할 수 있음을 입증하였다. «Language Models are Unsupervised Multitask Learners» 논문은 원칙적인 전환점을 제시하였다. 즉, 각 작업에 맞게 모델을 fine-tuning하는 대신, 입력으로 명확한 지시문을 작성하는 것만으로도 충분해진 것이다.

GPT-3와 In-Context Learning의 돌파구

진정한 돌파구는 2020년 GPT-3 모델의 출시와 함께 찾아왔다. 1,750억 개의 파라미터를 보유한 GPT-3는 in-context learning (맥락적 학습) — 즉, 요청 텍스트 안에 직접 제공된 몇 가지 예시로부터 «즉석에서» 새로운 과제를 학습하는 능력 — 을 보여주었다. 이 작동 방식은 few-shot learning («몇 가지 예시를 이용한 학습»)이라는 이름을 얻었으며, 모델 크기의 확장이 어떠한 가중치 조정 없이도 NLP 과제에서 높은 품질을 달성한다는 것을 보여주었다.

Chain-of-Thought (CoT)의 등장

2022년의 추가적인 발전은 복잡한 논리적 추론에 대한 모델 능력 향상과 관련되었다. 추론의 사슬(chain-of-thought prompting) 형식의 특수 힌트가 제안되었다. 이러한 프롬프트에서 모델은 질문뿐만 아니라, 답변 전에 단계별로 순차적으로 추론하는 예시도 함께 받는다. 이는 산술 및 논리 문제에서 풀이의 정확도를 눈에 띄게 향상시켰다. Kojima 등의 연구에서는 요청 끝에 «단계별로 생각해 봅시다»라는 문구를 추가하는 것만으로도, 예시 없이(zero-shot) 모델이 추론을 하도록 자극할 수 있음을 보여주었다.

멀티모달 프롬프트

프롬프트의 개념은 텍스트의 영역을 넘어섰다. 2022년 DALL-E 2와 Stable Diffusion 모델의 등장으로, 자연어 사용자 요청은 이미지 생성의 보편적인 인터페이스가 되었으며, 이후에는 음악과 비디오 생성에도 활용되었다.

프롬프트의 종류 및 활용 기법

자주 조합하여 사용되는 몇 가지 주요 프롬프트 유형 및 기법이 존재한다.

Zero-shot prompting (직접 요청)

모델은 어떠한 예시도 없이 지시문 또는 질문만을 받는다. 이 방식에서 LLM은 사전학습을 통해 얻은 일반적인 지식에 의존한다. 번역이나 텍스트 요약과 같은 단순한 작업에 적합하다.

Few-shot prompting (예시 기반 학습)

지시문 외에, 프롬프트에는 입력과 기대 출력이 포함된 하나 이상의 예시가 추가된다. 모델은 이 샘플들로부터 «즉석에서 학습»하여 학습된 논리를 새로운 요청에 적용한다. in-context learning을 구현하는 이 방법은 특정 형식이나 응답 스타일이 중요한 과제에서 정확도를 크게 향상시킨다.

추론의 사슬 (Chain-of-Thought, CoT)

복잡한 추론(수학, 논리)이 필요한 과제를 위한 특수한 프롬프트 유형이다. 힌트에는 최종 답변 전에 단계별 분석 또는 풀이 계획이 포함된다. 이는 모델이 추론 과정을 명시적으로 구조화하도록 강제하여 결과의 품질을 크게 향상시킨다.

힌트 조정 (Prompt Tuning)

수동으로 프롬프트를 작성하는 대신 자동으로 최적화된 힌트를 사용하는 기법이다. 프롬프트는 사용자 요청에 추가되는 특수한 학습 가능한 token(연속 벡터)의 집합으로 표현된다. 이 작은 벡터-프롬프트만을 학습시킴으로써, 최소한의 연산 비용으로 대형 «동결된» 모델을 새로운 과제에 적응시킬 수 있다.

학문 분야로서의 프롬프트 엔지니어링

직업의 탄생

LLM 능력의 성장은 새로운 전문 분야인 프롬프트 엔지니어의 탄생으로 이어졌다. 이 전문가들은 AI로부터 원하는 동작을 얻기 위해 텍스트 힌트를 개발하고 디버깅한다. 프롬프트 엔지니어들은 언어학, 논리학, 심리학 분야의 지식을 활용하여 가장 효과적인 방식으로 입력 데이터를 구조화한다. 2022~2023년에는 이 직종에 대한 첫 번째 채용 공고가 등장하였으며, 이는 AI 시스템과의 효과적인 상호작용 능력에 대한 높은 수요를 반영한다.

직업의 미래와 자동화

이 분야는 빠르게 발전하고 있으며 그 미래는 논쟁의 대상이다. 예를 들어, VMware의 2024년 연구에 따르면 AI 스스로 반복과 최적화를 통해 효과적인 요청 표현 방식을 찾아낼 수 있으며, 이는 종종 인간의 표현 방식을 능가한다고 한다. 이로 인해 수동 프롬프트 엔지니어링은 일시적인 현상일 수 있으며, 시간이 지남에 따라 자동 힌트 선택 도구가 표준이 될 것이라는 견해가 생겨났다. 그럼에도 불구하고, 2025년 현재 프롬프트 엔지니어링 전문성은 여전히 수요가 높다.

응용 분야

• 자연어 처리: 문서의 자동 요약, 기계 번역, 질의응답, 정보 추출과 같은 전통적인 NLP 과제.
• 챗봇 및 가상 어시스턴트: 프롬프트는 역할, 대화 스타일 및 응답 형식을 설정하여 대화 시스템을 더욱 일관성 있고 유용하게 만드는 데 도움을 준다.
• 코드 생성: OpenAI Codex와 같은 모델은 자연어 설명을 바탕으로 프로그램 코드를 작성할 수 있어 개발 속도를 높인다.
• 데이터 분석: 프롬프트를 통해 비정형 텍스트 보고서에서 인사이트를 추출하거나 가설을 생성하도록 모델을 설정할 수 있다.
• 교육: 학습자의 수준에 맞게 문제를 생성하고, 복잡한 개념을 설명하며, 답변을 검토하는 지능형 튜터 제작.
• 창작 산업: 상세한 설명을 바탕으로 텍스트, 예술적 이미지, 음악 및 시나리오 생성.

악의적 사용과 취약점 (Prompt Injection)

LLM 인터페이스의 개방성은 새로운 공격 유형인 힌트 삽입 (prompt injection)의 등장을 가져왔다. 공격자는 모델이 초기 지시문을 위반하거나 숨겨진 정보를 노출하도록 하는 특수한 악성 요청을 작성한다. 전문가들은 이를 코드 인젝션 공격의 변형으로 간주하는데, 코드 대신 교묘한 텍스트 지시문이 시스템에 «주입»되는 방식이다.

공격 유형

• Jailbreak: 모델이 부과된 제약(예: 모더레이션 정책)에서 «탈출»하여 금지된 콘텐츠를 생성할 수 있게 하는 공격. 잘 알려진 예로는 ChatGPT가 검열 없이 응답하도록 했던 DAN 프롬프트 (Do Anything Now)가 있다.
• Prompt Leaking: 특수한 요청을 통해 모델이 숨겨진 시스템 프롬프트의 일부를 노출하도록 강제한다.
• Token Smuggling: 악성 지시문이 필터를 우회하고 원치 않는 동작을 유발하기 위해 요청의 무해한 부분(예: 코드 조각)으로 위장된다.

이러한 공격들은 전통적인 사이버보안 방법이 자연어 해석과 관련된 위협에는 잘 대응하지 못하기 때문에 심각한 문제를 제기한다.

참고 문헌

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.