Prompt (language models) (BG)

Промпт (от англ. prompt — „подсказка" или „текстова заявка") в контекста на големите езикови модели (LLM) — това е входен текст или инструкция, която потребителят предоставя на модела за генериране на необходимия отговор. Промптът формулира задачата за модела, включително необходимите условия, контекст и примери. Ефективността на работата на модела до голяма степен зависи от качеството на съставения промпт.

Дисциплината, която изучава методите за разработване и оптимизиране на текстови заявки, се нарича промпт-инженерство (prompt engineering). Нейната цел — получаване от AI-моделите на максимално релевантни, точни и безопасни отговори. Грамотно съставеният промпт задава на модела „маршрут" за изпълнение на задачата, помагайки да се уточни необходимият контекст и желаният резултат.

История на развитието на подхода

Идеята за управление на поведението на LLM с помощта на текстови подсказки се развиваше успоредно с нарастването на възможностите на самите модели.

Ранни етапи (GPT-2)

Още през 2019 година изследователите от OpenAI демонстрираха, че големите предобучени езикови модели, като GPT-2, са способни да решават нови задачи без допълнително обучение, ако те бъдат формулирани като текст. Трудът „Language Models are Unsupervised Multitask Learners" обозначи принципна промяна: вместо да се дообучава моделът за всяка задача, стана достатъчно да се формулира разбираема инструкция на входа.

Пробив с GPT-3 и In-Context Learning

Истинският пробив настъпи с излизането на модела GPT-3 през 2020 година. Разполагайки с 175 милиарда параметра, GPT-3 демонстрира способност за контекстно обучение (in-context learning) — усвояване на нова задача „в движение" от няколко примера, предоставени директно в текста на заявката. Този режим на работа получи наименованието few-shot learning („обучение с няколко примера") и показа, че мащабирането на размера на модела води до високо качество при изпълнение на NLP-задачи без каквато и да е донастройка на теглата.

Появата на Chain-of-Thought (CoT)

По-нататъшното развитие през 2022 година беше свързано с подобряване на способността на моделите за сложно логическо разсъждение. Бяха предложени специални подсказки във формат верига от разсъждения (chain-of-thought prompting). В такива промптове моделът получава не само въпроса, но и пример за последователно, стъпка по стъпка разсъждение преди отговора. Това значително повиши точността на решенията в аритметични и логически задачи. Изследването на Kojima и колеги показа, че моделът може да бъде стимулиран към разсъждение дори без примери (zero-shot), просто като се добави в края на заявката фразата „Нека помислим стъпка по стъпка".

Мултимодални промптове

Концепцията за промптовете излезе извън рамките на текста. През 2022 година с появата на моделите DALL-E 2 и Stable Diffusion потребителските заявки на естествен език станаха универсален интерфейс за генериране на изображения, а по-късно — на музика и видео.

Видове и техники за прилагане на промптове

Съществуват няколко основни типа и техники на промптове, които често се комбинират.

Zero-shot prompting (Директна заявка)

Моделът получава само инструкция или въпрос без каквито и да е примери. В този режим LLM се опира на своите общи знания, придобити при предобучението. Подходящ е за прости задачи, като превод или резюмиране на текст.

Few-shot prompting (Обучение с примери)

Освен инструкцията, в промпта се включват един или няколко примера с входни данни и очаквани изходни данни. Моделът „учи в движение" от тези образци и прилага усвоената логика към новата заявка. Този метод, реализиращ in-context learning, съществено повишава точността при задачи, при които е важен определен формат или стил на отговора.

Верига от разсъждения (Chain-of-Thought, CoT)

Особен вид промпт за задачи, изискващи сложни разсъждения (математика, логика). В подсказката се включва поетапен разбор или план за решение преди окончателния отговор. Това кара модела изрично да структурира процеса на разсъждение, което значително подобрява качеството на резултата.

Настройка на подсказките (Prompt Tuning)

Техника, при която вместо ръчно написване на промпт се използва автоматично оптимизирана подсказка. Промптът се представя като набор от специални обучаеми токени (непрекъснат вектор), който се добавя към потребителската заявка. Като се обучи само този малък вектор-промпт, може да се адаптира голям „замразен" модел към нова задача с минимални изчислителни разходи.

Промпт-инженерството като дисциплина

Появата на професията

Нарастването на възможностите на LLM доведе до появата на нова специализация — промпт-инженер. Тези специалисти разработват и отстраняват грешки в текстовите подсказки, за да получат от изкуствения интелект необходимото поведение. Промпт-инженерите използват знания в областта на лингвистиката, логиката и психологията, за да структурират входните данни по най-ефективен начин. През 2022–2023 година се появиха първите свободни работни места за тази длъжност, което отразява високото търсене на умения за ефективно взаимодействие с AI-системи.

Бъдещето на професията и автоматизацията

Сферата се развива стремително и нейното бъдеще е предмет на дискусии. Изследвания от 2024 година, например от VMware, показаха, че самият изкуствен интелект е способен чрез перебиране и оптимизация да намира ефективни формулировки на заявките, които нерядко превъзхождат човешките. Това породи мнението, че ръчното промпт-инженерство може да е временно явление и с времето инструментите за автоматичен подбор на подсказки ще станат стандартни. Въпреки това, към 2025 година, експертизата в областта на промпт-инженерството остава търсена.

Области на приложение

• Обработка на естествен език: Класически NLP-задачи, като автоматично обобщаване на документи, машинен превод, отговори на въпроси и извличане на информация.
• Чатботове и виртуални асистенти: Промптовете помагат да се зададат роля, стил на общуване и формат на отговорите, правейки диалоговите системи по-консистентни и полезни.
• Генериране на код: Модели като OpenAI Codex са способни да пишат програмен код по описание на естествен език, което ускорява разработката.
• Анализ на данни: С помощта на промптове може да се настрои моделът за извличане на прозрения от неструктурирани текстови отчети или генериране на хипотези.
• Образование: Създаване на интелектуални репетитори, които генерират задания, обясняват сложни концепции и проверяват отговорите съобразно нивото на подготовка на учащия.
• Творчески индустрии: Генериране на текстове, художествени изображения, музика и сценарии по детайлно описание.

Злонамерено използване и уязвимости (Prompt Injection)

Откритостта на интерфейса на LLM доведе до появата на нов клас атаки — инжектиране на подсказка (prompt injection). Нападателят формулира специална злонамерена заявка, която кара модела да наруши първоначалните си инструкции или да разкрие скрита информация. Експертите разглеждат това като разновидност на атаката тип „инжектиране на код", където вместо код в системата се „инжектират" коварни текстови инструкции.

Типове атаки

• Jailbreak: Атака, позволяваща на модела да „избяга" от наложените ограничения (например политиката за модериране) и да генерира забранено съдържание. Известен пример е DAN-промптът (Do Anything Now), който карал ChatGPT да отговаря без цензура.
• Prompt Leaking: Специална заявка принуждава модела да разкрие фрагменти от скрития му системен промпт.
• Token Smuggling: Злонамерената инструкция се маскира като безобидна част от заявката (например фрагмент от код), за да заобиколи филтрите и да предизвика нежелано поведение.

Тези атаки представляват сериозен проблем, тъй като традиционните методи за киберсигурност са слабо приспособени за заплахи, свързани с интерпретацията на естествен език.

Литература

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.