Prompt (language models) (PL)

Prompt (od ang. prompt — «podpowiedź» lub «zapytanie tekstowe») w kontekście dużych modeli językowych (LLM) — to tekst wejściowy lub instrukcja, którą użytkownik dostarcza modelowi w celu wygenerowania wymaganej odpowiedzi. Prompt formułuje zadanie dla modelu, uwzględniając niezbędne warunki, kontekst i przykłady. Skuteczność działania modelu w dużej mierze zależy od jakości sformułowanego promptu.

Dyscyplina badająca metody opracowywania i optymalizacji zapytań tekstowych nosi nazwę prompt engineering (inżynieria promptów). Jej celem jest uzyskiwanie od modeli AI możliwie najtrafniejszych, dokładnych i bezpiecznych odpowiedzi. Starannie skonstruowany prompt wyznacza modelowi «trasę» realizacji zadania, pomagając sprecyzować wymagany kontekst i oczekiwany rezultat.

Historia rozwoju podejścia

Idea sterowania zachowaniem LLM za pomocą podpowiedzi tekstowych rozwijała się wraz ze wzrostem możliwości samych modeli.

Wczesne etapy (GPT-2)

Już w 2019 roku badacze OpenAI zademonstrowano, że duże wstępnie wytrenowane modele językowe, takie jak GPT-2, są w stanie rozwiązywać nowe zadania bez dodatkowego treningu, jeśli zostaną one sformułowane w postaci tekstu. Praca «Language Models are Unsupervised Multitask Learners» wyznaczyła zasadniczą zmianę: zamiast dostrajać model do każdego zadania, wystarczyło sformułować dla niego zrozumiałą instrukcję na wejściu.

Przełom z GPT-3 i In-Context Learning

Prawdziwy przełom nastąpił wraz z wydaniem modelu GPT-3 w 2020 roku. Dysponując 175 miliardami parametrów, GPT-3 zademonstrował zdolność do uczenia się z kontekstu (in-context learning) — przyswajania nowego zadania «w locie» na podstawie kilku przykładów podanych bezpośrednio w treści zapytania. Ten tryb działania otrzymał nazwę few-shot learning («uczenie się na kilku przykładach») i pokazał, że skalowanie rozmiaru modelu prowadzi do wysokiej jakości wykonywania zadań NLP bez jakiegokolwiek dostrajania wag.

Pojawienie się Chain-of-Thought (CoT)

Dalszy rozwój w 2022 roku wiązał się z poprawą zdolności modeli do złożonego rozumowania logicznego. Zaproponowano specjalne podpowiedzi w formacie łańcucha rozumowania (chain-of-thought prompting). W takich promptach model otrzymuje nie tylko pytanie, ale również przykład sekwencyjnego, krok po kroku rozumowania przed udzieleniem odpowiedzi. Znacznie poprawiło to dokładność rozwiązań w zadaniach arytmetycznych i logicznych. Badanie Kojimy i współpracowników wykazało, że model można stymulować do rozumowania nawet bez przykładów (zero-shot), dodając na końcu zapytania jedynie frazę «Pomyślmy krok po kroku».

Multimodalne prompty

Koncepcja promptów wyszła poza ramy tekstu. W 2022 roku wraz z pojawieniem się modeli DALL-E 2 i Stable Diffusion zapytania użytkowników w języku naturalnym stały się uniwersalnym interfejsem do generowania obrazów, a później również muzyki i wideo.

Rodzaje i techniki stosowania promptów

Istnieje kilka podstawowych typów i technik promptów, które są często łączone.

Zero-shot prompting (Bezpośrednie zapytanie)

Model otrzymuje wyłącznie instrukcję lub pytanie bez jakichkolwiek przykładów. W tym trybie LLM opiera się na swojej ogólnej wiedzy zdobytej podczas wstępnego treningu. Odpowiedni do prostych zadań, takich jak tłumaczenie lub streszczanie tekstu.

Few-shot prompting (Uczenie na przykładach)

Oprócz instrukcji, do promptu dołączany jest jeden lub kilka przykładów z danymi wejściowymi i oczekiwanymi wyjściami. Model «uczy się w locie» na tych wzorcach i stosuje przyswojone zasady do nowego zapytania. Ta metoda, realizująca in-context learning, znacznie zwiększa dokładność w zadaniach, gdzie ważny jest określony format lub styl odpowiedzi.

Łańcuch rozumowania (Chain-of-Thought, CoT)

Specjalny rodzaj promptu przeznaczony do zadań wymagających złożonego rozumowania (matematyka, logika). Podpowiedź zawiera krok po kroku analizę lub plan rozwiązania przed ostateczną odpowiedzią. Zmusza to model do jawnego ustrukturyzowania procesu rozumowania, co znacznie poprawia jakość wyniku.

Dostrajanie podpowiedzi (Prompt Tuning)

Technika, w której zamiast ręcznego pisania promptu stosowana jest automatycznie zoptymalizowana podpowiedź. Prompt jest reprezentowany jako zbiór specjalnych uczonych tokenów (ciągły wektor), który jest dodawany do zapytania użytkownika. Wytrenowawszy jedynie ten niewielki wektor-prompt, można zaadaptować duży «zamrożony» model do nowego zadania przy minimalnych nakładach obliczeniowych.

Prompt engineering jako dyscyplina

Pojawienie się zawodu

Wzrost możliwości LLM doprowadził do powstania nowej specjalizacji — inżyniera promptów. Specjaliści ci opracowują i debugują podpowiedzi tekstowe, aby uzyskać od AI wymagane zachowanie. Inżynierowie promptów wykorzystują wiedzę z zakresu lingwistyki, logiki i psychologii, aby strukturyzować dane wejściowe w najbardziej efektywny sposób. W latach 2022–2023 pojawiły się pierwsze oferty pracy na to stanowisko, co odzwierciedla duże zapotrzebowanie na umiejętności efektywnej interakcji z systemami AI.

Przyszłość zawodu i automatyzacja

Dziedzina rozwija się błyskawicznie, a jej przyszłość jest przedmiotem dyskusji. Badania z 2024 roku, na przykład przeprowadzone przez VMware, wykazały, że sam AI jest w stanie metodą prób i optymalizacji znajdować skuteczne sformułowania zapytań, często przewyższające te opracowane przez ludzi. Zrodziło to opinię, że ręczny prompt engineering może być zjawiskiem tymczasowym, a z czasem narzędzia do automatycznego doboru podpowiedzi staną się standardem. Niemniej jednak, według stanu na 2025 rok, ekspertyza w dziedzinie prompt engineeringu pozostaje poszukiwana.

Obszary zastosowań

• Przetwarzanie języka naturalnego: Klasyczne zadania NLP, takie jak automatyczne streszczanie dokumentów, tłumaczenie maszynowe, odpowiadanie na pytania i ekstrakcja informacji.
• Chatboty i wirtualni asystenci: Prompty pomagają określać rolę, styl komunikacji i format odpowiedzi, czyniąc systemy dialogowe bardziej spójnymi i użytecznymi.
• Generowanie kodu: Modele takie jak OpenAI Codex są w stanie pisać kod programistyczny na podstawie opisu w języku naturalnym, co przyspiesza proces tworzenia oprogramowania.
• Analiza danych: Za pomocą promptów można nakierować model na wydobywanie wniosków z nieustrukturyzowanych raportów tekstowych lub generowanie hipotez.
• Edukacja: Tworzenie inteligentnych korepetytorów, które generują zadania, wyjaśniają złożone koncepcje i sprawdzają odpowiedzi z uwzględnieniem poziomu przygotowania ucznia.
• Przemysły kreatywne: Generowanie tekstów, obrazów artystycznych, muzyki i scenariuszy na podstawie szczegółowego opisu.

Złośliwe wykorzystanie i podatności (Prompt Injection)

Otwartość interfejsu LLM doprowadziła do pojawienia się nowej klasy ataków — wstrzykiwanie podpowiedzi (prompt injection). Atakujący formułuje specjalne złośliwe zapytanie, które skłania model do naruszenia jego pierwotnych instrukcji lub ujawnienia ukrytych informacji. Eksperci postrzegają to jako odmianę ataku typu «wstrzykiwanie kodu», gdzie zamiast kodu do systemu «wstrzykiwane» są podstępne instrukcje tekstowe.

Typy ataków

• Jailbreak: Atak pozwalający modelowi «wydostać się» z nałożonych ograniczeń (np. polityki moderacji) i generować zakazane treści. Znanym przykładem jest DAN-prompt (Do Anything Now), który skłaniał ChatGPT do odpowiadania bez cenzury.
• Prompt Leaking: Specjalne zapytanie wymusza na modelu ujawnienie fragmentów jego ukrytego systemowego promptu.
• Token Smuggling: Złośliwa instrukcja jest maskowana jako nieszkodliwa część zapytania (np. fragment kodu), aby ominąć filtry i wywołać niepożądane zachowanie.

Ataki te stanowią poważny problem, ponieważ tradycyjne metody cyberbezpieczeństwa są słabo przystosowane do zagrożeń związanych z interpretacją języka naturalnego.

Literatura

• Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. PDF.
• Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Wang, X. et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Kojima, T. et al. (2022). Large Language Models are Zero-Shot Reasoners. arXiv:2205.11916.
• Li, X. L.; Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. arXiv:2101.00190.
• Liu, Y. et al. (2021). Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. arXiv:2104.08786.
• Chang, K. et al. (2024). Efficient Prompting Methods for Large Language Models: A Survey. arXiv:2404.01077.
• Li, Z. et al. (2024). Prompt Compression for Large Language Models: A Survey. arXiv:2410.12388.
• Genkina, D. (2024). AI Prompt Engineering Is Dead. IEEE Spectrum. [5].
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Wu, Z. et al. (2025). The Dark Side of Function Calling: Pathways to Jailbreaking Large Language Models. EMNLP 2025. PDF.