Automatic Prompt Engineer (APE) (PL)

Automatyczny Prompt Engineer (APE) — to metodyka zautomatyzowanej generacji i optymalizacji instrukcji tekstowych (promptów) służących do sterowania zachowaniem dużych modeli językowych (LLM). Podejście zostało zaproponowane w 2022 roku przez grupę badaczy pod kierownictwem Yongchao Zhou.

Zamiast ręcznego doboru i iteracyjnego ulepszania podpowiedzi, APE formalizuje inżynierię promptów jako zadanie optymalizacji. W ramach tego zadania podpowiedź jest traktowana jako „program" w języku naturalnym, który należy zsyntetyzować w celu maksymalizacji określonej funkcji jakości (np. dokładności lub wiarygodności odpowiedzi modelu).

Podstawowa koncepcja i metoda

Metoda APE wykorzystuje dwa modele językowe w parze: model-generator i model docelowy. Proces stanowi iteracyjny cykl przeszukiwania i selekcji (search-and-select):

1. Generacja kandydatów. Model-generator otrzymuje na wejściu kilka przykładów par „wejście-wyjście" dla zadania docelowego i na ich podstawie tworzy zbiór możliwych promptów-kandydatów, które mogłyby prowadzić do takich wyników.
2. Ocena. Każdy wygenerowany prompt-kandydat jest przekazywany do docelowego LLM. Model docelowy wykonuje instrukcję na nowym zbiorze danych testowych, a jego odpowiedzi są oceniane według wcześniej określonej metryki (np. dokładność, kompletność, miara F1).
3. Selekcja. Wybierany jest prompt, który uzyskał najlepszy wynik w ramach oceny.
4. Iteracja (opcjonalnie). Cykl może się powtarzać. Model-generator otrzymuje polecenie dopracowania najlepszego znalezionego promptu poprzez tworzenie jego wariantów, po czym proces oceny i selekcji powtarza się w celu osiągnięcia maksymalnej efektywności.

Podejście to pozwala automatycznie odwzorowywać proces ręcznego doboru promptów, wykorzystując LLM do generowania hipotez (promptów) i ich późniejszej oceny.

Kluczowe metodologie

Automatyzacja inżynierii promptów jest realizowana za pomocą różnych podejść algorytmicznych.

Automatyzacja oparta na LLM

Jest to klasyczna metoda APE opisana powyżej, w której jeden LLM jest używany do generowania i oceniania promptów dla innego (lub tego samego) LLM. Podejście to okazało się bardzo skuteczne w przypadku dyskretnych promptów tekstowych.

Metody ewolucyjne

Wykorzystywane są algorytmy genetyczne lub przeszukiwanie wiązkowe (beam search) do tworzenia i selekcji promptów, szczególnie długich i złożonych. Na przykład framework APEX (Automatic Engineering of Long Prompts) stosuje algorytmy ewolucyjne do stopniowego „hodowania" i ulepszania złożonych instrukcji.

Metody gradientowe (Soft Prompts)

To podejście operuje na ciągłych lub miękkich promptach (soft prompts), które stanowią uczące się wektory (embeddingi), a nie instrukcje tekstowe. Wektory te są optymalizowane za pomocą gradientowego zejścia bezpośrednio na zadaniu docelowym. Zaliczają się tu techniki takie jak Prompt Tuning i Prefix-Tuning.

Uczenie ze wzmocnieniem

W tym paradygmacie LLM pełni rolę agenta, który generuje prompt (akcja), a środowisko zwraca ocenę jakości odpowiedzi (nagroda). Celem jest maksymalizacja łącznej nagrody poprzez znajdowanie optymalnej strategii generowania promptów za pomocą metod uczenia ze wzmocnieniem (Reinforcement Learning).

Wyniki i odkrycia

Eksperymenty przeprowadzone w ramach oryginalnego badania APE wykazały, że automatycznie wygenerowane instrukcje w większości przypadków przewyższają jakością prompty napisane przez człowieka.

• Podczas testowania na 24 zadaniach przetwarzania języka naturalnego (NLP) APE wygenerował prompty, które okazały się skuteczniejsze od ludzkich w 19 z 24 przypadków.
• APE zdołał automatycznie „odkryć" skuteczniejsze sformułowanie dla promptingu w stylu Chain-of-Thought. Zamiast standardowej frazy «Let's think step by step» (Myślmy krok po kroku), APE wygenerował bardziej rozbudowaną i skuteczną instrukcję: «Let's work this out in a step by step way to be sure we have the right answer» (Opracujmy to krok po kroku, aby upewnić się, że otrzymamy właściwą odpowiedź). To sformułowanie zwiększyło dokładność rozwiązywania zadań matematycznych na takich zbiorach danych jak MultiArith i GSM8K.

Zastosowania i zalety

Zastosowania

• Ulepszanie few-shot learning: Automatyczny dobór optymalnych przykładów i instrukcji.
• Zwiększanie wiarygodności modeli: APE może być skonfigurowany do wyszukiwania promptów minimalizujących „halucynacje" i maksymalizujących prawdziwość odpowiedzi na benchmarkach takich jak TruthfulQA.
• Automatyzacja tworzenia oprogramowania: Przyspieszenie budowy chatbotów, systemów ekstrakcji informacji i innych aplikacji opartych na LLM.

Zalety

• Skalowalność: Możliwość automatycznego generowania i oceniania setek i tysięcy promptów bez udziału człowieka.
• Adaptowalność: Łatwe dostosowywanie LLM do nowych, wąskospecjalistycznych dziedzin.
• Oszczędność zasobów: Znaczne ograniczenie czasu i nakładu pracy poświęcanych na ręczny dobór promptów.

Rozwój i powiązane podejścia

Koncepcja APE stale się rozwija. Pojawiły się w pełni autonomiczne systemy, takie jak APET (Automatic Prompt Engineering Toolbox), które pozwalają LLM (np. GPT-4) samodzielnie stosować złożone strategie promptingu (Expert Prompting, Chain of Thought, Tree of Thoughts) i dynamicznie ulepszać instrukcje bez zewnętrznej ingerencji.

APE jest częścią szerszego trendu automatyzacji interakcji z LLM, który obejmuje również:

• AutoPrompt: Wczesna metoda wykorzystująca przeszukiwanie gradientowe do znajdowania pojedynczych tokenów-„wyzwalaczy".
• OPRO (Optimization by PROmpting): Podejście podobne do APE od DeepMind, również wykorzystujące LLM do optymalizacji promptów.

Odnośniki

• Oficjalna strona projektu Automatic Prompt Engineer (APE)
• Artykuł naukowy „Large Language Models Are Human-Level Prompt Engineers"
• AutoPrompt (2020). AutoPrompt – Official GitHub Repository. GitHub.

Literatura

• Zhou, Y. et al. (2022). Large Language Models Are Human-Level Prompt Engineers. arXiv:2211.01910.
• Li, W. et al. (2025). A Survey of Automatic Prompt Engineering: An Optimization Perspective. arXiv:2502.11560.
• Hsieh, C.-J. et al. (2024). Automatic Engineering of Long Prompts. Findings of ACL 2024. 2024.findings-acl.634.
• Hsieh, C.-J. et al. (2023). Automatic Long Prompt Engineering. arXiv:2311.10117.
• Shin, T. et al. (2020). AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. arXiv:2010.15980.
• Yang, C. et al. (2023). Large Language Models as Optimizers (OPRO). arXiv:2309.03409.
• Liu, Y. et al. (2024). Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers. arXiv:2405.10276.
• Kepel, D.; Valogianni, K. (2024). Autonomous Prompt Engineering in Large Language Models (APET). arXiv:2407.11000.
• Yang, C. et al. (2024). Optimizing Instructions and Demonstrations for Multi-Stage LM Programs. arXiv:2406.11695.
• Hsieh, C.-J. et al. (2024). APEX (code repository and results). PDF.