PromptRobust (benchmark) (BG)

PromptRobust (известен също като PromptBench) — това е комплексен benchmark за оценка на устойчивостта на големи езикови модели (LLM) към адверсарни изменения на заявката — малки изкривявания на формулировката на заданието, които не променят смисъла му. Benchmark-ът е разработен през 2023 година от група изследователи (Kaijie Zhu и др.) от Microsoft Research Asia. Появата на PromptRobust е обусловена от наблюдението, че съвременните LLM са чувствителни към детайлите на формулировката: дори незначителни промени (например печатни грешки или перифразиране) могат осезаемо да влияят върху отговорите на моделите. Benchmark-ът е предназначен да измери количествено тази уязвимост и да съдейства за разработването на по-надеждни методи за взаимодействие с LLM.

Методология на оценяването

В рамките на изследването PromptBench е формиран корпус от 4788 видоизменени подсказки (prompt-и), запазващи първоначалния смисъл на заданията. Тези адверсарни подсказки са генерирани на четири нива на сложност на измененията:

• Символно ниво: Въвеждане на печатни грешки, замяна или разместване на символи (имитира случайни грешки при въвеждане).
• Словно ниво: Замяна на някои думи със синоними, въвеждане на „шумови" думи или други незначителни речникови изменения.
• Ниво на изречението: Перифразиране на структурата на изреченията, добавяне или разместване на части от фразата без промяна на общата тема.
• Семантично ниво: По-дълбоко преформулиране на заявката при запазване на нейната задача (например алтернативни формулировки на един и същ въпрос).

Целта на подобни „атаки" е да се провери как незначителните отклонения (напр. случайни печатни грешки или използване на синонимни формулировки) влияят върху способността на модела правилно да изпълни задачата, при положение че самата задача не е променена. Всяка генерирана адверсарна подсказка е прилагана към редица стандартни NLP задачи, включително анализ на тоналността, разкриване на граматическа коректност, търсене на дублиращи се изречения, логически извод (NLI), четене с разбиране, машинен превод и решаване на математически задачи. За експериментите са подбрани 8 различни типа задачи върху 13 dataset-а — от класическите набори GLUE (например SST-2 за тоналност, MNLI за NLI) до специализирани математически и многоезикови тестове.

Важно е, че беше проверявана устойчивостта на различни формати на prompt:

• Преки заявки без примери (zero-shot, само инструкция).
• Заявки с няколко примера (few-shot, когато в подсказката са дадени образци за решение).
• Ролеви подсказки (in-context roles, например „Вие сте система за анализ на тоналността, определете...").
• Подсказки, описващи задачата (task-oriented, пряко описание на заданието).

Също така бяха тествани различни мащабни езикови модели — от сравнително малкия Flan-T5-large и модела UL2 до напредналите ChatGPT и GPT-4, а също и отворените модели от семейството LLaMA 2 и производният от тях Vicuna. За генериране на атаките бяха използвани съществуващи методи от областта на адверсарното NLP (като TextBugger, DeepWordBug, TextFooler и др.), адаптирани за модификация на подсказките вместо на входните данни. Коректността на получените „изкривени" подсказки беше проверявана с автоматични и ръчни методи; според доклада не по-малко от 85% от адверсарните вариации запазват правилната семантика и са разбираеми за човек. По този начин влиянието на атаките отразява именно грешките на модела при възприемане на перифразираното задание, а не загубата на самия смисъл на задачата.

Резултати и изводи

Изпитанията показаха, че съвременните LLM не са достатъчно устойчиви към малки изменения в формулировката на заявката. При всички тествани модели беше наблюдавано значително влошаване на качеството на отговорите под въздействието на генерираните атаки. По-специално, дори прости случаи — като печатна грешка в текста на математическа задача или замяна на една ключова дума с нейния синоним — водеха до това, че моделът даваше неверен резултат, въпреки че без изкривяване се справяше правилно. Общият извод на авторите: „съвременните големи езикови модели не са robust (устойчиви) към адверсарни подсказки", тоест незначителни отклонения в phrasing могат системно да ги въвеждат в заблуждение.

При анализа на различните видове атаки се установи, че най-разрушително върху работата на LLM влияят изменените на словно ниво. Замяната на думи със синоними или незначителното словообразувателно изкривяване водеха до най-голям спад в качеството — средно с ≈33% спрямо изходния резултат на същите задания. Атаките на символно ниво (печатни грешки, случайни символи) предизвикваха средно ~20% намаляване на точността. Качественото изменение или добавянето на цели изречения към prompt-а, напротив, имаше много по-слаб ефект и почти не объркваше модела. Семантичните перифразирания (дълбоко преразказване на заявката по друг начин) се оказаха сравними по вредоносност с обикновените печатни грешки. Тези факти подчертават, че LLM са особено уязвими към тънки лексикални изменения и грешки в ключовите думи. Характерно е, че граматическите изкривявания (печатни грешки) теоретично могат да бъдат филтрирани чрез стандартни средства за проверка на правописа, докато изменените на словно и смислово ниво изискват от модела развито семантично разбиране, което на текущите модели често им липсва.

Анализът на производителността на различните модели показа значителен разброс в тяхната robustness. GPT-4 и UL2 демонстрираха най-добра устойчивост към адверсарни подсказки. Малко по-малко склонни към грешки се оказаха също моделът Flan-T5-large и диалоговият модел ChatGPT. Моделите от семейството LLaMA 2 заеха междинна позиция, докато Vicuna (13B) се открои като най-уязвима към всички видове атаки. Интересно е, че размерът на модела не се оказа решаващ фактор за robustness: сравнително малкият T5-large по стабилност на отговора практически не отстъпваше на значително по-големия модел ChatGPT. Авторите предполагат, че ключова роля играят методите на обучение и fine-tuning на моделите, а не само мащабът. Така UL2 и T5-large са преминали разширено предобучение върху големи корпуси от данни, а ChatGPT е обучен с подкрепление от човешка обратна връзка (RLHF), което вероятно е укрепило тяхната устойчивост. Напротив, Vicuna е обучен върху сравнително ограничен набор от данни (като отворена реплика), което вероятно е обусловило неговата висока чувствителност към изменения в формулировките. Тези резултати сочат, че подобряването на методите за fine-tuning може да повиши надеждността на моделите в по-голяма степен, отколкото простото увеличаване на техния размер.

Влияние на формата на prompt

Формата на подаване на заявката също влияе върху надеждността на отговора. Установено е, че подсказките с примери (few-shot) съществено повишават устойчивостта на модела в сравнение с еднократните инструкции без примери (zero-shot). Наличието в prompt-а на няколко демонстрационни примера на задачата помага на модела да интерпретира по-вярно заданието дори при наличие на шумови изменения. Ролевите подсказки и описателните (task-oriented) показаха съпоставимо ниво на устойчивост като цяло, въпреки че ефективността им варира в зависимост от задачата. Например при данните за анализ на тоналността и дублиращи се изречения ролевият формат беше малко по-надежден, докато при задачите за четене с разбиране и превод по-добре се справиха явните инструкции на задачата. Тези наблюдения могат да служат като ориентир при проектирането на prompt-и: добавянето на разгърнати примери и контекст на роля намалява вероятността от грешка на модела при нестандартни формулировки.

Прехвърляемост на атаките между модели

Прехвърляемостта (трансферът) на атаките между моделите се оказа ограничена. Адверсарните подсказки, специално подбрани срещу един модел, не винаги са еднакво ефективни срещу друг. Така беше отбелязано, че prompt-ите „капани", генерирани за уязвимостите на ChatGPT, влияят значително по-слабо на GPT-4. Последният се справяше по-добре, вероятно защото атаките не се пренасяха пряко върху неговата архитектура — това, което обърква един модел, може да не подействa на по-напреднал модел с различна подготовка. Въпреки това някои видове прости изкривявания (например печатни грешки) оказваха негативен ефект едновременно върху няколко модела, което говори за сходни слабости в тяхната езикова основа.

Практически препоръки

В хода на работата PromptBench бяха разкрити и практически препоръки за потребителите и разработчиците на LLM. Простият извод: стабилността на формулировката има значение. Необходимо е да се избягват печатни грешки и небрежни формулировки в заявката. Авторите показват, че поправянето дори на дребни грешки (правопис, случаен регистър, излишни интервали) може съществено да повиши надеждността на отговора на модела. Освен това, изборът на думи в инструкцията влияе върху нейната устойчивост. Анализът на честотата на термините в устойчиви vs. уязвими подсказки разкри, че някои думи се срещат по-често в „надеждните" prompt-и, а други — в тези, при които моделът е сбъркал. Например подсказките, съдържащи думи като „acting", „provided", „detection" и т.н., по-рядко водеха до грешки, докато думи като „respond", „following" или „examine" се срещаха в по-проблемните случаи. Това сочи, че определен стил и лексика на заявките могат да смекчат или, обратно, да провокират уязвимостите на модела. Като цяло се препоръчва заявката да се формулира максимално ясно, недвусмислено и с познати за модела термини, особено за критично важни приложения.

Интересен страничен ефект, отбелязан от изследователите, е влиянието на добавянето на безсмислени или нерелевантни фрагменти от текст в заявката. Оказа се, че вмъкването на случайна последователност от символи (например „LKF0FZxMZ4") в края или средата на подсказката може да отвлече вниманието на модела и да намали точността на неговия отговор. От друга страна, добавянето на неутрална, но граматически правилна фраза (например „and true is true") в някои случаи напротив подобрявало отговора, сякаш фокусирайки модела върху значимите части на въпроса. Този феномен подчертава колко непредсказуемо LLM реагират на привидно несъществени детайли на входните данни. Той свидетелства и за сложността на вътрешното устройство на моделите: най-малките изменения на контекста могат или да нарушат, или да подобрят тяхната работа, в зависимост от това как се преразпределя вниманието на модела.

Значение и по-нататъшно развитие

PromptRobust/PromptBench внесе значителен принос в разбирането на надеждността на LLM. Предложеният benchmark и събраните данни са отворени за общността: кодът и наборите от адверсарни подсказки са достъпни в репозиторията. Това позволява на другите изследователи да тестват нови модели за устойчивост към вариации на заявките и да сравняват резултатите. Следващата стъпка е разработването на методи за защита на моделите от подобни атаки — например подобрени алгоритми за обучение, отчитащи възможните печатни грешки и перифразирания, или вградени системи за нормализиране на входния текст. PromptBench вече се разглежда като основа за такива изследвания по повишаване на robustness (устойчивостта) на езиковите модели към реални неточни входни данни.

В крайна сметка трудът на Zhu и колегите му демонстрира важността на отчитането на устойчивостта към prompt-и при внедряването на LLM в практически приложения: моделите трябва не само да показват висока точност върху „чисти" данни, но и да запазват коректност при незначителни отклонения във входните данни, независимо дали са случайни грешки на потребителя или преднамерени атакуващи въздействия.

Препратки

• Оригинална статия PromptBench (arXiv)
• Репозитория PromptBench в GitHub
• Статия „Prompt Robustness: How to Measure and How to Enhance" (Towards AI)

Литература

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.