PromptRobust (benchmark) (RO)

PromptRobust (cunoscut și ca PromptBench) — este un benchmark complex pentru evaluarea rezistenței marilor modele de limbaj (LLM) la modificări adversariale ale promptului — mici distorsiuni ale formulării sarcinii care nu îi schimbă sensul. Benchmark-ul a fost dezvoltat în 2023 de un grup de cercetători (Kaijie Zhu și alții) din Microsoft Research Asia. Apariția PromptRobust este motivată de observația că modelele lingvistice mari (MLM) actuale sunt sensibile la detaliile formulării: chiar și modificări minore (de exemplu, greșeli de tastare sau reformulări) pot influența semnificativ răspunsurile modelelor. Benchmark-ul are ca scop măsurarea cantitativă a acestei vulnerabilități și contribuirea la dezvoltarea unor metode mai fiabile de interacțiune cu MLM.

Metodologia de evaluare

În cadrul cercetării PromptBench, a fost constituit un corpus de 4788 de prompturi modificate, care păstrează sensul inițial al sarcinilor. Aceste prompturi adversariale au fost generate la patru niveluri de complexitate a modificărilor:

• Nivel de caracter: Introducerea de greșeli de tastare, înlocuirea sau permutarea caracterelor (imită erorile accidentale de introducere a textului).
• Nivel de cuvânt: Înlocuirea unor cuvinte cu sinonime, introducerea de cuvinte „zgomot" sau alte modificări lexicale minore.
• Nivel de propoziție: Reformularea structurii propozițiilor, adăugarea sau permutarea unor părți ale frazei fără a schimba tema generală.
• Nivel semantic: Reformularea mai profundă a cererii cu păstrarea sarcinii sale (de exemplu, formulări alternative ale aceleiași întrebări).

Scopul acestor „atacuri" este de a verifica în ce măsură deviațiile minore (de ex., greșeli accidentale de tastare sau utilizarea unor formulări sinonime) afectează capacitatea modelului de a îndeplini corect sarcina, în condițiile în care sarcina în sine nu s-a schimbat. Fiecare prompt adversarial generat a fost aplicat unui set de sarcini NLP standard, incluzând analiza sentimentelor, detectarea corectitudinii gramaticale, identificarea propozițiilor duplicate, inferența logică (NLI), înțelegerea textului citit, traducerea automată și rezolvarea problemelor matematice. Pentru experimente au fost selectate 8 tipuri diferite de sarcini pe 13 dataset-uri — de la seturile clasice GLUE (de exemplu, SST-2 pentru sentimente, MNLI pentru NLI) până la teste matematice și multilingve specializate.

Este important că a fost verificată rezistența diferitelor formate de prompt:

• Cereri directe fără exemple (zero-shot, doar instrucțiunea).
• Cereri cu câteva exemple (few-shot, când în prompt sunt oferite mostre de rezolvare).
• Prompturi de rol (in-context roles, de exemplu, „Ești un sistem de analiză a sentimentelor, determină...").
• Prompturi care descriu sarcina (task-oriented, descriere directă a sarcinii).

De asemenea, au fost testate diverse modele lingvistice la scară largă, de la relativ micul Flan-T5-large și modelul UL2 până la avansatele ChatGPT și GPT-4, precum și modelele din familia LLaMA 2 și derivatul acestora Vicuna. Pentru generarea atacurilor au fost utilizate metode existente din domeniul NLP adversarial (precum TextBugger, DeepWordBug, TextFooler și altele), adaptate pentru modificarea prompturilor în locul datelor de intrare. Corectitudinea prompturilor „distorsionate" obținute a fost verificată prin metode automate și manuale; conform raportului, cel puțin 85% dintre variațiile adversariale păstrează semantica corectă și sunt inteligibile pentru om. Astfel, impactul atacurilor reflectă tocmai eșecurile modelului în perceperea sarcinii reformulate, și nu pierderea sensului sarcinii în sine.

Rezultate și concluzii

Testele au arătat că MLM actuale nu sunt suficient de rezistente la modificări minore ale formulării cererii. Pentru toate modelele testate s-a observat o scădere semnificativă a calității răspunsurilor sub influența atacurilor generate. În special, chiar și cazuri simple — cum ar fi o greșeală de tastare în textul unei probleme matematice sau înlocuirea unui cuvânt cheie cu sinonimul său — duceau la furnizarea unui rezultat incorect de către model, deși fără distorsiune acesta răspundea corect. Concluzia generală a autorilor: „modelele lingvistice mari actuale nu sunt robuste la prompturi adversariale", adică deviații minore în phrasing le pot induce sistematic în eroare.

În analiza diferitelor tipuri de atacuri s-a constatat că modificările la nivel de cuvânt au cel mai distructiv efect asupra funcționării MLM. Înlocuirea cuvintelor cu sinonime sau distorsiunile lexicale minore duceau la cea mai mare scădere a calității — în medie cu ≈33% față de rezultatul inițial pe aceleași sarcini. Atacurile la nivel de caracter (greșeli de tastare, caractere aleatorii) cauzau în medie o scădere de ~20% a preciziei. Modificarea calitativă sau adăugarea unor propoziții întregi în prompt, dimpotrivă, aveau un efect mult mai slab, aproape fără a deruta modelul. Reformulările semantice (reformularea profundă a cererii în alt mod) s-au dovedit comparabile ca nocivitate cu greșelile simple de tastare. Aceste fapte subliniază că MLM sunt deosebit de vulnerabile la modificările lexicale subtile și la erorile din cuvintele cheie. Este caracteristic că distorsiunile gramaticale (greșelile de tastare) pot fi teoretic filtrate prin instrumente standard de verificare ortografică, în timp ce modificările la nivel de cuvânt și de sens necesită din partea modelului o înțelegere semantică dezvoltată, pe care modelele actuale adesea nu o posedă.

Analiza performanței diferitelor modele a arătat o dispersie semnificativă a robustetii lor. GPT-4 și UL2 au demonstrat cea mai bună rezistență la prompturile adversariale. Puțin mai puțin susceptibile la erori s-au dovedit a fi și modelul Flan-T5-large și modelul conversațional ChatGPT. Modelele din familia LLaMA 2 au ocupat o poziție intermediară, în timp ce Vicuna (13B) s-a remarcat ca cel mai vulnerabil model la toate tipurile de atacuri. Interesant este că dimensiunea modelului nu s-a dovedit a fi factorul decisiv al robustetii: relativ micul T5-large era practic egal cu mult mai marele ChatGPT din punct de vedere al stabilității răspunsului. Autorii presupun că rolul cheie îl joacă metodele de antrenament și de fine-tuning ale modelelor, și nu doar scala. Astfel, UL2 și T5-large au trecut printr-o pre-antrenare extinsă pe corpusuri mari de date, iar ChatGPT a fost antrenat cu reinforcement learning din feedback uman (RLHF), ceea ce le-ar fi putut consolida rezistența. Dimpotrivă, Vicuna a fost antrenat pe un set de date relativ limitat (ca replică open-source), ceea ce probabil a determinat sensibilitatea sa ridicată la modificarea formulărilor. Aceste rezultate indică faptul că îmbunătățirea metodelor de fine-tuning poate crește fiabilitatea modelelor mai mult decât simpla mărire a dimensiunii lor.

Influența formatului de prompt

Forma de prezentare a cererii influențează și ea fiabilitatea răspunsului. S-a stabilit că prompturile cu exemple (few-shot) cresc semnificativ rezistența modelului față de instrucțiunile fără exemple (zero-shot). Prezența câtorva exemple demonstrative ale sarcinii în prompt ajută modelul să interpreteze mai corect sarcina chiar și în prezența unor modificări zgomotoase. Prompturile de rol și cele descriptive (task-oriented) au demonstrat un nivel comparabil de rezistență în general, deși eficacitatea lor varia de la sarcină la sarcină. De exemplu, în datele privind analiza sentimentelor și propozițiile duplicate, formatul de rol era puțin mai fiabil, în timp ce în sarcinile de înțelegere a textului și de traducere instrucțiunile explicite ale sarcinii au funcționat mai bine. Aceste observații pot servi drept ghid la proiectarea prompturilor: adăugarea de exemple detaliate și a contextului de rol reduce probabilitatea erorii modelului la formulări nestandard.

Transferabilitatea atacurilor între modele

Transferabilitatea atacurilor între modele s-a dovedit a fi limitată. Prompturile adversariale concepute special împotriva unui model nu sunt întotdeauna la fel de eficiente împotriva altuia. Astfel, s-a observat că prompturile-„capcană" generate pentru vulnerabilitățile ChatGPT au un efect mult mai slab asupra GPT-4. Acesta din urmă s-a descurcat mai bine, probabil deoarece atacurile nu se transferau direct pe arhitectura sa — ceea ce derutează un model poate să nu funcționeze asupra unui model mai avansat cu o pregătire diferită. Cu toate acestea, unele tipuri de distorsiuni simple (de exemplu, greșelile de tastare) aveau un efect negativ asupra mai multor modele simultan, ceea ce indică existența unor puncte slabe similare în baza lor lingvistică.

Recomandări practice

În cadrul lucrării PromptBench au fost identificate și recomandări practice pentru utilizatorii și dezvoltatorii de MLM. Concluzia simplă: stabilitatea formulării contează. Este necesar să evitați greșelile de tastare și formulările neglijente în cerere. Autorii arată că corectarea chiar și a erorilor minore (ortografie, majusculă accidentală, spații suplimentare) poate crește semnificativ fiabilitatea răspunsului modelului. În plus, alegerea cuvintelor din instrucțiune îi influențează rezistența. Analiza frecvenței termenilor în prompturile rezistente vs. vulnerabile a relevat că unele cuvinte apar mai frecvent în prompturile „fiabile", iar altele — în cele în care modelul a greșit. De exemplu, prompturile conținând cuvinte precum „acting", „provided", „detection" etc. duceau mai rar la erori, în timp ce cuvinte precum „respond", „following" sau „examine" apăreau în cazurile mai problematice. Aceasta indică faptul că un anumit stil și lexic al cererilor pot atenua sau, dimpotrivă, provoca vulnerabilitățile modelului. În general, se recomandă formularea cererii cât mai clar, fără ambiguități și în termeni familiari modelului, mai ales pentru aplicații critice.

Un efect secundar interesant remarcat de cercetători este influența adăugării unor fragmente de text fără sens sau irelevante în cerere. S-a constatat că inserarea unei secvențe aleatorii de caractere (de exemplu, „LKF0FZxMZ4") la sfârșitul sau în mijlocul promptului poate distrage atenția modelului și reduce precizia răspunsului său. Pe de altă parte, adăugarea unei fraze neutre, dar corecte din punct de vedere gramatical (de exemplu, „and true is true") în unele cazuri, dimpotrivă, îmbunătățea răspunsul, ca și cum ar focaliza modelul pe părțile semnificative ale întrebării. Acest fenomen subliniază cât de imprevizibil reacționează MLM la detalii ale intrării aparent nesemnificative. El atestă și complexitatea structurii interne a modelelor: cele mai mici modificări ale contextului pot fie să perturbe, fie să îmbunătățească funcționarea lor, în funcție de modul în care se redistribuie atenția modelului.

Semnificație și dezvoltare ulterioară

PromptRobust/PromptBench a adus o contribuție semnificativă la înțelegerea fiabilității MLM. Benchmark-ul propus și datele colectate sunt deschise comunității: codul și seturile de prompturi adversariale sunt disponibile în repository. Aceasta permite altor cercetători să testeze modele noi din punct de vedere al rezistenței la variații ale cererilor și să compare rezultatele. Următorul pas îl reprezintă dezvoltarea metodelor de protecție a modelelor împotriva unor astfel de atacuri — de exemplu, algoritmi de antrenament îmbunătățiți care iau în considerare posibile greșeli de tastare și reformulări, sau sisteme integrate de normalizare a intrării. PromptBench este deja considerat baza pentru astfel de cercetări privind creșterea robustetii (robustness) modelelor lingvistice la date de intrare imprecise din lumea reală.

În final, lucrarea lui Zhu și a colegilor demonstrează importanța luării în considerare a rezistenței la prompturi în implementarea MLM în aplicații practice: modelele trebuie nu doar să demonstreze o precizie ridicată pe date „curate", ci și să își mențină corectitudinea la deviații minore ale intrării, fie că este vorba de erori accidentale ale utilizatorului sau de acțiuni de atac intenționate.

Referințe

• Articolul original PromptBench (arXiv)
• Repository PromptBench pe GitHub
• Articolul „Prompt Robustness: How to Measure and How to Enhance" (Towards AI)

Bibliografie

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.