PromptRobust (benchmark) (SV)

PromptRobust (även känt som PromptBench) är ett heltäckande benchmark för att utvärdera robustheten hos stora språkmodeller (LLM) mot adversariella förändringar av prompten — små förvrängningar i formuleringen av en uppgift som inte ändrar dess innebörd. Benchmarket utvecklades 2023 av en forskargrupp (Kaijie Zhu m.fl.) från Microsoft Research Asia. Tillkomsten av PromptRobust motiverades av observationen att moderna stora språkmodeller är känsliga för detaljer i formuleringen: även obetydliga ändringar (t.ex. stavfel eller omformuleringar) kan märkbart påverka modellernas svar. Benchmarket syftar till att kvantitativt mäta denna sårbarhet och bidra till utvecklingen av mer tillförlitliga metoder för att interagera med stora språkmodeller.

Utvärderingsmetodik

Innom ramen för PromptBench-studien skapades ett korpus bestående av 4 788 modifierade prompter som bevarar uppgifternas ursprungliga innebörd. Dessa adversariella prompter genererades på fyra nivåer av förändringarnas komplexitet:

• Teckennivå: Införande av stavfel, ersättning eller omplacering av tecken (simulerar slumpmässiga inmatningsfel).
• Ordnivå: Ersättning av vissa ord med synonymer, införande av "brus"-ord eller andra obetydliga lexikala ändringar.
• Meningsnivå: Omformulering av meningsstrukturer, tillägg eller omplacering av fraser utan att ändra det övergripande ämnet.
• Semantisk nivå: Djupare omformulering av förfrågan med bevarande av dess uppgift (t.ex. alternativa formuleringar av samma fråga).

Syftet med dessa "attacker" är att undersöka hur obetydliga avvikelser (t.ex. slumpmässiga stavfel eller användning av synonyma formuleringar) påverkar modellens förmåga att korrekt utföra uppgiften, trots att uppgiften i sig inte har förändrats. Varje genererad adversariell prompt tillämpades på ett antal standard-NLP-uppgifter, inklusive sentimentanalys, identifiering av grammatisk korrekthet, sökning efter duplicerade meningar, logisk slutledning (NLI), läsförståelse, maskinöversättning och lösning av matematiska problem. För experimenten valdes 8 olika typer av uppgifter på 13 dataset — från klassiska GLUE-uppsättningar (t.ex. SST-2 för sentiment, MNLI för NLI) till specialiserade matematiska och flerspråkiga tester.

Av stor vikt är att robustheten hos olika promptformat undersöktes:

• Direkta förfrågningar utan exempel (zero-shot, endast instruktion).
• Förfrågningar med flera exempel (few-shot, där prompten innehåller exempellösningar).
• Rollbaserade prompter (in-context roles, t.ex. "Du är ett sentimentanalyssystem, avgör...").
• Prompter som beskriver uppgiften (task-oriented, direkt beskrivning av uppgiften).

Även olika storskaliga språkmodeller testades — från den relativt lilla Flan-T5-large och modellen UL2 till de avancerade ChatGPT och GPT-4, samt de öppna modellerna i LLaMA 2-familjen och dess derivat Vicuna. För att generera attacker användes befintliga metoder från det adversariella NLP-området (såsom TextBugger, DeepWordBug, TextFooler m.fl.), anpassade för att modifiera prompter snarare än indata. Korrektheten hos de erhållna "förvrängda" prompterna verifierades med automatiska och manuella metoder; enligt rapporten bevarar minst 85 % av de adversariella variationerna korrekt semantik och är begripliga för en människa. Attackernas inverkan återspeglar således just modellens misslyckanden att uppfatta en omformulerad uppgift, snarare än en förlust av uppgiftens innebörd.

Resultat och slutsatser

Försöken visade att moderna stora språkmodeller inte är tillräckligt robusta mot små förändringar i frågeformuleringen. För alla testade modeller observerades en betydande kvalitetsminskning i svaren under påverkan av de genererade attackerna. Även enkla fall — som ett stavfel i texten till ett matematiskt problem eller ersättning av ett nyckelord med dess synonym — ledde till att modellen gav fel svar, trots att den utan förvrängning löste uppgiften korrekt. Författarnas övergripande slutsats: "moderna stora språkmodeller är inte robusta mot adversariella prompter", det vill säga obetydliga avvikelser i phrasing kan systematiskt vilseleda dem.

Vid analys av olika typer av attacker visade det sig att förändringar på ordnivå har den mest destruktiva effekten på stora språkmodellers prestanda. Ersättning av ord med synonymer eller obetydliga ordbildningsförvrängningar ledde till den största kvalitetsminskningen — i genomsnitt ca 33 % relativt det ursprungliga resultatet på samma uppgifter. Attacker på teckennivå (stavfel, slumpmässiga tecken) orsakade i genomsnitt ca 20 % minskning av precisionen. Kvalitativa förändringar eller tillägg av hela meningar till prompten hade däremot en mycket svagare effekt och störde knappt modellen. Semantiska omformuleringar (djupgående återgivning av förfrågan på ett annat sätt) visade sig vara jämförbara i skadlighet med enkla stavfel. Dessa fakta understryker att stora språkmodeller är särskilt sårbara för subtila lexikala förändringar och fel i nyckelord. Karakteristiskt är att grammatiska förvrängningar (stavfel) teoretiskt kan filtreras bort med standardverktyg för stavningskontroll, medan förändringar på ord- och betydelsenivå kräver att modellen besitter en välutvecklad semantisk förståelse, vilket nuvarande modeller ofta saknar.

Analys av olika modellers prestanda visade en betydande spridning i deras robusthet. GPT-4 och UL2 uppvisade den bästa motståndskraften mot adversariella prompter. Något mindre benägna att störas visade sig också Flan-T5-large och dialogmodellen ChatGPT. Modellerna i LLaMA 2-familjen intog en mellanposition, medan Vicuna (13B) utmärkte sig som den mest sårbara mot alla typer av attacker. Intressant nog visade sig modellens storlek inte vara en avgörande faktor för robustheten: den relativt lilla T5-large var i fråga om svarsstabilitet praktiskt taget likvärdig med den betydligt större modellen ChatGPT. Författarna förmodar att tränings- och fine-tuning-metoder spelar en nyckelroll snarare än enbart skala. Sålunda genomgick UL2 och T5-large utökad förträning på stora datakorpusar, medan ChatGPT tränades med Reinforcement Learning from Human Feedback (RLHF), vilket kan ha stärkt deras robusthet. Vicuna däremot tränades på en jämförelsevis begränsad datamängd (som en öppen replik), vilket sannolikt bidrog till dess höga känslighet för formuleringsförändringar. Dessa resultat indikerar att förbättrade fine-tuning-metoder kan öka modellernas tillförlitlighet mer effektivt än att bara öka deras storlek.

Promptformatets inverkan

Sättet på vilket en förfrågan presenteras påverkar också svarets tillförlitlighet. Det konstaterades att prompter med exempel (few-shot) avsevärt ökar modellens robusthet jämfört med enstegsanvisningar utan exempel (zero-shot). Närvaron av flera demonstrationsexempel på uppgiften i prompten hjälper modellen att mer korrekt tolka uppgiften även vid förekomst av brusförändringar. Rollbaserade och beskrivande (task-oriented) prompter uppvisade en jämförbar nivå av robusthet generellt, även om deras effektivitet varierade från uppgift till uppgift. Exempelvis var rollformatet något mer tillförlitligt för sentimentanalys och duplicering av meningar, medan explicita uppgiftsinstruktioner fungerade bättre för läsförståelse och översättning. Dessa observationer kan tjäna som vägledning vid utformning av prompter: att lägga till utförliga exempel och rollkontext minskar sannolikheten för att modellen gör fel vid icke-standardiserade formuleringar.

Överförbarhet av attacker mellan modeller

Överförbarheten (transfer) av attacker mellan modeller visade sig vara begränsad. Adversariella prompter som specifikt utformats mot en modell är inte alltid lika effektiva mot en annan. Det noterades exempelvis att "fälla"-prompter genererade för ChatGPT:s sårbarheter hade en mycket svagare effekt på GPT-4. Den sistnämnda presterade bättre, troligtvis för att attackerna inte direkt överfördes till dess arkitektur — det som förvirrar en modell kanske inte har någon effekt på en mer avancerad modell med annan träning. Vissa typer av enkla förvrängningar (t.ex. stavfel) hade dock en negativ effekt på flera modeller samtidigt, vilket tyder på liknande svagheter i deras språkliga grund.

Praktiska rekommendationer

Genom PromptBench-arbetet identifierades även praktiska rekommendationer för användare och utvecklare av stora språkmodeller. Den enkla slutsatsen: formuleringskonsekvens har betydelse. Det är nödvändigt att undvika stavfel och slarviga formuleringar i förfrågan. Författarna visar att korrigering av även mindre fel (stavning, slumpmässig versalisering, extra mellanslag) avsevärt kan öka tillförlitligheten hos modellens svar. Dessutom påverkar valet av ord i instruktionen dess robusthet. Analys av termfrekvenser i robusta kontra sårbara prompter visade att vissa ord förekommer oftare i "tillförlitliga" prompter, medan andra förekommer i sådana där modellen misslyckades. Exempelvis ledde prompter som innehöll ord som "acting", "provided", "detection" o.s.v. mer sällan till fel, medan ord som "respond", "following" eller "examine" förekom i mer problematiska fall. Detta indikerar att en viss stil och vokabulär i förfrågningar kan antingen mildra eller provocera fram modellsårbarheter. Generellt rekommenderas att formulera förfrågan så tydligt, entydigt och i för modellen välbekanta termer som möjligt, särskilt för verksamhetskritiska tillämpningar.

En intressant bieffekt som forskarna noterade är inverkan av att lägga till meningslösa eller irrelevanta textfragment i förfrågan. Det visade sig att insättning av en slumpmässig teckensekvens (t.ex. "LKF0FZxMZ4") i slutet eller mitten av en prompt kan distrahera modellens uppmärksamhet och minska precisionen i dess svar. Å andra sidan förbättrade tillägg av en neutral men grammatiskt korrekt fras (t.ex. "and true is true") i vissa fall tvärtom svaret, som om det fokuserade modellen på de meningsfulla delarna av frågan. Detta fenomen understryker hur oförutsägbart stora språkmodeller reagerar på till synes obetydliga inmatningsdetaljer. Det vittnar också om modellernas komplexa inre uppbyggnad: de minsta kontextförändringarna kan antingen störa eller förbättra deras prestanda, beroende på hur modellens uppmärksamhet omfördelas.

Betydelse och fortsatt utveckling

PromptRobust/PromptBench har bidragit väsentligt till förståelsen av stora språkmodellers tillförlitlighet. Det föreslagna benchmarket och insamlade data är öppna för forskarsamhället: kod och uppsättningar av adversariella prompter finns tillgängliga i ett arkiv. Detta gör det möjligt för andra forskare att testa nya modeller för robusthet mot frågevariationer och jämföra resultat. Nästa steg är att utveckla metoder för att skydda modeller mot sådana attacker — till exempel förbättrade träningsalgoritmer som tar hänsyn till möjliga stavfel och omformuleringar, eller inbyggda system för normalisering av inmatad text. PromptBench betraktas redan som en grund för sådan forskning om att öka språkmodellers robusthet (robustness) mot verkliga inexakta indata.

I slutändan demonstrerar arbetet av Zhu och kollegor vikten av att beakta prompt-robusthet vid implementering av stora språkmodeller i praktiska tillämpningar: modeller måste inte bara uppvisa hög precision på "rena" data, utan också bibehålla korrekthet vid obetydliga avvikelser i inmatningen, vare sig det rör sig om slumpmässiga användarfel eller avsiktliga attackerande påverkningar.

Externa länkar

• Originalartikeln PromptBench (arXiv)
• PromptBench-arkivet på GitHub
• Artikeln "Prompt Robustness: How to Measure and How to Enhance" (Towards AI)

Litteratur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.