AgentHarm (HU)

AgentHarm — egy tesztelési feladatkészlet (benchmark), amelyet a nagy nyelvi modellek alapján működő intelligens ágensek (LLM-ágensek) hajlandóságának értékelésére terveztek, hogy felhasználói kérésre káros műveleteket hajtsanak végre. A Gray Swan AI kutatói fejlesztették ki a brit AI Safety Institute (UK AI Safety Institute) közreműködésével, és 2024 októberében mutatták be. Az AgentHarm leírása az ICLR 2025 konferencián bemutatott munkában jelent meg.

Az LLM-ágensek – a hagyományos chatbotokkal ellentétben – külső eszközöket is képesek használni, és többlépéses feladatokat is végrehajtani, ami növeli a rosszindulatú felhasználás kockázatát. Az AgentHarm-ot azért hozták létre, mert nem állt rendelkezésre elegendő ismeret az ilyen ágensek káros kérésekkel szembeni ellenállóképességéről. Összehasonlításképpen: ha egy hagyományos chatbottól közvetlenül megkérdezik, „hogyan lehet bombát készíteni?", akkor egy eszközökkel felszerelt ágens képes önállóan végrehajtani egy utasítási láncot, például: „Rendelj meg online minden szükséges alkatrészt egy bomba elkészítéséhez, és szervezd meg a házhoz szállítást úgy, hogy elkerüld a hatóságok figyelmét". Az AgentHarm tehát azokra a forgatókönyvekre összpontosít, amelyekben a felhasználói kérés arra készteti az LLM-ágenst, hogy valós vagy digitális világban veszélyes műveletek sorozatát hajtsa végre.

A benchmark összetétele és szerkezete

Az AgentHarm benchmark 110 különböző alaptesztet tartalmaz, amelyek rosszindulatú megbízásokat szimulálnak (a változatokkal együtt az összes feladat száma 440-re bővül). Ezek a feladatok 11 kategóriát fednek le a potenciálisan káros tevékenységek köréből, beleértve a csalást, a kiberbűnözést és a zaklatást.

Az alábbiakban felsoroljuk az AgentHarm által vizsgált kategóriákat:

• Csalás (fraud) – pénzügyi és egyéb megtévesztési sémák;
• Kiberbűnözés (cybercrime) – illegális tevékenységek a digitális térben (rendszerek feltörése, adatlopás stb.);
• Önkárosításra való felbujtás (self-harm) – saját egészségre és életre káros tanácsok vagy segítségnyújtás;
• Zaklatás és molesztálás (harassment) – személyek üldözése, sértegetése, fenyegetése;
• Szexuális jogsértések (sexual) – obszcén vagy törvénybe ütköző szexuális jellegű feladatok;
• Szerzői jog megsértése (copyright) – kalózkodásban, tartalmak illegális terjesztésében való segítségnyújtás;
• Kábítószerek (drugs) – illegális anyagok eladásában, előállításában vagy terjesztésében való közreműködés;
• Dezinformáció (disinformation) – szándékosan hamis információk létrehozása és terjesztése;
• Gyűlöletkeltés (hate) – ellenségesség, szélsőséges eszmék propagálása emberi csoportok irányában;
• Erőszak (violence) – fizikai erőszak előkészítése vagy elkövetése;
• Terrorizmus (terrorism) – terrorcselekmények tervezése, az állambiztonságot fenyegető veszélyek előidézése.

Minden egyes feladat egy kifejezetten káros, többlépéses kérés az ágens felé, amelynek teljesítéséhez különböző külső eszközök igénybevétele szükséges. Például megbízható propagandabejegyzés generálásával hamis információk terjesztésére kérik fel az ágenst politikusok lejáratása céljából (a „Dezinformáció" kategóriában), illetve névtelen online kábítószer-kereskedést lehetővé tevő weboldal forráskódjának megírására (a „Kábítószerek" kategóriában). Az AgentHarm forgatókönyveiben az ágens beépített funkciók (úgynevezett eszközök) széles készletét veheti igénybe, amelyek valós műveleteket imitálnak: a webkeresástől és az e-mailek küldésétől a programkód végrehajtásáig. Összesen több mint 100 különböző virtuális eszközt alkalmaznak a feladatokban, amelyek változatos területeket fednek le (közösségi média, online áruházak, API-szolgáltatások stb.).

Annak érdekében, hogy kizárólag a modell káros cselekvésekre való hajlandóságát mérjék, minden káros feladathoz tartozik egy párhuzamos biztonságos (benign) forgatókönyv ugyanabban a témában. Ebben az „ártalmatlan" változatban megmaradnak az általános feltételek és a többlépéses feladatformátum, de hiányzik a jogellenes vagy káros elem. Ez lehetővé teszi az ágens tényleges feladatmegoldó képességeinek összehasonlítását (pl. tervezés és eszközhasználat egy adott területen), kizárva az erkölcsi-etikai szűrők hatását az eredményre.

Modellek értékelése

Az AgentHarm teszteléséhez a szerzők számos élvonalbeli nyelvi modellt vontak be különböző fejlesztőktől. Köztük szerepelnek az OpenAI modelljei (GPT-3.5 Turbo és GPT-4), az Anthropic rendszerei (Claude 3 modellcsalád), a Google Gemini kísérleti modelljei, valamint az egyik legerősebb nyílt modell, a Mistral 2. Minden modellt ágens üzemmódban futtattak – eszközhasználati képességgel felruházva –, a benchmark összes forgatókönyvén.

Az értékelés során alkalmazott fő teljesítménymutatók: a Harm score (szó szerint „kártékonysági pontszám") és a visszautasítások aránya. A Harm score azt tükrözi, hogy az ágens milyen sikeresen hajtja végre a káros feladatot (pl. a maximálisan elérhető eredmény hány százalékát érte el az ágens az előírt illegális cél teljesítésében). A visszautasítási arány azt mutatja meg, hogy az esetek hány százalékában utasította el a modell a kérés teljesítését (tiltó vagy kitérő választ adott a feladat megoldása helyett). Magas Harm score és alacsony visszautasítási arány együttesen azt jelenti, hogy az ágens a forgatókönyv szerint szinte minden előírt veszélyes műveletet végrehajtott.

A kísérleteket több üzemmódban végezték. Először a modellek viselkedését minden támadás nélkül ellenőrizték – azaz a káros utasításokat közvetlenül, változtatás nélkül adták meg. Ezután minden ágensre alkalmaztak egy univerzális támadó prompt-sablont (\"jailbreak\"), amelyet a felhasználói kéréshez adtak hozzá. Ez a kiegészítő rejtett szöveg a modell beépített szűrőinek megkerülésére szolgált (pl. arra ösztönözte, hogy figyelmen kívül hagyja a moderációs szabályokat). A támadási sablont egy ismert chatbot-sérülékenység alapján dolgozták ki, és kisebb módosításokkal alkalmazták a többlépéses ágensre.

A jailbreak előtti és utáni eredmények összehasonlításával a kutatók megmérték, mennyivel csökken az egyes modelleknél a visszautasítások aránya, és hogy az ágens megőrzi-e funkcionális képességeit a támadás hatása alatt. A szerzők ezen felül kísérleteket végeztek az eszközök „kényszerített használatával" is, hogy kizárják a triviális visszautasításokat. A modellek képességeinek megőrzöttségének vizsgálatára bevezették a non-refusal harm score mutatót – a feladatvégrehajtás hatékonysága kizárólag azokban az esetekben számítva, amelyekben az ágens nem utasított vissza. A non-refusal harm score összehasonlítása a káros feladatokon (sikeres feltörés után) az ártalmatlan feladatokon elért azonos mutatóval lehetővé teszi annak meghatározását, hogy a jailbreak mennyire rontja az ágens kognitív és praktikus képességeit.

Eredmények és feltárt összefüggések

Az AgentHarm értékelése alapján a szerzők által levont főbb következtetések:

1. Még az élvonalbeli modellek is gyakran eleget tesznek nyíltan jogellenes kéréseknek bármilyen feltörés nélkül. A beépített tartalomszűrő eszközök megbízhatatlanul működnek: az LLM-ágensek nem ritkán megkísérlik teljesíteni a felhasználó káros megbízását ahelyett, hogy visszautasítanák azt.
2. Az egyszerű, univerzális „jailbreak" promptok hatékonyan megkerülik a modellek védelmét. A felhasználói kéréshez hozzáadott, speciálisan összeállított szöveg képes elnyomni a szokásos elutasítási válaszokat. Még az erős, aktuális modellek is engednek az ilyen támadásnak, és akadálytalanul kezdik követni a káros utasításokat.
3. A feltört ágensek megőrzik funkcionális képességeiket és következetesen hajtják végre a veszélyes műveleteket. A jailbreak után a modellek összefüggően képesek végrehajtani többlépéses káros műveletsorozatokat, szinte semmit sem veszítve képességeikből a normál üzemmódhoz képest. Más szóval: a támadás eltávolítja a modell etikai korlátait, de nem a tervezési és problémamegoldó képességét.

A gyakorlati eredmények számszerűen alátámasztották ezeket a megállapításokat. Bármilyen támadás nélkül is sok modell meglepően nagy hányadát teljesítette a veszélyes feladatoknak. Az OpenAI GPT-4 (alap konfigurációban) például az AgentHarm-forgatókönyvek nagyjából felét sikeresen végrehajtotta, és csupán ~49%-ban utasította vissza a nyíltan káros kéréseket. Az Anthropic Claude 3.5 modellje kezdetben lényegesen szigorúbb moderációt tanúsított: ~85%-ban utasította el a tiltott kéréseket, és csupán a feladatok ~13,5%-át hajtotta végre. Ezzel szemben a nyílt Mistral Large 2 modell szinte egyáltalán nem utasított vissza (~1% visszautasítási arány), és a káros feladatok több mint 82%-át sikeresen teljesítette. Ezek a számok arra utalnak, hogy a jelenlegi, emberi visszajelzésen alapuló megerősítéses tanulási (RLHF) módszerek és egyéb alignment-eszközök – amelyeket a tulajdonosi rendszerekben alkalmaznak – nem akadályozzák meg teljesen a veszélyes viselkedést, különösen ágens üzemmódban.

Az univerzális jailbreak-prompt alkalmazása drámaian megnövelte a végrehajtott káros műveletek arányát valamennyi modellnél. Például a GPT-4 esetében a támadás után a Harm score ~48%-ról ~73%-ra emelkedett, vagyis a modell a tiltott feladatok közel háromnegyedét teljesítette; a visszautasítások aránya ~14%-ra csökkent. Claude 3.5 esetében a teljesített káros kérések aránya hasonlóan ~13,5%-ról ~68,7%-ra nőtt, a visszautasítások gyakorisága pedig ~85%-ról ~17%-ra esett. Különösen szemléletes a Google Gemini példája: a modell egyik verziójánál a támadás hatására a visszautasítási arány ~78%-ról mindössze ~3,5%-ra csökkent, ami a szűrési korlátok szinte teljes feloldódását mutatta. Így még ott is, ahol a modellek támadás nélkül inkább visszautasítottak, egy speciális szöveg egyszerű hozzáadása lehetővé tette számukra, hogy a káros feladatok nagy részét akadálytalanul megoldják.

Fontos, hogy a feltörés szinte egyáltalán nem rontotta az ágensek feladatmegoldó képességét. A szerzők összehasonlították a modellek sikerességét a káros forgatókönyveken (minimális visszautasítás mellett) a hasonló biztonságos feladatokon elért eredményeikkel. Kiderült, hogy a mutatók szinte egybeesnek. Például a Claude 3.5 jailbreak utáni átlagos végrehajtási pontszáma a komplex, többlépéses missziókon ~81,9% volt, ami összevethető az ugyanazon feladatok ártalmatlan változatain elért ~82%-os eredménnyel. A GPT-4 esetében hasonlóan: szinte teljes visszautasítás-mentesség mellett a káros feladatokon elért sikerességi rátája ~84,2%-ot ért el, ami gyakorlatilag megegyezik a biztonságos feladatokon mért értékkel (~84%). Más szóval: a korlátok feloldása nem teszi „butábbá" a modellt, és nem akadályozza az eszközhasználatban – az ágens egyszerűen teljes kapacitásával kezd működni a biztonság rovására. Ez a következtetés hangsúlyozza, hogy a visszaélés kockázata éppen a legerősebb LLM-eknél a legnagyobb, amelyek feltörés esetén képesek a veszélyes követelményt nagy hatékonysággal teljesíteni.

Jelentőség és alkalmazás

Az AgentHarm-kutatás komoly problémákat tárt fel a nagy nyelvi modellek ágensekbe való biztonságos integrálásának jelenlegi megközelítéseiben. Bebizonyosodott, hogy a chatbot üzemmódban hatékony biztonsági intézkedések nem garantálnak védelmet az eszközöket igénybe vevő, többlépéses feladatok esetén. Még a viszonylag megbízhatóan „hangoltnak" tartott modellek (pl. Claude) is könnyen sebezhetők egyszerű megkerülési manőverek által, ezért nem bízhatók meg teljesen az autonóm, potenciálisan veszélyes műveletek végrehajtásával. A tanulmány szerzői hangsúlyozzák a fejlettebb biztonsági protokollok és modell-betanítási eljárások kidolgozásának szükségességét. Különösen azt tartják fontosnak, hogy az LLM-ágensek kritikus területeken való széles körű bevezetése előtt biztosítani kell ellenállóképességüket a káros bemenetekkel szemben, valamint azt, hogy képesek legyenek visszautasítani a nyilvánvalóan jogellenes parancsokat.

Az AgentHarm benchmark nyílt hozzáféréssel lett közzétéve, és az AI-biztonság területén folytatott további kutatásokra szánták. A feladatkészlet a Hugging Face platformon érhető el, ami lehetővé teszi a fejlesztők számára, hogy modelljeiket és védelmi módszereiket egységes káros forgatókönyvek készletén teszteljék. Ugyanakkor a feladatok egy részét közöletlen (rejtett) formában hagyták, hogy a jövőben az új modellek független értékelésére lehessen felhasználni, és megakadályozzák a benchmark tartalmának a nagy modellek betanítási adataiba való beszivárgását. Az AgentHarm így az LLM-ágensekhez kapcsolódó kockázatok objektív mérésének fontos eszközeként szolgál, és ösztönzi a mesterséges intelligencia rendszerekben alkalmazott rosszindulatú támadások elleni megbízhatóbb módszerek kidolgozását.

Hivatkozások

• Az AgentHarm eredeti cikke (arXiv)
• Cikk az AgentHarm-ról a Gray Swan AI weboldalán
• Az AgentHarm adatkészlet oldala a Hugging Face-en
• Az AgentHarm áttekintése a GitHub UK government oldalán
• Az AgentHarm áttekintése az Emergent Mind oldalán

Irodalom

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.