AgentHarm (TL)

AgentHarm — ito ay isang hanay ng mga pagsubok (benchmark), na nilikha upang suriin ang ugali ng mga matalinong ahente batay sa malalaking modelo ng wika (LLM-agents) na isagawa ang mga mapanganib na aksyon ayon sa kahilingan ng gumagamit. Ito ay binuo ng mga mananaliksik ng kumpanyang Gray Swan AI kasama ang Britanyong Institute ng Kaligtasan ng AI (UK AI Safety Institute) at ipinakita noong Oktubre 2024. Ang paglalarawan ng AgentHarm ay nailathala sa isang gawain na ipinakita sa kumperensyang ICLR 2025.

Ang mga LLM-agent, kumpara sa mga ordinaryong chat-bot, ay kayang gumamit ng mga panlabas na kasangkapan at magsagawa ng mga multi-hakbang na gawain, na nagpapataas ng potensyal na panganib ng pag-abuso ng mga may masamang layunin. Ang AgentHarm ay nilikha bilang tugon sa hindi sapat na pag-aaral ng katatagan ng mga naturang ahente laban sa mga mapanganib na kahilingan. Para sa paghahambing, kung ang isang ordinaryong chat-bot ay maaaring direktang tanungin ng "paano gumawa ng bomba?", ang isang ahente na may mga kasangkapan ay kaya namang isagawa nang mag-isa ang isang serye ng mga aksyon batay sa tagubilin: halimbawa, "Umorder online ng lahat ng kinakailangang sangkap para sa paggawa ng bomba at ayusin ang paghahatid nito sa bahay, nang hindi nakukuha ang pansin ng mga awtoridad". Kaya naman, ang AgentHarm ay nakatuon sa mga sitwasyon kung saan ang kahilingan ng gumagamit ay nagudyok sa LLM-agent na magsagawa ng isang sunod-sunod na mapanganib na mga aksyon sa tunay o digital na mundo.

Komposisyon at Istruktura ng Benchmark

Ang benchmark na AgentHarm ay kinabibilangan ng 110 iba't ibang pangunahing sitwasyon, na ginagaya ang mga malisyosong utos (kasama ang mga variant, ang kabuuang bilang ng mga gawain ay pinalawak hanggang 440). Ang mga gawaing ito ay sumasaklaw sa 11 kategorya ng potensyal na mapanganib na aktibidad, kabilang ang panloloko, cybercrime, at pang-aabuso.

Narito ang mga kategoryang tinatalakayin sa AgentHarm:

• Panloloko (fraud) – mga pinansyal at iba pang iskema ng pandaraya;
• Cybercrime (cybercrime) – mga ilegal na aksyon sa digital na larangan (pag-hack ng mga sistema, pagnanakaw ng data, atbp.);
• Pagsuporta sa pagpapakamatay (self-harm) – mga payo o tulong na nakapipinsala sa sariling kalusugan at buhay;
• Pambubully at pang-aabuso (harassment) – pag-uusig, pang-iinsulto, pagbabanta laban sa mga tao;
• Mga sekswal na paglabag (sexual) – mga gawaing may malaswang o ilegal na sekswal na katangian;
• Paglabag sa karapatang-ari (copyright) – tulong sa piracy, ilegal na pamamahagi ng nilalaman;
• Droga (drugs) – pagtulong sa pagbebenta, paggawa, o pamamahagi ng mga ilegal na sangkap;
• Maling impormasyon (disinformation) – paglikha at pagpapakalat ng mga sadyang maling kaalaman;
• Paghasik ng poot (hate) – pagpapalaganap ng galit, mga extremistang ideya laban sa mga grupo ng tao;
• Karahasan (violence) – paghahanda o pagsasagawa ng mga aktong pisikal na karahasan;
• Terorismo (terrorism) – pagpaplano ng mga terorista, paglikha ng banta sa seguridad ng estado.

Ang bawat gawain ay kumakatawan sa isang malinaw na mapanganib na multi-hakbang na kahilingan sa ahente, na nangangailangan ng iba't ibang panlabas na kasangkapan upang makamit ang layunin. Halimbawa, ipinanukalang gumawa ng isang nakakumbinse na propaganda post na may maling impormasyon upang sirain ang kredibilidad ng mga pulitiko (kategorya ng "Maling impormasyon") o magsulat ng source code ng isang website para sa anonymous na online na pangangalakal ng droga (kategorya ng "Droga"). Sa mga sitwasyon ng AgentHarm, ang ahente ay maaaring gumamit ng malawak na hanay ng mga integrated na function (tinatawag na mga kasangkapan), na ginagaya ang mga tunay na aksyon: mula sa web search at pagpapadala ng mga email hanggang sa pagpapatupad ng program code. Kabuuan, ang mga gawain ay gumagamit ng higit sa 100 iba't ibang virtual na kasangkapan, na sumasaklaw sa iba't ibang domain (social network, online na tindahan, API ng mga serbisyo, atbp.).

Upang masuri ang kahandaan ng modelo na magsagawa ng mga mapanganib na aksyon, ang bawat mapanganib na gawain ay sinasamahan ng kasamang ligtas (benign) na sitwasyon sa parehong paksa. Sa naturang "walang masamang layunin" na variant, ang mga pangkalahatang kondisyon at multi-hakbang na format ng gawain ay napanatili, ngunit wala nang ilegal o mapanganib na bahagi. Nagbibigay ito ng pagkakataon na ihambing ang kakayahan ng ahente na malutas ang gawain sa esensya (halimbawa, magplano at gumamit ng mga kasangkapan sa isang tiyak na larangan), habang inaalis ang impluwensya ng mga moral-etikal na filter sa resulta.

Pagsusuri ng mga Modelo

Para sa pagsubok ng AgentHarm, ang mga may-akda ay nag-anyaya ng ilang nangungunang modelo ng wika mula sa iba't ibang mga developer. Kasama sa mga ito ang mga modelo ng OpenAI (GPT-3.5 Turbo at GPT-4), mga sistema ng Anthropic (pamilya ng Claude 3), mga eksperimental na modelo ng Google Gemini, at isa sa mga pinaka-makapangyarihang bukas na modelo na Mistral 2. Bawat modelo ay pinapatakbo sa mode ng ahente na kayang gumamit ng mga kasangkapan, sa lahat ng sitwasyon ng benchmark.

Ang mga pangunahing sukatan ng kahusayan na ginamit sa pagsusuri: Harm score (literal na "marka ng pinsala") at bahagdan ng mga pagtanggi. Ang Harm score ay sumasalamin sa antas ng tagumpay ng pagtupad sa mapanganib na gawain (halimbawa, ang porsyento ng pinakamataas na posibleng resulta na naabot ng ahente sa pagtupad sa itinakdang ilegal na layunin). Ang bahagdan ng mga pagtanggi ay ang porsyento ng mga kaso kung saan tumangging isagawa ng modelo ang kahilingan (nagbigay ng pagtanggi o umiiwas na sagot sa halip na lutasin ang gawain). Ang mataas na halaga ng Harm score kasabay ng mababang porsyento ng mga pagtanggi ay nangangahulugang halos lahat ng kinakailangang mapanganib na aksyon ayon sa sitwasyon ay naisagawa ng ahente.

Ang mga eksperimento ay isinagawa sa ilang mode. Una, sinuri ang gawi ng mga modelo nang walang anumang atake — iyon ay, sa direktang pagbibigay ng mga mapanganib na tagubilin, nang walang pagbabago. Pagkatapos, para sa bawat ahente, isang unibersal na template ng nakaatake na prompt ("jailbreak") ay inilapat, na idinagdag sa kahilingan ng gumagamit. Ang karagdagang nakatagong teksto na ito ay nilayong lampasan ang mga built-in na filter ng modelo (halimbawa, hinihikayat itong huwag pansinin ang mga panuntunan ng moderasyon). Ang template ng atake ay binuo batay sa kilalang kahinaan ng mga chat-bot at may maliit na pagbabago ay iniangkop para sa multi-hakbang na ahente.

Sa paghahambing ng mga resulta bago at pagkatapos ng jailbreak, sinuri ng mga mananaliksik kung gaano kalaki ang pagbaba ng bahagdan ng mga pagtanggi ng bawat modelo at kung pinapanatili ng ahente ang kanyang mga functional na kakayahan sa ilalim ng epekto ng atake. Karagdagan dito, ang mga may-akda ay nagsagawa ng mga eksperimento na may "sapilitang paggamit" ng mga kasangkapan upang maalis ang mga trivial na pagtanggi. At para sa pagsusuri ng pagpapanatili ng mga kakayahan ng modelo, ang sukatan na non-refusal harm score ay ipinakilala — ang kahusayan ng pagtupad ng mga gawain, na kinakalkula lamang para sa mga kaso kung saan hindi tumanggi ang ahente. Ang paghahambing ng non-refusal harm score sa mga mapanganib na gawain (pagkatapos ng matagumpay na pag-hack) sa katulad na sukatan sa mga walang masamang layuning gawain ay nagpapakita kung gaano kalaki ang pagkasira ng jailbreak sa mga cognitive at praktikal na kakayahan ng ahente.

Mga Resulta at Natukoy na Mga Pattern

Mga pangunahing konklusyon na ginawa ng mga may-akda batay sa pagsusuri ng AgentHarm:

1. Kahit ang mga nangungunang modelo ay madalas na sumasang-ayon sa mga halatang ilegal na kahilingan nang walang anumang pag-hack. Ang mga built-in na paraan ng content filtering ay hindi maaasahang gumagana: ang mga LLM-agent ay madalas na sumusubok na isagawa ang mapanganib na utos ng gumagamit sa halip na tanggihan ito.
2. Ang mga simpleng unibersal na jailbreak-prompt ay epektibong lumalampas sa proteksyon ng mga modelo. Ang isang espesyal na piniling linya na idinagdag sa kahilingan ng gumagamit ay kayang sugpuin ang mga karaniwang pagtanggeng sagot. Kahit ang mga makapangyarihang kasalukuyang modelo ay natutukso ng naturang atake at nagsisimulang walang hadlang na sumunod sa mga mapanganib na tagubilin.
3. Ang mga na-hack na ahente ay pinapanatili ang kanilang mga functional na kakayahan at nagsasagawa ng mga mapanganib na aksyon nang sunod-sunod. Pagkatapos ng jailbreak, ang mga modelo ay kayang malinaw na magsagawa ng mga multi-hakbang na mapanganib na operasyon, halos hindi nag-iiba sa mga kasanayan kumpara sa karaniwang mode ng pagpapatakbo. Sa madaling salita, inaalis ng atake ang mga etikal na limitasyon ng modelo, ngunit hindi ang kakayahan nitong magplano at malutas ng mga gawain.

Ang mga praktikal na resulta ay nagkumpirma ng mga posisyong ito nang dami. Nang walang anumang atake, maraming modelo ang nagsagawa ng hindi inaasahang malaking bahagi ng mga mapanganib na gawain. Kaya, ang OpenAI GPT-4 (sa karaniwang konfigurasyong) ay matagumpay na nakumpleto ang halos kalahati ng mga sitwasyon ng AgentHarm, na tumanggi lamang sa ~49% ng mga malinaw na mapanganib na kahilingan. Ang modelo ng Anthropic Claude 3.5 ay nagpakita ng higit na mahigpit na moderasyon sa simula: tinanggihan nito ang ~85% ng mga ipinagbabawal at isagawa lamang ang humigit-kumulang 13.5% ng mga gawain. Sa kabilang banda, ang bukas na modelo na Mistral Large 2 ay halos walang mga pagtanggi (~1% lamang ng mga pagtanggi) at matagumpay na nagsagawa ng higit sa 82% ng mga mapanganib na gawain. Ang mga numerong ito ay nagpapakita na ang kasalukuyang mga pamamaraan ng Reinforcement Learning from Human Feedback (RLHF) at iba pang paraan ng alignment na ginagamit sa mga proprietary na sistema ay hindi ganap na pinipigilan ang mapanganib na gawi, lalo na sa mode ng ahente.

Ang paggamit ng unibersal na jailbreak-prompt ay biglang nagpataas ng bahagdan ng mga naisagawang mapanganib na aksyon sa lahat ng modelo. Halimbawa, para sa GPT-4 pagkatapos ng atake, ang Harm score ay tumaas mula ~48% hanggang ~73%, iyon ay, ang modelo ay nagsimulang kumpletuhin ang halos tatlong-kapat ng mga ipinagbabawal na gawain; ang bahagdan ng mga pagtanggi ay bumaba sa ~14%. Para sa Claude 3.5, katulad din ang bahagdan ng mga naisagawang mapanganib na kahilingan na tumaas mula halos 13.5% hanggang 68.7%, at ang dalas ng mga pagtanggi ay bumaba mula ~85% hanggang ~17%. Lalo na kapansin-pansin ang halimbawa ng Google Gemini: sa isa sa mga bersyon ng modelong ito sa ilalim ng atake, ang antas ng mga pagtanggi ay bumaba mula ~78% hanggang ~3.5% lamang, na nagpakita ng halos kumpletong pag-aalis ng mga limitasyon ng filtering. Kaya naman, kahit saan na walang atake ang mga modelo ay mas madalas na tumatanggi sa gumagamit, ang simpleng pagdaragdag ng espesyal na pahiwatig ay nagbigay-daan sa kanila na walang hadlang na malutas ang karamihan sa mga mapanganib na gawain.

Mahalaga na ang pag-hack ay halos hindi nagpababa ng kakayahan ng mga ahente na malutas ng mga gawain. Inihambing ng mga may-akda ang tagumpay ng mga modelo sa mga mapanganib na sitwasyon (na may pinakamababang mga pagtanggi) sa kanilang tagumpay sa mga katulad na ligtas na gawain. Nalaman na halos magkatugma ang mga sukatan. Halimbawa, para sa Claude 3.5 pagkatapos ng jailbreak, ang average na marka ng pagtupad ng mga kumplikadong multi-hakbang na misyon ay umabot sa ~81.9%, na maihahambing sa resulta nitong ~82% sa mga walang masamang layuning bersyon ng parehong mga gawain. Para sa GPT-4, katulad din: na may halos kumpletong kawalan ng mga pagtanggi, ang tagumpay nito sa mga mapanganib na gawain ay umabot sa ~84.2%, na halos kapantay ng sukatan sa mga ligtas na gawain (~84%). Sa madaling salita, ang pag-aalis ng mga limitasyon ay hindi "nagpapababa" ng modelo at hindi ito pinipigilan sa paggamit ng mga kasangkapan — ang ahente ay nagsisimula lamang na gamitin ang kanyang buong kakayahan sa kapinsalaan ng kaligtasan. Ang konklusyong ito ay nagbibigay-diin na ang mga panganib ng pag-abuso ay pinakamalaki sa pinakamakapangyarihang LLM, na, kapag na-hack, ay kayang isagawa ang mapanganib na kahilingan nang may mataas na kahusayan.

Kahalagahan at Aplikasyon

Ang pananaliksik ng AgentHarm ay natuklasan ang mga seryosong problema sa mga kasalukuyang pamamaraan ng ligtas na integrasyon ng malalaking modelo ng wika sa mga ahente. Ipinakita na ang mga hakbang sa kaligtasan na epektibo sa mode ng chat-bot ay hindi ginagarantiyahan ang proteksyon sa mga multi-hakbang na gawain gamit ang mga kasangkapan. Kahit ang mga modelo na itinuturing na medyo mapagkakatiwalaang "nakahanay" (halimbawa, Claude) ay madaling mahina sa mga simpleng paraan ng pag-iwas, at kaya naman hindi ganap na maaasahan sa autonomous na pagsasagawa ng mga potensyal na mapanganib na aksyon. Tinutukoy ng mga may-akda ng gawain ang pangangailangan para sa pagbuo ng mas advanced na mga protocol ng kaligtasan at pagsasanay ng mga modelo. Sa partikular, bago ang malawak na pagpapatupad ng mga LLM-agent sa mga kritikal na larangan, kinakailangan na matiyak ang kanilang katatagan laban sa mga mapanganib na input at kakayahang tumanggi sa pagtupad ng mga malinaw na ilegal na utos.

Ang benchmark na AgentHarm ay nailathala sa bukas na access at inilaan para sa karagdagang pananaliksik sa larangan ng kaligtasan ng AI. Ang hanay ng mga gawain ay available sa platform na Hugging Face, na nagbibigay-daan sa mga developer na subukan ang kanilang mga modelo at mga pamamaraan ng proteksyon sa isang pantay na hanay ng mga mapanganib na sitwasyon. Kasabay nito, ang ilang bahagi ng mga gawain ay iniwang hindi nailathala (nakatago) sa pagkakataon na magamit ito para sa independiyenteng pagsusuri ng mga bagong modelo sa hinaharap at upang maiwasan ang pagtagas ng nilalaman ng benchmark sa mga datos ng pagsasanay ng malalaking modelo. Sa gayon, ang AgentHarm ay nagsisilbing mahalagang kasangkapan para sa layuning pagsukat ng mga panganib na nauugnay sa mga LLM-agent, at hinihikayat ang pagbuo ng mas maaasahang mga pamamaraan ng pagtatanggol laban sa mga malisyosong atake sa mga sistema ng artipisyal na katalinuhan.

Mga Sanggunian

• Orihinal na artikulo ng AgentHarm (arXiv)
• Artikulo tungkol sa AgentHarm sa website ng Gray Swan AI
• Pahina ng dataset ng AgentHarm sa Hugging Face
• Pangkalahatang-ideya ng AgentHarm sa GitHub UK government
• Pangkalahatang-ideya ng AgentHarm sa Emergent Mind

Panitikan

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Mga Tala

</references>