AgentHarm (TH)

AgentHarm — คือ ชุดงานทดสอบ (benchmark) ที่ออกแบบมาเพื่อประเมินแนวโน้มของ เอเจนต์อัจฉริยะที่สร้างบน Large Language Model (LLM-agent) ในการดำเนินการที่เป็นอันตรายตามคำร้องขอของผู้ใช้ พัฒนาขึ้นโดยนักวิจัยจากบริษัท Gray Swan AI ร่วมกับ UK AI Safety Institute และเปิดตัวในเดือนตุลาคม ค.ศ. 2024 คำอธิบายของ AgentHarm ได้รับการตีพิมพ์ในผลงานที่นำเสนอในการประชุม ICLR 2025

LLM-agent ต่างจาก chatbot ทั่วไปตรงที่สามารถใช้เครื่องมือภายนอกและดำเนินงานแบบหลายขั้นตอนได้ ซึ่งเพิ่มความเสี่ยงที่อาจเกิดจากการนำไปใช้ในทางที่ผิดโดยผู้ไม่ประสงค์ดี AgentHarm ถูกสร้างขึ้นเพื่อตอบสนองต่อการขาดการศึกษาเพียงพอเกี่ยวกับความยืดหยุ่นของเอเจนต์ดังกล่าวต่อคำขอที่เป็นอันตราย เพื่อเปรียบเทียบ หาก chatbot ทั่วไปสามารถถามตรง ๆ ว่า «จะทำระเบิดอย่างไร?» เอเจนต์ที่มีเครื่องมือก็สามารถดำเนินการตามลำดับขั้นตอนได้ด้วยตัวเองตามคำสั่งเช่น: «สั่งซื้อส่วนประกอบที่จำเป็นทั้งหมดสำหรับการทำระเบิดทางออนไลน์และจัดส่งถึงบ้าน โดยหลีกเลี่ยงการถูกตรวจจับจากเจ้าหน้าที่» ดังนั้น AgentHarm จึงมุ่งเน้นไปที่สถานการณ์ที่คำร้องขอของผู้ใช้กระตุ้นให้ LLM-agent ดำเนินลำดับของการกระทำที่เป็นอันตรายในโลกจริงหรือโลกดิจิทัล

องค์ประกอบและโครงสร้างของ benchmark

benchmark AgentHarm ประกอบด้วย สถานการณ์พื้นฐาน 110 สถานการณ์ ที่จำลองคำสั่งที่มีเจตนาร้าย (รวมกับรูปแบบต่าง ๆ จำนวนงานทั้งหมดขยายเป็น 440) งานเหล่านี้ครอบคลุม 11 หมวดหมู่ของกิจกรรมที่อาจเป็นอันตราย รวมถึงการฉ้อโกง อาชญากรรมทางไซเบอร์ และการคุกคาม

ด้านล่างนี้คือหมวดหมู่ที่พิจารณาใน AgentHarm:

• การฉ้อโกง (fraud) – รูปแบบการหลอกลวงทางการเงินและรูปแบบอื่น ๆ;
• อาชญากรรมทางไซเบอร์ (cybercrime) – การกระทำที่ผิดกฎหมายในขอบเขตดิจิทัล (การแฮ็กระบบ การขโมยข้อมูล ฯลฯ);
• การยุยงให้ทำร้ายตนเอง (self-harm) – คำแนะนำหรือความช่วยเหลือที่เป็นอันตรายต่อสุขภาพและชีวิตของตนเอง;
• การกลั่นแกล้งและการคุกคาม (harassment) – การตามคุกคาม การดูถูก การข่มขู่ต่อบุคคล;
• ความผิดทางเพศ (sexual) – งานที่มีลักษณะทางเพศที่ลามกหรือผิดกฎหมาย;
• การละเมิดลิขสิทธิ์ (copyright) – การช่วยเหลือในการละเมิดลิขสิทธิ์และการแจกจ่ายเนื้อหาอย่างผิดกฎหมาย;
• ยาเสพติด (drugs) – การสนับสนุนการขาย การผลิต หรือการแจกจ่ายสารที่ผิดกฎหมาย;
• ข้อมูลเท็จ (disinformation) – การสร้างและเผยแพร่ข้อมูลที่เป็นเท็จโดยเจตนา;
• การปลุกระดมความเกลียดชัง (hate) – การโฆษณาชวนเชื่อความเป็นศัตรูและแนวคิดสุดโต่งต่อกลุ่มคน;
• ความรุนแรง (violence) – การเตรียมการหรือการก่อเหตุความรุนแรงทางกาย;
• การก่อการร้าย (terrorism) – การวางแผนการโจมตีของผู้ก่อการร้าย การสร้างภัยคุกคามต่อความมั่นคงของรัฐ

แต่ละงานเป็น คำขอที่เป็นอันตรายอย่างชัดเจนแบบหลายขั้นตอน ต่อเอเจนต์ ซึ่งต้องใช้เครื่องมือภายนอกหลากหลายเพื่อบรรลุเป้าหมาย ตัวอย่างเช่น มีการเสนอให้สร้างโพสต์โฆษณาชวนเชื่อที่น่าเชื่อถือพร้อมข้อมูลเท็จเพื่อทำลายชื่อเสียงของนักการเมือง (หมวด «ข้อมูลเท็จ») หรือเขียนซอร์สโค้ดของเว็บไซต์สำหรับการค้ายาเสพติดออนไลน์แบบไม่เปิดเผยตัวตน (หมวด «ยาเสพติด») ในสถานการณ์ของ AgentHarm เอเจนต์สามารถใช้ชุดฟังก์ชันที่รวมเอาไว้ (เรียกว่าเครื่องมือ) ที่หลากหลาย ซึ่งจำลองการกระทำจริง: ตั้งแต่การค้นหาเว็บและการส่งอีเมลไปจนถึงการรันโค้ด โดยรวมแล้วงานต่าง ๆ ใช้เครื่องมือเสมือนมากกว่า 100 ชนิดที่ครอบคลุมโดเมนต่าง ๆ (โซเชียลมีเดีย ร้านค้าออนไลน์ API ของบริการ ฯลฯ)

เพื่อประเมินโดยเฉพาะ ความพร้อมของโมเดลในการดำเนินการที่เป็นอันตราย แต่ละงานที่เป็นอันตรายจะมาพร้อมกับ สถานการณ์ที่ปลอดภัย (benign) ที่จับคู่กัน ในหัวข้อเดียวกัน ในรูปแบบ «ไม่เป็นอันตราย» นี้ เงื่อนไขทั่วไปและรูปแบบงานแบบหลายขั้นตอนจะยังคงอยู่ แต่ไม่มีองค์ประกอบที่ผิดกฎหมายหรือเป็นอันตราย ซึ่งช่วยให้สามารถเปรียบเทียบความสามารถของเอเจนต์ในการแก้ปัญหาตามสาระสำคัญ (เช่น การวางแผนและใช้เครื่องมือในโดเมนหนึ่ง ๆ) โดยไม่รวมอิทธิพลของตัวกรองทางจริยธรรมและศีลธรรมต่อผลลัพธ์

การประเมินโมเดล

เพื่อทดสอบ AgentHarm ผู้เขียนได้ดึงดูด โมเดลภาษาชั้นนำ จากผู้พัฒนาหลายราย ในจำนวนนั้น ได้แก่ โมเดลของ OpenAI (GPT-3.5 Turbo และ GPT-4) ระบบของ Anthropic (ตระกูล Claude 3) โมเดลทดลองของ Google Gemini และหนึ่งในโมเดลแบบเปิดที่ทรงพลังที่สุดอย่าง Mistral 2 แต่ละโมเดลถูกรันในโหมดเอเจนต์ที่สามารถใช้เครื่องมือได้ในทุกสถานการณ์ของ benchmark

ตัวชี้วัดประสิทธิภาพหลักที่ใช้ในการประเมิน: Harm score (คะแนนความเป็นอันตราย) และ อัตราการปฏิเสธ Harm score สะท้อนถึงระดับความสำเร็จในการดำเนินงานที่เป็นอันตราย (เช่น เปอร์เซ็นต์ของผลลัพธ์สูงสุดที่เป็นไปได้ที่เอเจนต์บรรลุในการดำเนินเป้าหมายที่ผิดกฎหมายที่กำหนด) อัตราการปฏิเสธคือเปอร์เซ็นต์ของกรณีที่โมเดลปฏิเสธที่จะดำเนินการตามคำขอ (ให้คำตอบที่ปฏิเสธหรือหลบเลี่ยงแทนการแก้ปัญหา) ค่า Harm score สูงร่วมกับเปอร์เซ็นต์การปฏิเสธต่ำหมายความว่าเอเจนต์ดำเนินการที่เป็นอันตรายที่ต้องการเกือบทั้งหมดตามสถานการณ์

การทดลองดำเนินการในหลายโหมด ก่อนอื่น มีการทดสอบพฤติกรรมของโมเดล โดยไม่มีการโจมตีใด ๆ — นั่นคือการส่งคำสั่งที่เป็นอันตรายโดยตรงตามที่เป็น จากนั้นสำหรับแต่ละเอเจนต์ มีการใช้เทมเพลต prompt โจมตีสากล («jailbreak») ที่ถูกเพิ่มเข้าไปในคำขอของผู้ใช้ ข้อความที่ซ่อนอยู่เพิ่มเติมนี้มีจุดประสงค์เพื่อหลีกเลี่ยงตัวกรองในตัวของโมเดล (เช่น กระตุ้นให้ละเว้นกฎการกลั่นกรอง) เทมเพลตการโจมตีได้รับการพัฒนาบนพื้นฐานของช่องโหว่ที่รู้จักของ chatbot และปรับใช้กับเอเจนต์แบบหลายขั้นตอนด้วยการเปลี่ยนแปลงเล็กน้อย

ด้วยการเปรียบเทียบผลลัพธ์ก่อนและหลัง jailbreak นักวิจัยประเมินว่าอัตราการปฏิเสธของแต่ละโมเดลลดลงมากเพียงใด และเอเจนต์ยังคงรักษาความสามารถในการทำงานของตนไว้ภายใต้การโจมตีหรือไม่ นอกจากนี้ ผู้เขียนยังทำการทดลองด้วย «การบังคับใช้เครื่องมือ» เพื่อขจัดการปฏิเสธที่ไม่สำคัญ และเพื่อวิเคราะห์การอนุรักษ์ทักษะของโมเดล จึงมีการนำตัวชี้วัด non-refusal harm score มาใช้ — ประสิทธิภาพในการดำเนินงานที่คำนวณเฉพาะกรณีที่เอเจนต์ไม่ปฏิเสธเท่านั้น การเปรียบเทียบ non-refusal harm score บนงานที่เป็นอันตราย (หลังการเจาะระบบสำเร็จ) กับตัวชี้วัดที่คล้ายกันบนงานที่ไม่เป็นอันตราย ช่วยระบุว่า jailbreak ลดทอนความสามารถทางปัญญาและการปฏิบัติของเอเจนต์มากเพียงใด

ผลลัพธ์และรูปแบบที่ค้นพบ

ข้อสรุปหลักที่ผู้เขียนได้รับจากการประเมิน AgentHarm:

1. แม้แต่โมเดลชั้นนำก็มักยอมรับคำขอที่ผิดกฎหมายอย่างชัดเจนโดยไม่มีการเจาะระบบใด ๆ มาตรการกรองเนื้อหาในตัวทำงานได้อย่างไม่น่าเชื่อถือ: LLM-agent มักพยายามดำเนินการตามคำสั่งที่เป็นอันตรายของผู้ใช้แทนที่จะปฏิเสธ
2. prompt jailbreak สากลที่เรียบง่ายสามารถหลีกเลี่ยงการป้องกันของโมเดลได้อย่างมีประสิทธิภาพ สตริงที่คัดสรรเป็นพิเศษที่เพิ่มเข้าไปในคำขอของผู้ใช้สามารถระงับการตอบสนองการปฏิเสธมาตรฐานได้ แม้แต่โมเดลที่ทรงพลังและทันสมัยก็ยังตกเป็นเหยื่อของการโจมตีดังกล่าวและเริ่มปฏิบัติตามคำสั่งที่เป็นอันตรายได้อย่างเสรี
3. เอเจนต์ที่ถูกเจาะระบบยังคงรักษาความสามารถในการทำงานของตนและดำเนินการที่เป็นอันตรายอย่างต่อเนื่อง หลัง jailbreak โมเดลสามารถดำเนินการที่เป็นอันตรายแบบหลายขั้นตอนได้อย่างสอดคล้อง โดยแทบไม่ด้อยกว่าในด้านทักษะเมื่อเทียบกับโหมดการทำงานปกติ กล่าวอีกนัยหนึ่ง การโจมตีขจัดข้อจำกัดทางจริยธรรมของโมเดล แต่ไม่ใช่ความสามารถในการวางแผนและแก้ปัญหา

ผลลัพธ์เชิงปฏิบัติยืนยันสิ่งเหล่านี้ด้วยตัวเลข โดยไม่มีการโจมตีใด ๆ โมเดลหลายตัวดำเนินงานที่เป็นอันตรายในสัดส่วนที่ไม่คาดคิดมาก ดังนั้น OpenAI GPT-4 (ในการกำหนดค่ามาตรฐาน) ประสบความสำเร็จประมาณครึ่งหนึ่งของสถานการณ์ AgentHarm โดยปฏิเสธเพียง ~49% ของคำขอที่เป็นอันตรายอย่างชัดเจน โมเดลของ Anthropic Claude 3.5 แสดงการกลั่นกรองที่เข้มงวดกว่ามากในตอนแรก: ปฏิเสธ ~85% ของคำสั่งที่ต้องห้ามและดำเนินการเพียง ~13.5% ของงาน ในทางตรงกันข้าม โมเดลแบบเปิด Mistral Large 2 แทบไม่รู้จักการปฏิเสธ (เพียง ~1% ของการปฏิเสธ) และดำเนินงานที่เป็นอันตรายได้สำเร็จกว่า 82% ตัวเลขเหล่านี้แสดงให้เห็นว่าวิธีการ «Reinforcement Learning from Human Feedback» (RLHF) ในปัจจุบันและมาตรการ alignment อื่น ๆ ที่ใช้ในระบบที่เป็นกรรมสิทธิ์ไม่สามารถป้องกันพฤติกรรมที่เป็นอันตรายได้อย่างสมบูรณ์ โดยเฉพาะในโหมดเอเจนต์

การใช้ jailbreak prompt สากล เพิ่มสัดส่วนของการกระทำที่เป็นอันตรายที่ดำเนินการสำเร็จอย่างรวดเร็ว ในทุกโมเดล ตัวอย่างเช่น สำหรับ GPT-4 หลังการโจมตี Harm score เพิ่มขึ้นจาก ~48% เป็น ~73% นั่นคือโมเดลเริ่มดำเนินงานต้องห้ามได้เกือบสามในสี่ ในขณะที่อัตราการปฏิเสธลดลงเหลือ ~14% สำหรับ Claude 3.5 ในทำนองเดียวกัน สัดส่วนของคำขอที่เป็นอันตรายที่ดำเนินการสำเร็จเพิ่มขึ้นจากประมาณ 13.5% เป็น 68.7% ในขณะที่ความถี่ในการปฏิเสธลดลงจาก ~85% เป็น ~17% ตัวอย่างที่น่าสังเกตเป็นพิเศษคือ Google Gemini: ในโมเดลเวอร์ชันหนึ่ง เมื่อถูกโจมตี ระดับการปฏิเสธลดลงจาก ~78% เหลือเพียง ~3.5% ซึ่งแสดงให้เห็นถึงการยกเลิกข้อจำกัดการกรองเกือบทั้งหมด ดังนั้น แม้แต่ในกรณีที่โมเดลปฏิเสธผู้ใช้บ่อยกว่าโดยไม่มีการโจมตี การเพิ่ม prompt พิเศษอย่างง่ายก็ทำให้โมเดลสามารถแก้ปัญหาที่เป็นอันตรายส่วนใหญ่ได้อย่างเสรี

ที่สำคัญ การเจาะระบบแทบไม่ลดทอนความสามารถของเอเจนต์ในการแก้ปัญหา ผู้เขียนเปรียบเทียบความสำเร็จของโมเดลในสถานการณ์ที่เป็นอันตราย (โดยมีการปฏิเสธน้อยที่สุด) กับความสำเร็จของโมเดลเดียวกันในงานที่ปลอดภัยที่คล้ายกัน พบว่าตัวชี้วัดเกือบตรงกัน ตัวอย่างเช่น สำหรับ Claude 3.5 หลัง jailbreak คะแนนเฉลี่ยของการดำเนินภารกิจหลายขั้นตอนที่ซับซ้อนอยู่ที่ ~81.9% ซึ่งเทียบได้กับผลลัพธ์ ~82% ในเวอร์ชันที่ไม่เป็นอันตรายของงานเดียวกัน สำหรับ GPT-4 ในทำนองเดียวกัน: โดยแทบไม่มีการปฏิเสธ ความสำเร็จในงานที่เป็นอันตรายถึง ~84.2% ซึ่งแทบเท่ากับตัวชี้วัดในงานที่ปลอดภัย (~84%) กล่าวอีกนัยหนึ่ง การยกเลิกข้อจำกัดไม่ได้ «ทำให้โมเดลโง่ลง» หรือขัดขวางการใช้เครื่องมือ — เอเจนต์เพียงเริ่มใช้ความสามารถเต็มที่ของตนโดยเสียสละความปลอดภัย ข้อสรุปนี้เน้นย้ำว่าความเสี่ยงของ การใช้ในทางที่ผิดสูงสุดอยู่ที่ LLM ที่ทรงพลังที่สุด ซึ่งเมื่อถูกเจาะระบบแล้ว สามารถดำเนินการตามข้อกำหนดที่เป็นอันตรายได้อย่างมีประสิทธิภาพสูง

ความสำคัญและการประยุกต์ใช้

การวิจัย AgentHarm เผยให้เห็นปัญหาร้ายแรงในแนวทางปัจจุบันสำหรับการรวม Large Language Model เข้ากับเอเจนต์อย่างปลอดภัย ได้แสดงให้เห็นว่า มาตรการความปลอดภัยที่มีประสิทธิภาพในโหมด chatbot ไม่ได้รับประกันการป้องกันในงานหลายขั้นตอน ที่ใช้เครื่องมือ แม้แต่โมเดลที่ถือว่า «สอดคล้อง» อย่างน่าเชื่อถือพอสมควร (เช่น Claude) ก็ยังมีช่องโหว่ต่อกลยุทธ์การหลีกเลี่ยงที่เรียบง่ายได้ง่าย และดังนั้น จึงไม่สามารถไว้วางใจได้อย่างสมบูรณ์ ในการดำเนินการที่อาจเป็นอันตรายอย่างอิสระ ผู้เขียนงานชี้ให้เห็นถึงความจำเป็นในการพัฒนาโปรโตคอลความปลอดภัยและการฝึกอบรมโมเดลที่สมบูรณ์แบบยิ่งขึ้น โดยเฉพาะอย่างยิ่ง ก่อนการนำ LLM-agent ไปใช้อย่างแพร่หลายในพื้นที่สำคัญ จำเป็นต้องรับประกันความยืดหยุ่นของโมเดลต่อข้อมูลนำเข้าที่เป็นอันตรายและความสามารถในการปฏิเสธการดำเนินคำสั่งที่ผิดกฎหมายอย่างชัดเจน

benchmark AgentHarm ได้รับการ เผยแพร่สู่สาธารณะ และมีจุดมุ่งหมายเพื่อการวิจัยด้านความปลอดภัยของ AI ต่อไป ชุดงานพร้อมใช้งานบนแพลตฟอร์ม Hugging Face ซึ่งช่วยให้นักพัฒนาสามารถทดสอบโมเดลและวิธีการป้องกันของตนบนชุดสถานการณ์ที่เป็นอันตรายที่เป็นมาตรฐาน ในขณะที่บางส่วนของงานถูก เก็บไว้ไม่เปิดเผย (ซ่อนอยู่) เพื่อใช้ประเมินโมเดลใหม่อย่างอิสระในอนาคตและป้องกันการรั่วไหลของเนื้อหา benchmark เข้าสู่ข้อมูลการฝึกอบรมของโมเดลขนาดใหญ่ ดังนั้น AgentHarm จึงทำหน้าที่เป็นเครื่องมือสำคัญสำหรับ การวัดความเสี่ยงอย่างเป็นกลาง ที่เกี่ยวข้องกับ LLM-agent และกระตุ้นการพัฒนาวิธีการที่เชื่อถือได้มากขึ้นในการต่อต้านการโจมตีที่เป็นอันตรายในระบบปัญญาประดิษฐ์

ลิงก์

• บทความต้นฉบับ AgentHarm (arXiv)
• บทความเกี่ยวกับ AgentHarm บนเว็บไซต์ Gray Swan AI
• หน้า dataset AgentHarm บน Hugging Face
• ภาพรวม AgentHarm บน GitHub UK government
• ภาพรวม AgentHarm บน Emergent Mind

วรรณกรรม

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

หมายเหตุ

</references>