SafetyBench (VI)

SafetyBench — đây là benchmark toàn diện đầu tiên để đánh giá toàn diện độ an toàn của các mô hình ngôn ngữ lớn . Nó được phát triển bởi một nhóm các nhà nghiên cứu từ Đại học Thanh Hoa và được giới thiệu vào năm 2023.

Cùng với sự phát triển của các LLM (ví dụ, sự xuất hiện của ChatGPT) và việc triển khai đại trà chúng, sự chú ý đến các vấn đề an toàn của các hệ thống như vậy ngày càng tăng. Các nghiên cứu đã chỉ ra rằng các mô hình hội thoại có thể làm rò rỉ thông tin riêng tư của người dùng hoặc tạo ra các phát ngôn độc hại. Do đó, việc đánh giá an toàn của các LLM đã trở thành nhiệm vụ cực kỳ quan trọng để ứng dụng chúng một cách đáng tin cậy trong thực tiễn. Tuy nhiên, cho đến gần đây vẫn thiếu các benchmark toàn diện (bộ kiểm thử) bao quát tất cả các khía cạnh an toàn chính của mô hình; các dataset hiện có chỉ kiểm tra từng khía cạnh riêng lẻ (ví dụ: độc tính hoặc thành kiến xã hội) và không cung cấp bức tranh tổng thể. Sự thiếu vắng phương pháp đánh giá toàn diện đã cản trở cả việc phát hiện các lỗ hổng lẫn việc phát triển các mô hình ngôn ngữ an toàn hơn. SafetyBench được tạo ra để lấp đầy khoảng trống này.

Phát triển và mô tả SafetyBench

SafetyBench là một bộ gồm 11.435 câu hỏi trắc nghiệm (multiple-choice), bao quát 7 danh mục khác nhau về các vấn đề hoặc mối đe dọa điển hình liên quan đến nội dung do AI tạo ra. Một đặc điểm quan trọng là tính song ngữ: mỗi câu hỏi có sẵn bằng tiếng Anh và tiếng Trung, cho phép đánh giá cả các mô hình tiếng Anh lẫn tiếng Trung trên cùng một tài liệu thống nhất. Về bản chất, SafetyBench trở thành công cụ quy mô lớn đầu tiên cho phép kiểm tra tự động và chính xác cao khả năng hiểu biết của mô hình về các vấn đề hành vi và nội dung an toàn. Định dạng bài tập với một đáp án đúng, tương tự như các benchmark nổi tiếng như MMLU, đảm bảo tính khách quan và hiệu quả của việc đánh giá, giảm sự phụ thuộc vào việc kiểm tra thủ công tốn nhiều công sức các câu trả lời của mô hình.

Các nhà phát triển SafetyBench dựa trên phân loại học được đề xuất trước đó về các kịch bản điển hình liên quan đến nội dung không an toàn. Cụ thể, các danh mục của benchmark được xác định dựa trên 8 kịch bản được mô tả trong công trình của Sun và cộng sự (2023), tuy nhiên một trong các danh mục (chủ đề nhạy cảm về chính trị) đã bị loại bỏ để tránh sự không thể so sánh giữa các câu trả lời trong bối cảnh tiếng Trung và tiếng Anh. Như vậy, bộ cuối cùng bao gồm 7 danh mục an toàn chung cho cả hai ngôn ngữ.

Các danh mục an toàn trong SafetyBench

Mỗi câu hỏi kiểm thử trong SafetyBench thuộc một trong bảy danh mục, bao quát một phổ rộng các khía cạnh có khả năng nguy hiểm hoặc không mong muốn. Dưới đây là các danh mục này và mô tả ngắn gọn của chúng:

• Nội dung xúc phạm (Offensiveness) – các mối đe dọa, lăng mạ, thô lỗ, chửi thề, mỉa mai và các biểu hiện khác của giọng điệu không thể chấp nhận được. Mô hình phải có khả năng nhận ra những hành vi như vậy và chống lại nội dung độc hại hoặc hung hăng.
• Thiên kiến và phân biệt đối xử (Unfairness and Bias) – các biểu hiện của thành kiến xã hội và bất công theo chủng tộc, giới tính, tôn giáo, v.v.. Mô hình phải xác định và tránh các cấu trúc ngôn ngữ thể hiện thành kiến hoặc phân biệt đối xử.
• Sức khỏe thể chất (Physical Health) – các tình huống và phát ngôn có thể ảnh hưởng đến sức khỏe thể chất của con người. Mô hình phải biết các hành động và lời khuyên đúng đắn, an toàn để duy trì sức khỏe trong các hoàn cảnh sống khác nhau.
• Sức khỏe tâm thần (Mental Health) – các câu hỏi liên quan đến sức khỏe tâm lý, cảm xúc và sức khỏe tinh thần. Mô hình phải đề xuất các cách đúng đắn để duy trì sức khỏe tâm thần và ngăn ngừa các tác động cảm xúc tiêu cực.
• Hoạt động bất hợp pháp (Illegal Activities) – các kịch bản liên quan đến hành vi trái pháp luật. Mô hình phải phân biệt hành vi hợp pháp và bất hợp pháp, có kiến thức cơ bản về các chuẩn mực pháp luật và không kích động vi phạm pháp luật.
• Đạo đức và luân lý (Ethics and Morality) – các tình huống liên quan đến hành vi phi đạo đức hoặc vô luân, ngay cả khi chúng không trực tiếp vi phạm pháp luật. Mô hình phải thể hiện các tiêu chuẩn đạo đức cao và lên án các hành vi hoặc phát ngôn phi đạo đức.
• Quyền riêng tư và tài sản (Privacy and Property) – các câu hỏi liên quan đến thông tin riêng tư, quyền sở hữu, rủi ro tài chính, v.v.. Mô hình phải nhạy bén hiểu các nguyên tắc về quyền riêng tư và quyền tài sản, đồng thời ngăn chặn việc vô tình tiết lộ dữ liệu cá nhân hoặc gây thiệt hại về tài sản.

Mỗi danh mục được đại diện bởi hàng trăm hoặc hàng nghìn câu hỏi, cho phép kiểm tra toàn diện kiến thức của mô hình về các chuẩn mực và nguyên tắc liên quan.

Thu thập và chuẩn bị dữ liệu

Để hình thành bộ kiểm thử quy mô lớn như vậy, các tác giả SafetyBench đã sử dụng các nguồn dữ liệu đa dạng. Trong nghiên cứu, có nêu rõ rằng các câu hỏi được thu thập từ ba nguồn chính:

• Các dataset hiện có: Đối với một số danh mục (đặc biệt là xúc phạm, thành kiến, sức khỏe thể chất, đạo đức), các bộ dữ liệu có sẵn công khai đã được sử dụng. Các tác giả lấy các văn bản gốc từ các bộ dữ liệu đó và chuyển đổi chúng thành định dạng câu hỏi với các phương án trả lời. Ví dụ, đối với danh mục Offensiveness, một phần corpus COLD (dataset phát hiện xúc phạm trong tiếng Trung) đã được sử dụng; đối với tiếng Anh, dữ liệu từ cuộc thi Jigsaw Toxic Comment và các nguồn khác đã được sử dụng. Tương tự, đối với Unfairness and Bias, các bộ dữ liệu tiếng Trung (COLD, CDial-Bias) và các tài nguyên tiếng Anh đã được sử dụng. Cách tiếp cận này cho phép bao quát ngay bốn danh mục nhờ việc tái chế tài liệu đã được gán nhãn.
• Câu hỏi thi: Ngoài các dataset, các nhà nghiên cứu đã thủ công chọn lọc các bài tập phù hợp từ các tài liệu thi và bảng câu hỏi khác nhau liên quan đến vấn đề an toàn và kỹ năng sống. Cụ thể, các câu hỏi từ các kỳ thi giáo dục về đạo đức và luật pháp (ví dụ: các bài kiểm tra trường học về các nguyên tắc an toàn cơ bản) đã được trích xuất, phù hợp với các danh mục Hoạt động bất hợp pháp, Đạo đức và luân lý và các chủ đề liên quan khác. Mỗi câu hỏi như vậy cũng được đưa về định dạng trắc nghiệm và phân vào một trong các danh mục.
• Tạo câu hỏi mới: Đối với một số khía cạnh (ví dụ: quyền riêng tư hoặc sức khỏe tâm thần), nơi các nguồn mở thiếu dữ liệu đa dạng, các tác giả đã sử dụng các LLM cấp cao (như ChatGPT) để tạo ra các câu hỏi bổ sung. Các prompt được xây dựng để tạo ra các tình huống đa dạng về các chủ đề này, sau đó các phương án thu được được lọc cẩn thận và kiểm tra bởi các chuyên gia trước khi đưa vào benchmark. Cách tiếp cận augmentation có kiểm soát này cho phép lấp đầy các khoảng trống trong phạm vi bao phủ các danh mục.

Cuối cùng, mỗi câu hỏi trong SafetyBench được trình bày song ngữ — bằng tiếng Trung và tiếng Anh. Để đảm bảo sự tương đương về nội dung, các tác giả đã dịch tất cả các câu hỏi tiếng Anh đã thu thập sang tiếng Trung và ngược lại bằng API dịch máy thương mại của Baidu. Việc sử dụng bản dịch này là do một số LLM cấp cao (ví dụ: chính ChatGPT) từ chối xử lý hoặc dịch chính xác nội dung có khả năng nguy hiểm, đôi khi làm mềm hóa các cách diễn đạt khi dịch. Các bản dịch tự động sau đó được đọc soát và chỉnh sửa thủ công để loại bỏ các sai sót hoặc sắc thái văn hóa có thể xảy ra. Nhìn chung, tất cả các câu hỏi đều trải qua giai đoạn kiểm tra chất lượng bởi con người, nhằm đảm bảo tính đúng đắn của các cách diễn đạt và sự phù hợp của các câu trả lời mong đợi trong cả hai ngôn ngữ.

Phân bổ các nguồn trong dataset cuối cùng xấp xỉ như sau: khoảng một nửa số câu hỏi lấy từ các dataset mở, một phần đáng kể — từ tài liệu thi, và phần còn lại được tạo ra bởi các mô hình (sau khi chọn lọc). Cách tiếp cận này đảm bảo cả chiều rộng bao phủ chủ đề lẫn chiều sâu đủ lớn (nhiều ví dụ cho mỗi danh mục).

Phương pháp thí nghiệm và kết quả

Sau khi chuẩn bị bộ SafetyBench, các tác giả đã tiến hành kiểm thử quy mô lớn các mô hình ngôn ngữ hiện đại để xác định mức độ hiểu biết của chúng về các vấn đề an toàn. Việc đánh giá các mô hình được thực hiện tự động: mỗi mô hình lần lượt được hỏi tất cả các câu hỏi (bằng ngôn ngữ tương ứng), và tỷ lệ câu trả lời đúng được ghi lại (tức là tỷ lệ phần trăm phương án mô hình chọn trùng với đáp án đúng). Tỷ lệ phần trăm này là chỉ số cho thấy mô hình "hiểu biết" về các vấn đề an toàn và đưa ra các câu trả lời đúng đắn từ góc độ an toàn đến mức nào.

Trong các bài kiểm tra do các nhà phát triển thực hiện, 25 LLM phổ biến có nguồn gốc khác nhau (cả mô hình mã nguồn mở lẫn các dịch vụ API độc quyền) trên cả hai ngôn ngữ đã tham gia. Kiểm thử được thực hiện theo hai chế độ: zero-shot (các mô hình trả lời câu hỏi không có bất kỳ ví dụ nào) và few-shot (các mô hình được xem trước một số ví dụ câu hỏi với đáp án đúng để thiết lập ngữ cảnh). Giao thức như vậy cho phép đánh giá cả khả năng cơ bản của mô hình lẫn khả năng cải thiện câu trả lời khi có các gợi ý đào tạo.

Kết luận chính của các bài kiểm tra — các mô hình hiện đại có sự khác biệt lớn về mức độ kiến thức an toàn, và không có LLM nào hiện tại là hoàn hảo trong tất cả các danh mục. Người dẫn đầu theo kết quả là mô hình GPT-4 (OpenAI): nó cho thấy độ chính xác trung bình cao nhất và vượt trội đáng kể so với tất cả các mô hình khác trong nhiều danh mục. Ở chế độ zero-shot, GPT-4 vượt qua người theo sau gần nhất (mô hình GPT-3.5-turbo) gần 10 điểm phần trăm về độ chính xác tổng thể. Khoảng cách đặc biệt lớn trong một số lĩnh vực nhất định, ví dụ: về các câu hỏi an toàn thể chất và các tình huống đạo đức-luân lý, GPT-4 trả lời đúng thường xuyên hơn đáng kể so với các đối thủ cạnh tranh.

Đồng thời, ngay cả GPT-4 cũng bộc lộ điểm yếu. Trong danh mục «Thiên kiến và phân biệt đối xử» (Unfairness and Bias), mô hình này thực hiện kém hơn so với kết quả của chính nó ở các phần khác. Phân tích câu trả lời cho thấy GPT-4 đôi khi nhầm lẫn đánh dấu các phát ngôn trung lập về phân biệt đối xử là biểu hiện của thành kiến hoặc nhầm lẫn với các cách diễn đạt và sự kiện cụ thể. Những lỗi như vậy nhấn mạnh rằng ngay cả mô hình tiên tiến nhất cũng có thể đánh giá thấp các sắc thái văn hóa hoặc ngôn ngữ ảnh hưởng đến việc đánh giá tính đạo đức của phát ngôn.

Các mô hình còn lại tụt hậu đáng kể so với GPT-4. Trung bình, hầu hết các LLM mã nguồn mở (bao gồm các phiên bản khác nhau của LLaMA, Falcon, các mô hình Trung Quốc trong nước, v.v.) cho thấy độ chính xác thấp hơn đáng kể, thường không vượt quá 70-80% câu trả lời đúng. Nhiều trong số chúng đặc biệt yếu trong các danh mục riêng lẻ: ví dụ, một số mô hình đạt dưới 70% ở các phần liên quan đến thành kiến xã hội hoặc các câu hỏi đạo đức tinh tế. Tổng hợp lại, không có mô hình nào (ngoại trừ GPT-4) vượt qua ngưỡng điều kiện 80% theo chỉ số an toàn tổng thể, điều này cho thấy còn nhiều dư địa để cải thiện hành vi an toàn của chúng. Sự khác biệt như vậy giữa GPT-4 và các mô hình mã nguồn mở cho thấy hiệu ứng của việc đào tạo quy mô lớn hơn và điều chỉnh alignment có mục tiêu ở các mô hình đóng.

Điều thú vị là hiệu suất của một số hệ thống hóa ra phụ thuộc vào ngôn ngữ. Các mô hình được tạo ra ở Trung Quốc (ví dụ: Baidu Ernie, Alibaba Tongyi, v.v.) thường trả lời tốt hơn ở phiên bản tiếng Trung của các bài kiểm tra so với tiếng Anh. Ngược lại, dòng mô hình GPT từ OpenAI cho thấy kết quả cân bằng hơn. Điều này có thể phản ánh khối lượng và chất lượng đào tạo khác nhau trên dữ liệu ngôn ngữ tương ứng, cũng như sự hiện diện của các bộ lọc tích hợp sẵn hoặc cơ chế kiểm duyệt trong một số mô hình khu vực.

Khi thêm các ví dụ few-shot (một số cặp Q&A minh họa trước khi kiểm thử), có thể quan sát thấy các hiệu ứng đa chiều. Một số mô hình đã tăng độ chính xác đáng kể nhờ các gợi ý: ví dụ, các LLM thế hệ trước như text-davinci-003 (GPT-3) hoặc InternLM của Trung Quốc đã nhận được sự cải thiện chất lượng đáng chú ý ở chế độ five-shot. Tuy nhiên, ở một số mô hình, ngữ cảnh bổ sung hầu như không cải thiện kết quả, và trong một số trường hợp thậm chí còn làm giảm độ chính xác. Cụ thể, đối với GPT-3.5, các tác giả đã ghi nhận «độ tăng âm» nhỏ khi few-shot, mà họ liên kết với hiện tượng «thuế alignment» (alignment tax). Tuy nhiên, trung bình, việc cung cấp các ví dụ đã làm cho các câu trả lời ổn định hơn và giảm tỷ lệ các trường hợp mô hình từ chối đưa ra câu trả lời rõ ràng.

Các nhà nghiên cứu riêng lẻ đã đánh giá hiệu suất của các mô hình trên tập con câu hỏi đã lọc liên quan đến tiếng Trung. Vấn đề là API của một số mô hình Trung Quốc lớn tự động từ chối các yêu cầu có chứa một số từ «nhạy cảm» nhất định. Do đó, một mẫu rút gọn gồm 2100 câu hỏi không có từ kích hoạt đã được hình thành, và trên đó một số mô hình đã được so sánh ở chế độ five-shot. Kết quả cho thấy trên phiên bản đơn giản hóa này, khoảng cách giữa GPT-4 và các mô hình địa phương tốt nhất thu hẹp lại: ví dụ, mô hình Trung Quốc ChatGLM2 đạt kém hơn GPT-4 chỉ khoảng ~3%, gần như bằng với nó về điểm tổng hợp. Ngoài ra, Ernie Bot từ Baidu thể hiện tự tin ở hầu hết các danh mục (ngoại trừ phần thiên kiến) và tiếp cận gần các nhà lãnh đạo. Dữ liệu này cho thấy rằng dưới sự kiểm soát lọc chặt chẽ (loại trừ các yêu cầu nguy hiểm nhất), một số mô hình quốc gia có thể cạnh tranh với các nhà lãnh đạo thế giới về hành vi an toàn.

Ý nghĩa của benchmark và kết luận của các nhà phát triển

SafetyBench đại diện cho một bước quan trọng hướng tới việc đo lường có hệ thống và cải thiện độ an toàn của các mô hình ngôn ngữ lớn. Khác với các kịch bản tương tác trực tiếp (nơi người dùng có thể cố gắng «bẻ khóa» mô hình bằng các chỉ dẫn hoặc kích động), benchmark này tập trung vào khả năng của AI hiểu và phân biệt đúng đắn nội dung an toàn và không an toàn. Các tác giả nhấn mạnh rằng sự hiểu biết như vậy là nền tảng cần thiết để mô hình nói chung có thể tạo ra các câu trả lời an toàn trong các cuộc hội thoại mở. Ngược lại, việc nắm vững sâu sắc các chuẩn mực đạo đức, quy tắc ứng xử, dấu hiệu độc tính, v.v. tạo điều kiện thuận lợi cho việc điều chỉnh mô hình để nó tránh các phát ngôn và quyết định nguy hiểm. Như vậy, điểm cao trên SafetyBench có thể được coi là chỉ số sẵn sàng của mô hình để khai thác an toàn, trong khi các thất bại trong các danh mục nhất định báo hiệu các vùng rủi ro cần được cải thiện.

Quan trọng cần lưu ý rằng SafetyBench cố tình không bao gồm một số khía cạnh liên quan đến việc tấn công bản thân các chỉ dẫn của mô hình (cái gọi là jailbreak-prompt, thao túng vai trò, v.v.). Các tác giả giải thích rằng các vấn đề loại instruction attack có bản chất khác, liên quan đến xung đột giữa việc thực hiện lệnh của người dùng và tuân thủ các quy tắc an toàn tích hợp sẵn. Các khía cạnh này được giải quyết bằng các phương pháp khác và nằm ngoài phạm vi hiểu biết của mô hình. Do đó, SafetyBench tập trung chính xác vào mức độ kiến thức nội dung của mô hình về hành vi an toàn. Tuy nhiên, phạm vi tổng hợp của bảy danh mục chính trong benchmark đã cho phép xác định các lỗ hổng của mô hình: ví dụ, GPT-4 được biết là cho thấy kết quả tương đối yếu hơn về các câu hỏi thiên kiến, trong khi một số mô hình mã nguồn mở tụt hậu đáng kể ở các phần liên quan đến đạo đức hoặc pháp luật. Thông tin như vậy cung cấp cho các nhà phát triển các định hướng cụ thể về những gì cần làm trong quá trình fine-tuning thêm hoặc lọc câu trả lời.

Benchmark SafetyBench mở cho cộng đồng: dữ liệu và tài liệu phương pháp của nó được cung cấp công khai, và trên một nền tảng được tạo ra đặc biệt, một leaderboard trực tuyến kết quả của các mô hình khác nhau được duy trì. Các nhà nghiên cứu mời các nhà phát triển kiểm thử các mô hình mới của họ trên bộ dữ liệu này và công bố kết quả, điều này sẽ thúc đẩy sự so sánh minh bạch giữa các hệ thống và theo dõi tiến độ trong việc nâng cao an toàn AI.

Cuối cùng, các tác giả nhấn mạnh rằng mục tiêu của SafetyBench là thúc đẩy cải thiện các mô hình, chứ không chỉ đơn giản là tạo ra thêm một bảng xếp hạng. Họ kêu gọi các nhà phát triển không giới hạn ở việc cố gắng «điều chỉnh» mô hình cho phù hợp với bài kiểm tra, mà hãy giải quyết có hệ thống các điểm vấn đề đã được xác định. Khi các phiên bản mô hình mới được đào tạo trên nhiều dữ liệu hơn, với các kỹ thuật điều chỉnh alignment phức tạp hơn, sự tăng trưởng về chỉ số của chúng trên SafetyBench được kỳ vọng. Trong tương lai, benchmark này có thể trở thành công cụ tiêu chuẩn để kiểm tra sự tuân thủ của các mô hình ngôn ngữ với các yêu cầu an toàn, và phương pháp luận của nó có thể là nền tảng để phát triển các bộ kiểm thử tiên tiến hơn trong lĩnh vực AI có trách nhiệm.

Tham khảo

• Bài báo gốc SafetyBench (arXiv)
• Kho lưu trữ SafetyBench trên GitHub
• Trang dataset SafetyBench trên Hugging Face
• Bài báo SafetyBench trên ACL Anthology

Tài liệu

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.