SafetyBench (DE)

SafetyBench ist der erste umfassende Benchmark zur ganzheitlichen Bewertung der Sicherheit großer Sprachmodelle (Large Language Models, LLMs). Er wurde von einer Forschungsgruppe der Tsinghua-Universität entwickelt und im Jahr 2023 vorgestellt.

Mit der Entwicklung von LLMs (beispielsweise durch das Aufkommen von ChatGPT) und ihrer zunehmenden Verbreitung rückten auch die Sicherheitsprobleme solcher Systeme stärker in den Fokus. Studien haben gezeigt, dass dialogorientierte Modelle private Informationen von Nutzern preisgeben oder toxische Äußerungen generieren können. Daher ist die Bewertung der Sicherheit von LLMs zu einer entscheidenden Aufgabe für ihren zuverlässigen praktischen Einsatz geworden. Bis vor kurzem fehlten jedoch umfassende Benchmarks (Testdatensätze), die alle wesentlichen Aspekte der Modellsicherheit abdecken. Vorhandene Datensätze prüften nur einzelne Bereiche (wie Toxizität oder soziale Vorurteile) und lieferten kein Gesamtbild. Das Fehlen einer ganzheitlichen Bewertungsmethode erschwerte sowohl die Identifizierung von Schwachstellen als auch die Entwicklung sichererer Sprachmodelle. SafetyBench wurde entwickelt, um diese Lücke zu schließen.

Entwicklung und Beschreibung von SafetyBench

SafetyBench besteht aus einem Satz von 11.435 Multiple-Choice-Fragen, die 7 verschiedene Kategorien typischer Probleme oder Bedrohungen im Zusammenhang mit KI-generierten Inhalten abdecken. Ein wesentliches Merkmal ist die Zweisprachigkeit: Jede Frage ist sowohl auf Englisch als auch auf Chinesisch verfügbar, was eine einheitliche Bewertung von englisch- und chinesischsprachigen Modellen ermöglicht. Im Grunde wurde SafetyBench zum ersten umfangreichen Werkzeug, das es erlaubt, das Verständnis eines Modells für Fragen zu sicherem Verhalten und sicheren Inhalten automatisch und mit hoher Präzision zu testen. Das Aufgabenformat mit einer einzigen korrekten Antwort, ähnlich bekannten Benchmarks wie MMLU, gewährleistet Objektivität und Effizienz bei der Bewertung und verringert die Abhängigkeit von aufwändiger manueller Überprüfung der Modellantworten.

Die Entwickler von SafetyBench stützten sich auf eine zuvor vorgeschlagene Taxonomie typischer Szenarien im Zusammenhang mit unsicheren Inhalten. Insbesondere wurden die Kategorien des Benchmarks auf der Grundlage von acht Szenarien aus der Arbeit von Sun et al. (2023) definiert. Eine dieser Kategorien (politisch sensible Themen) wurde jedoch ausgeschlossen, um eine mangelnde Vergleichbarkeit der Antworten im chinesischen und englischen Kontext zu vermeiden. Der endgültige Datensatz umfasst somit sieben Sicherheitskategorien, die für beide Sprachen relevant sind.

Sicherheitskategorien in SafetyBench

Jede Testfrage in SafetyBench gehört zu einer von sieben Kategorien, die ein breites Spektrum potenziell gefährlicher oder unerwünschter Aspekte abdecken. Nachfolgend sind diese Kategorien und ihre Kurzbeschreibungen aufgeführt:

• Beleidigende Inhalte (Offensiveness) – Bedrohungen, Beleidigungen, Unhöflichkeit, Obszönität, Sarkasmus und andere Formen eines unangemessenen Tons. Das Modell muss in der Lage sein, solche Äußerungen zu erkennen und toxischen oder aggressiven Inhalten entgegenzuwirken.
• Ungerechtigkeit und Voreingenommenheit (Unfairness and Bias) – Äußerungen sozialer Voreingenommenheit (Bias) und Ungerechtigkeit aufgrund von Merkmalen wie Ethnie, Geschlecht, Religion usw. Das Modell muss sprachliche Konstruktionen, die Vorurteile oder Diskriminierung zum Ausdruck bringen, identifizieren und vermeiden.
• Körperliche Gesundheit (Physical Health) – Situationen und Aussagen, die die körperliche Gesundheit einer Person beeinträchtigen können. Das Modell muss korrekte, sichere Handlungen und Ratschläge zur Erhaltung der Gesundheit in verschiedenen Lebenslagen kennen.
• Psychische Gesundheit (Mental Health) – Fragen im Zusammenhang mit psychischem Wohlbefinden, Emotionen und mentaler Gesundheit. Das Modell muss geeignete Methoden zur Förderung der psychischen Gesundheit und zur Vermeidung negativer emotionaler Einflüsse vorschlagen.
• Illegale Aktivitäten (Illegal Activities) – Szenarien, die rechtswidrige Handlungen beinhalten. Das Modell muss zwischen legalem und illegalem Verhalten unterscheiden, über Grundkenntnisse von Rechtsnormen verfügen und darf nicht zu Gesetzesverstößen anstiften.
• Ethik und Moral (Ethics and Morality) – Situationen, die unethisches oder unmoralisches Verhalten betreffen, auch wenn es nicht direkt unter das Gesetz fällt. Das Modell muss hohe ethische Standards zeigen und unethische Handlungen oder Äußerungen verurteilen.
• Datenschutz und Eigentum (Privacy and Property) – Fragen zu privaten Informationen, Eigentumsrechten, finanziellen Risiken usw. Das Modell muss die Grundsätze des Datenschutzes und der Eigentumsrechte sensibel verstehen und die unbeabsichtigte Offenlegung persönlicher Daten oder die Verursachung von Sachschäden verhindern.

Jede Kategorie ist durch Hunderte oder Tausende von Fragen vertreten, was eine umfassende Überprüfung des Wissens des Modells über die entsprechenden Normen und Prinzipien ermöglicht.

Datenerhebung und -aufbereitung

Zur Erstellung dieses umfangreichen Testdatensatzes griffen die Autoren von SafetyBench auf verschiedene Datenquellen zurück. In der Studie wird angegeben, dass die Fragen aus drei Hauptquellen gesammelt wurden:

• Bestehende Datensätze: Für eine Reihe von Kategorien (insbesondere Beleidigungen, Vorurteile, körperliche Gesundheit, Ethik) wurden öffentlich zugängliche Datensätze verwendet. Die Autoren übernahmen die Originaltexte aus diesen Datensätzen und wandelten sie in das Format von Multiple-Choice-Fragen um. Beispielsweise wurde für die Kategorie „Offensiveness“ teilweise der COLD-Korpus (ein Datensatz zur Erkennung von Beleidigungen in der chinesischen Sprache) verwendet; für die englische Sprache wurden Daten aus dem Jigsaw Toxic Comment Wettbewerb und anderen Quellen herangezogen. In ähnlicher Weise wurden für „Unfairness and Bias“ chinesische Datensätze (COLD, CDial-Bias) und englischsprachige Ressourcen genutzt. Dieser Ansatz ermöglichte es, vier Kategorien durch die Wiederverwendung bereits annotierten Materials abzudecken.
• Prüfungsfragen: Neben Datensätzen wählten die Forscher manuell geeignete Aufgaben aus verschiedenen Prüfungsmaterialien und Fragebögen aus, die sich mit Sicherheitsfragen und Lebenskompetenzen befassen. Insbesondere wurden Fragen aus schulischen Prüfungen zu Ethik und Recht (z. B. Schultests zu Sicherheitsgrundlagen) extrahiert, die den Kategorien „Illegale Aktivitäten“, „Ethik und Moral“ und anderen verwandten Themen entsprechen. Jede dieser Fragen wurde ebenfalls in das Multiple-Choice-Format gebracht und einer der Kategorien zugeordnet.
• Generierung neuer Fragen: Für einige Aspekte (z. B. Datenschutz oder psychische Gesundheit), für die in offenen Quellen nicht genügend vielfältige Daten vorhanden waren, griffen die Autoren auf die Generierung zusätzlicher Fragen mithilfe hoch entwickelter Sprachmodelle (wie ChatGPT) zurück. Es wurden Prompts formuliert, um vielfältige Situationen zu diesen Themen zu erstellen, woraufhin die erhaltenen Varianten sorgfältig gefiltert und von Experten überprüft wurden, bevor sie in den Benchmark aufgenommen wurden. Dieser kontrollierte, erweiterte Ansatz ermöglichte es, Lücken in der Abdeckung der Kategorien zu schließen.

Letztendlich wurde jede Frage in SafetyBench zweisprachig – auf Chinesisch und Englisch – präsentiert. Um die inhaltliche Äquivalenz sicherzustellen, übersetzten die Autoren alle gesammelten englischen Fragen ins Chinesische und umgekehrt mithilfe der kommerziellen maschinellen Übersetzungs-API von Baidu. Die Verwendung dieser Übersetzung war notwendig, da einige hochentwickelte LLMs (wie ChatGPT selbst) sich weigerten, potenziell gefährliche Inhalte zu verarbeiten oder präzise zu übersetzen, und manchmal die Formulierungen bei der Übersetzung abschwächten. Die automatischen Übersetzungen wurden anschließend manuell Korrektur gelesen und angepasst, um mögliche Ungenauigkeiten oder kulturelle Nuancen zu beseitigen. Insgesamt durchliefen alle Fragen eine menschliche Qualitätsprüfung, um die Korrektheit der Formulierungen und die Übereinstimmung der erwarteten Antworten in beiden Sprachen zu gewährleisten.

Die Verteilung der Quellen im endgültigen Datensatz ist ungefähr wie folgt: Etwa die Hälfte der Fragen stammt aus offenen Datensätzen, ein erheblicher Teil aus Prüfungsmaterialien und der verbleibende Teil wurde von Modellen generiert (nach Auswahl). Dieser Ansatz gewährleistete sowohl eine breite thematische Abdeckung als auch eine ausreichende Tiefe (viele Beispiele für jede Kategorie).

Experimentelle Methodik und Ergebnisse

Nach der Erstellung des SafetyBench-Datensatzes führten die Autoren umfangreiche Tests mit modernen Sprachmodellen durch, um deren Verständnis von Sicherheitsfragen zu ermitteln. Die Bewertung der Modelle erfolgt automatisch: Jedem Modell werden nacheinander alle Fragen (in der entsprechenden Sprache) gestellt, und der Anteil der richtigen Antworten wird erfasst (d. h. der Prozentsatz der Übereinstimmung der vom Modell gewählten Option mit der korrekten Antwort). Dieser Prozentsatz dient als Indikator dafür, wie gut das Modell Sicherheitsprobleme „versteht“ und aus Sicherheitssicht korrekte Antworten gibt.

An den von den Entwicklern durchgeführten Tests nahmen 25 beliebte LLMs unterschiedlicher Herkunft (sowohl Open-Source-Modelle als auch proprietäre API-Dienste) in beiden Sprachen teil. Die Tests wurden in zwei Modi durchgeführt: Zero-Shot (Modelle beantworten die Fragen ohne Beispiele) und Few-Shot (den Modellen werden vorab einige Beispielfragen mit korrekten Antworten gezeigt, um einen Kontext zu schaffen). Ein solches Protokoll ermöglicht die Bewertung sowohl der grundlegenden Fähigkeiten des Modells als auch seiner Fähigkeit, die Antworten bei Vorhandensein von Lernhinweisen zu verbessern.

Die wichtigste Schlussfolgerung der Tests lautet: Moderne Modelle unterscheiden sich stark in ihrem Sicherheitswissen, und kein verfügbares LLM ist bisher in allen Kategorien fehlerfrei. Als führendes Modell erwies sich GPT-4 (OpenAI): Es zeigte die höchste durchschnittliche Genauigkeit und übertraf alle anderen Modelle in vielen Kategorien erheblich. Im Zero-Shot-Modus übertraf GPT-4 den nächstbesten Verfolger (das Modell GPT-3.5-turbo) in der Gesamtgenauigkeit um fast 10 Prozentpunkte. Der Unterschied ist in bestimmten Bereichen besonders groß; so beantwortete GPT-4 beispielsweise Fragen zur physischen Sicherheit und zu moralisch-ethischen Dilemmata deutlich häufiger richtig als seine Konkurrenten.

Gleichzeitig wurden selbst bei GPT-4 Schwachstellen festgestellt. In der Kategorie „Ungerechtigkeit und Voreingenommenheit“ (Unfairness and Bias) schnitt dieses Modell im Vergleich zu seinen eigenen Ergebnissen in anderen Abschnitten schlechter ab. Die Analyse der Antworten zeigte, dass GPT-4 manchmal neutrale Aussagen über Diskriminierung fälschlicherweise als Ausdruck von Voreingenommenheit kennzeichnet oder bei spezifischen Ausdrücken und Ereignissen durcheinander kommt. Solche Fehler unterstreichen, dass selbst das fortschrittlichste Modell kulturelle oder sprachliche Nuancen, die die ethische Bewertung einer Aussage beeinflussen, unterschätzen kann.

Die übrigen Modelle blieben deutlich hinter GPT-4 zurück. Im Durchschnitt zeigten die meisten Open-Source-LLMs (einschließlich verschiedener Versionen von LLaMA, Falcon, chinesischen Modellen usw.) eine wesentlich geringere Genauigkeit, die oft nicht über 70–80 % korrekter Antworten hinauskam. Viele von ihnen schnitten in einzelnen Kategorien besonders schwach ab: So erreichten einige Modelle in den Bereichen soziale Vorurteile oder subtile ethische Fragen weniger als 70 %. Insgesamt überschritt kein Modell (außer GPT-4) die symbolische Schwelle von 80 % in der Gesamtsicherheitsbewertung, was auf einen großen Spielraum für weitere Verbesserungen ihres sicheren Verhaltens hindeutet. Dieser Unterschied zwischen GPT-4 und den Open-Source-Modellen deutet auf den Effekt eines umfangreicheren Trainings und einer gezielteren Alignment-Anpassung bei den geschlossenen Modellen hin.

Interessanterweise erwies sich die Leistung einiger Systeme als sprachabhängig. In China entwickelte Modelle (z. B. Baidu Ernie, Alibaba Tongyi usw.) schnitten bei der chinesischen Version der Tests tendenziell besser ab als bei der englischen. Im Gegensatz dazu zeigte die GPT-Modellfamilie von OpenAI ausgewogenere Ergebnisse. Dies könnte unterschiedliche Mengen und Qualitäten der Trainingsdaten in den jeweiligen Sprachen sowie das Vorhandensein integrierter Filter oder Zensurmechanismen in einigen regionalen Modellen widerspiegeln.

Bei der Hinzufügung von Few-Shot-Beispielen (einigen Demonstrations-Q&A vor dem Test) wurden unterschiedliche Effekte beobachtet. Einige Modelle konnten ihre Genauigkeit dank der Hinweise deutlich steigern: So verzeichneten große Sprachmodelle der vorherigen Generation wie text-davinci-003 (GPT-3) oder das chinesische InternLM einen spürbaren Qualitätszuwachs im Fünf-Shot-Modus. Bei einer Reihe von Modellen verbesserte der zusätzliche Kontext das Ergebnis jedoch kaum, und in einigen Fällen verringerte er sogar die Genauigkeit. Insbesondere für GPT-3.5 stellten die Autoren einen leichten „negativen Zuwachs“ im Few-Shot-Modus fest, was sie auf das Phänomen der „Alignment-Steuer“ (alignment tax) zurückführen. Im Durchschnitt machte die Bereitstellung von Beispielen die Antworten jedoch stabiler und verringerte die Anzahl der Fälle, in denen das Modell eine klare Antwort verweigerte.

Zusätzlich bewerteten die Forscher die Leistung der Modelle auf einer gefilterten Teilmenge von Fragen, die sich auf die chinesische Sprache bezogen. Der Grund dafür ist, dass die APIs einiger großer chinesischer Modelle Anfragen mit bestimmten „sensiblen“ Wörtern automatisch ablehnen. Daher wurde eine reduzierte Stichprobe von 2100 Fragen ohne solche Triggerwörter erstellt, und darauf wurden einige Modelle im Fünf-Shot-Modus verglichen. Die Ergebnisse zeigten, dass sich auf dieser vereinfachten Version der Abstand zwischen GPT-4 und den besten lokalen Modellen verringert: So schnitt das chinesische Modell ChatGLM2 nur ~3 % schlechter ab als GPT-4 und erreichte fast die gleiche Gesamtpunktzahl. Auch der Ernie Bot von Baidu zeigte in den meisten Kategorien (außer im Bereich Voreingenommenheit) eine starke Leistung und näherte sich den Spitzenreitern an. Diese Daten deuten darauf hin, dass unter strenger Filterkontrolle (d. h. nach Ausschluss der riskantesten Anfragen) einige nationale Modelle in Bezug auf sicheres Verhalten mit den weltweit führenden Modellen konkurrieren können.

Bedeutung des Benchmarks und Schlussfolgerungen der Entwickler

SafetyBench stellt einen wichtigen Schritt zur systematischen Messung und Verbesserung der Sicherheit großer Sprachmodelle dar. Im Gegensatz zu Szenarien der direkten Interaktion (bei denen Benutzer versuchen könnten, das Modell mit Anweisungen oder Provokationen zu „knacken“), konzentriert sich dieser Benchmark auf die Fähigkeit der KI, sichere und unsichere Inhalte korrekt zu verstehen und zu unterscheiden. Die Autoren betonen, dass ein solches Verständnis die notwendige Grundlage dafür ist, dass ein Modell überhaupt sichere Antworten in offenen Dialogen generieren kann. Ein tiefes Verständnis von moralischen Normen, Verhaltensregeln, Anzeichen von Toxizität usw. erleichtert die Anpassung des Modells, um gefährliche Äußerungen und Entscheidungen zu vermeiden. Daher können hohe Werte bei SafetyBench als Indikator für die Bereitschaft eines Modells zum sicheren Einsatz betrachtet werden, während Schwächen in bestimmten Kategorien auf Risikobereiche hinweisen, die einer Überarbeitung bedürfen.

Wichtig ist, dass SafetyBench bewusst einige Aspekte im Zusammenhang mit Angriffen auf die Anweisungen des Modells selbst ausschließt (sogenannte Jailbreak-Prompts, Rollenmanipulation usw.). Die Autoren erklären, dass Probleme wie „Instruction Attacks“ eine andere Natur haben, die mit dem Konflikt zwischen der Ausführung eines Benutzerbefehls und der Einhaltung interner Sicherheitsregeln zusammenhängt. Diese Aspekte werden mit anderen Methoden behandelt und gehen über das Verständnisvermögen des Modells hinaus. Daher konzentriert sich SafetyBench ausschließlich auf das inhaltliche Wissen des Modells über sicheres Verhalten. Dennoch ermöglicht die umfassende Abdeckung von sieben Schlüsselkategorien im Benchmark bereits jetzt, Schwachstellen in Modellen zu identifizieren: So ist beispielsweise bekannt, dass GPT-4 bei Fragen zur Voreingenommenheit relativ schwächer abschneidet, während einige Open-Source-Modelle in den Bereichen Moral oder Recht stark zurückbleiben. Solche Informationen geben den Entwicklern konkrete Anhaltspunkte, woran bei der weiteren Feinabstimmung oder Filterung der Antworten gearbeitet werden muss.

Der Benchmark SafetyBench ist für die Community offen zugänglich: Seine Daten und methodischen Materialien sind frei verfügbar, und auf einer eigens eingerichteten Plattform wird ein Online-Leaderboard mit den Ergebnissen verschiedener Modelle gepflegt. Die Forscher laden Entwickler ein, ihre neuen Modelle mit diesem Datensatz zu testen und die Ergebnisse zu veröffentlichen, was zu einem transparenten Vergleich der Systeme und zur Verfolgung des Fortschritts bei der Verbesserung der KI-Sicherheit beitragen wird.

Schließlich betonen die Autoren, dass das Ziel von SafetyBench darin besteht, die Verbesserung der Modelle zu fördern und nicht nur eine weitere Rangliste zu erstellen. Sie fordern die Entwickler auf, sich nicht darauf zu beschränken, das Modell an den Test „anzupassen“, sondern die aufgedeckten Problembereiche systematisch zu beheben. Da neue Modellversionen mit mehr Daten und komplexeren Alignment-Techniken trainiert werden, wird erwartet, dass auch ihre Leistung bei SafetyBench steigt. Zukünftig könnte dieser Benchmark zu einem Standardinstrument für die Überprüfung der Konformität von Sprachmodellen mit Sicherheitsanforderungen werden, und seine Methodik könnte als Grundlage für die Entwicklung noch fortschrittlicherer Testdatensätze im Bereich der verantwortungsvollen KI dienen.

Weblinks

• Originalartikel zu SafetyBench (arXiv)
• SafetyBench-Repository auf GitHub
• SafetyBench-Datensatzseite auf Hugging Face
• SafetyBench-Artikel in der ACL Anthology

Literatur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.