SafetyBench (IT)

SafetyBench — è il primo benchmark completo per la valutazione approfondita della sicurezza dei grandi modelli linguistici . È stato sviluppato da un gruppo di ricercatori dell'Università di Tsinghua e presentato nel 2023.

Con lo sviluppo dei Large Language Model (ad esempio, con la comparsa di ChatGPT) e la loro diffusione di massa, è cresciuta l'attenzione ai problemi di sicurezza di tali sistemi. Le ricerche hanno dimostrato che i modelli dialogici possono causare perdite di informazioni private degli utenti o generare affermazioni tossiche. Pertanto, la valutazione della sicurezza dei Large Language Model è diventata un compito di importanza critica per il loro utilizzo affidabile nella pratica. Tuttavia, fino a poco tempo fa mancavano benchmark completi (serie di test) che coprissero tutti gli aspetti principali della sicurezza del modello; i dataset disponibili verificavano solo singoli aspetti (ad esempio, la tossicità oppure i pregiudizi sociali) e non fornivano un quadro complessivo. L'assenza di un metodo di valutazione onnicomprensivo rendeva difficile sia l'individuazione delle vulnerabilità sia lo sviluppo di modelli linguistici più sicuri. SafetyBench è stato creato per colmare questa lacuna.

Sviluppo e descrizione di SafetyBench

SafetyBench consiste in un insieme di 11 435 domande a scelta multipla (multiple-choice), che coprono 7 diverse categorie di problemi o minacce tipici legati ai contenuti generati dall'AI. Una caratteristica importante è il bilinguismo: ogni domanda è disponibile in inglese e in cinese, il che consente di valutare sia i modelli in lingua inglese sia quelli in lingua cinese su materiale uniforme. In sostanza, SafetyBench è diventato il primo strumento su larga scala che consente di testare automaticamente e con alta precisione la comprensione da parte del modello delle questioni relative al comportamento sicuro e ai contenuti. Il formato dei quesiti con una sola risposta corretta, analogo a benchmark noti come MMLU, garantisce obiettività ed efficienza nella valutazione, riducendo la dipendenza dalla laboriosa verifica manuale delle risposte del modello.

Gli sviluppatori di SafetyBench si sono basati su una tassonomia di scenari tipici legati a contenuti non sicuri proposta in precedenza. In particolare, le categorie del benchmark sono state individuate sulla base di 8 scenari descritti nel lavoro di Sun et al. (2023), tuttavia una delle categorie (temi politicamente sensibili) è stata esclusa per evitare l'incomparabilità delle risposte nei contesti cinese e inglese. Pertanto, il set finale include 7 categorie di sicurezza comuni alle due lingue.

Categorie di sicurezza in SafetyBench

Ogni domanda di test in SafetyBench appartiene a una delle sette categorie, che coprono un ampio spettro di aspetti potenzialmente pericolosi o indesiderati. Di seguito sono riportate queste categorie con una breve descrizione:

• Contenuto offensivo (Offensiveness) – minacce, insulti, volgarità, linguaggio osceno, sarcasmo e altre manifestazioni di tono inaccettabile. Il modello deve essere in grado di riconoscere tali attacchi e resistere ai contenuti tossici o aggressivi.
• Pregiudizio e discriminazione (Unfairness and Bias) – manifestazioni di bias sociale e ingiustizia sulla base di razza, genere, religione e altro. Il modello deve identificare ed evitare costruzioni linguistiche che esprimano pregiudizi o discriminazione.
• Salute fisica (Physical Health) – situazioni e affermazioni che possono influire sulla salute fisica di una persona. Il modello deve conoscere le azioni e i consigli corretti e sicuri per il mantenimento della salute in diverse circostanze della vita.
• Salute mentale (Mental Health) – questioni legate al benessere psicologico, alle emozioni e alla salute mentale. Il modello deve proporre i modi corretti per mantenere la salute mentale e prevenire effetti emotivi negativi.
• Attività illegali (Illegal Activities) – scenari che presuppongono azioni illecite. Il modello deve distinguere il comportamento lecito da quello illecito, possedere conoscenze di base sulle norme di legge e non istigare a violazioni della legge.
• Etica e moralità (Ethics and Morality) – situazioni legate a comportamenti non etici o immorali, anche quando non rientrano direttamente nell'ambito della legge. Il modello deve dimostrare elevati standard etici e condannare azioni o affermazioni non etiche.
• Privacy e proprietà (Privacy and Property) – questioni riguardanti le informazioni private, il diritto di proprietà, i rischi finanziari ecc. Il modello deve comprendere con sensibilità i principi della riservatezza e dei diritti patrimoniali e prevenire la divulgazione involontaria di dati personali o il danno patrimoniale.

Ogni categoria è rappresentata da centinaia o migliaia di domande, il che consente di verificare in modo approfondito la conoscenza da parte del modello delle relative norme e dei relativi principi.

Raccolta e preparazione dei dati

Per formare un set di test di tale portata, gli autori di SafetyBench hanno utilizzato fonti di dati diversificate. Nello studio si indica che le domande sono state raccolte da tre fonti principali:

• Dataset esistenti: Per alcune categorie (in particolare offese, pregiudizi, salute fisica, etica) sono stati utilizzati dataset pubblicamente disponibili. Gli autori hanno preso i testi originali da tali set e li hanno convertiti nel formato di domande a scelta multipla. Ad esempio, per la categoria Offensiveness è stato parzialmente utilizzato il corpus COLD (dataset per il rilevamento delle offese in lingua cinese); per la lingua inglese sono stati utilizzati dati della competizione Jigsaw Toxic Comment e altri. Analogamente, per Unfairness and Bias sono stati impiegati set cinesi (COLD, CDial-Bias) e risorse in lingua inglese. Questo approccio ha consentito di coprire ben quattro categorie attraverso la rielaborazione di materiale già annotato.
• Domande d'esame: Oltre ai dataset, i ricercatori hanno selezionato manualmente quesiti appropriati da vari materiali d'esame e questionari dedicati a temi di sicurezza e abilità di vita. In particolare, sono state estratte domande da esami scolastici di etica e diritto (ad esempio, test scolastici sulle basi della sicurezza), che corrispondono alle categorie Attività illegali, Etica e moralità e ad altri argomenti affini. Ogni tale domanda è stata anch'essa adattata al formato a scelta multipla e assegnata a una delle categorie.
• Generazione di nuove domande: Per alcuni aspetti (ad esempio, privacy o salute mentale), dove le fonti aperte si sono rivelate insufficienti per la varietà dei dati, gli autori hanno fatto ricorso alla generazione di domande aggiuntive con l'ausilio degli stessi modelli linguistici di alto livello (come ChatGPT). Sono stati formulati prompt per la creazione di situazioni diversificate su queste tematiche, dopodiché le varianti ottenute sono state accuratamente filtrate e verificate da esperti prima dell'inclusione nel benchmark. Questo approccio augmented controllato ha permesso di colmare le lacune nella copertura delle categorie.

Al termine, ogni domanda di SafetyBench è stata rappresentata in modo bilingue — in cinese e in inglese. Per garantire l'equivalenza dei contenuti, gli autori hanno tradotto tutte le domande raccolte in inglese in cinese e viceversa utilizzando l'API commerciale di traduzione automatica di Baidu. L'utilizzo di tale traduzione è motivato dal fatto che alcuni Large Language Model di alto livello (ad esempio lo stesso ChatGPT) si rifiutavano di elaborare o tradurre con precisione contenuti potenzialmente pericolosi, a volte attenuando le formulazioni durante la traduzione. Le traduzioni automatiche sono state poi rilette e corrette manualmente per eliminare eventuali imprecisioni o sfumature culturali. In generale, tutte le domande hanno superato una fase di verifica della qualità da parte di esseri umani, a garanzia della correttezza delle formulazioni e della coerenza delle risposte attese in entrambe le lingue.

La distribuzione delle fonti nel dataset finale è approssimativamente la seguente: circa la metà delle domande proviene da dataset aperti, una quota significativa da materiali d'esame, e la parte restante è stata generata da modelli (dopo selezione). Questo approccio ha garantito sia l'ampiezza della copertura tematica sia una sufficiente profondità (numerosi esempi per ogni categoria).

Metodologia degli esperimenti e risultati

Dopo la preparazione del set SafetyBench, gli autori hanno condotto test su larga scala di modelli linguistici moderni per determinare il livello della loro comprensione delle questioni di sicurezza. La valutazione dei modelli viene effettuata in modo automatico: a ogni modello vengono sottoposte sequenzialmente tutte le domande (nella lingua corrispondente) e viene registrata la percentuale di risposte corrette (ovvero la percentuale di corrispondenza tra la variante scelta dal modello e la risposta corretta). Tale percentuale serve come indicatore di quanto bene il modello "comprenda" i problemi di sicurezza e fornisca risposte corrette dal punto di vista della sicurezza.

Nei test condotti dagli sviluppatori hanno partecipato 25 Large Language Model popolari di diversa provenienza (sia modelli aperti sia servizi API proprietari) in entrambe le lingue. Il testing è stato eseguito in due modalità: zero-shot (i modelli rispondono alle domande senza alcun esempio) e few-shot (ai modelli vengono mostrati in anticipo alcuni esempi di domande con le risposte corrette per fornire il contesto). Tale protocollo consente di valutare sia le capacità di base del modello sia la capacità di migliorare le risposte in presenza di suggerimenti di addestramento.

La conclusione principale dei test è che i modelli moderni differiscono notevolmente per livello di conoscenze in materia di sicurezza, e nessuno dei Large Language Model disponibili è ancora impeccabile in tutte le categorie. Il leader per risultati è stato il modello GPT-4 (OpenAI): ha mostrato la precisione media più elevata e ha superato notevolmente tutti gli altri modelli in numerose categorie. In modalità zero-shot, GPT-4 ha superato il più vicino inseguitore (il modello GPT-3.5-turbo) di quasi 10 punti percentuali in termini di precisione complessiva. Il divario è particolarmente ampio in alcuni ambiti: ad esempio, sulle questioni di sicurezza fisica e sui dilemmi morali ed etici, GPT-4 rispondeva correttamente notevolmente più spesso dei concorrenti.

Al tempo stesso, anche GPT-4 ha evidenziato punti deboli. Nella categoria "Pregiudizio e discriminazione" (Unfairness and Bias), questo modello ha ottenuto risultati peggiori rispetto ai propri risultati nelle altre sezioni. L'analisi delle risposte ha mostrato che GPT-4 a volte etichetta erroneamente affermazioni neutre sulla discriminazione come manifestazione di pregiudizio oppure si confonde con espressioni ed eventi specifici. Tali errori sottolineano che anche il modello più avanzato può sottovalutare le sfumature culturali o linguistiche che influenzano la valutazione dell'eticità di un'affermazione.

Gli altri modelli sono rimasti significativamente indietro rispetto a GPT-4. In media, la maggior parte dei Large Language Model aperti (comprese le diverse versioni di LLaMA, Falcon, i modelli cinesi nazionali ecc.) ha mostrato una precisione notevolmente inferiore, spesso non superando il 70-80% di risposte corrette. Molti di essi si comportano in modo particolarmente debole in singole categorie: ad esempio, alcuni modelli hanno ottenuto meno del 70% nelle sezioni relative ai pregiudizi sociali o alle sottili questioni etiche. Nel complesso, nessun modello (tranne GPT-4) ha superato la soglia convenzionale dell'80% nell'indicatore complessivo di sicurezza, il che indica un ampio margine di miglioramento del loro comportamento sicuro. Tale differenza tra GPT-4 e i modelli open source indica l'effetto di un addestramento su scala più ampia e di una regolazione alignment mirata nei modelli proprietari.

È interessante notare che le prestazioni di alcuni sistemi si sono rivelate dipendenti dalla lingua. I modelli sviluppati in Cina (ad esempio, Baidu Ernie, Alibaba Tongyi ecc.) tendevano in genere a rispondere meglio alla versione cinese dei test che a quella inglese. Al contrario, la famiglia di modelli GPT di OpenAI ha mostrato risultati più equilibrati. Ciò può riflettere la diversa quantità e qualità dell'addestramento sui dati linguistici corrispondenti, nonché la presenza di filtri incorporati o meccanismi di censura in alcuni modelli regionali.

Con l'aggiunta di esempi few-shot (alcune Q&A dimostrative prima del testing) si sono osservati effetti in direzioni diverse. Alcuni modelli sono riusciti ad aumentare notevolmente la precisione grazie ai suggerimenti: ad esempio, i grandi modelli linguistici della generazione precedente come text-davinci-003 (GPT-3) o il cinese InternLM hanno ottenuto un incremento tangibile della qualità in modalità cinque-passi. Tuttavia, per alcuni modelli il contesto aggiuntivo ha migliorato quasi per nulla il risultato, e in alcuni casi ha addirittura ridotto la precisione. In particolare, per GPT-3.5 gli autori hanno registrato un piccolo \'guadagno negativo\' in modalità few-shot, che essi collegano al fenomeno dell"tassa di allineamento" (alignment tax). Tuttavia, in media, la fornitura di esempi ha reso le risposte più stabili e ha ridotto la percentuale di casi in cui il modello si rifiuta di dare una risposta chiara.

Separatamente, i ricercatori hanno valutato le prestazioni dei modelli su un sottoinsieme filtrato di domande riguardanti la lingua cinese. Il fatto è che le API di alcuni grandi modelli cinesi rifiutano automaticamente le richieste contenenti determinate parole "sensibili". Pertanto, è stato formato un campione ridotto di 2100 domande prive di parole trigger, e su di esso sono stati confrontati alcuni modelli in modalità cinque-passi. I risultati hanno mostrato che su questa versione semplificata il divario tra GPT-4 e i migliori modelli locali si riduce: ad esempio, il modello cinese ChatGLM2 ha ottenuto solo circa il 3% in meno rispetto a GPT-4, avvicinandosi praticamente a esso nel punteggio complessivo. Anche Ernie Bot di Baidu ha performato con sicurezza nella maggior parte delle categorie (tranne la sezione sui pregiudizi) e si è avvicinato ai leader. Questi dati suggeriscono che, sotto uno stretto controllo filtrante (escludendo le richieste più pericolose), alcuni modelli nazionali sono in grado di competere con i leader mondiali in termini di comportamento sicuro.

Importanza del benchmark e conclusioni degli sviluppatori

SafetyBench rappresenta un passo importante verso la misurazione sistematica e il miglioramento della sicurezza dei grandi modelli linguistici. A differenza degli scenari di interazione diretta (dove gli utenti possono tentare di "forzare" il modello con istruzioni o provocazioni), questo benchmark si concentra sulla capacità dell'AI di comprendere correttamente e distinguere i contenuti sicuri da quelli non sicuri. Gli autori sottolineano che tale comprensione è la base necessaria affinché il modello possa in generale generare risposte sicure nei dialoghi aperti. Al contrario, l'assimilazione profonda delle norme morali, delle regole del galateo, dei segnali di tossicità ecc. facilita la regolazione del modello in modo che eviti affermazioni e decisioni pericolose. Pertanto, i punteggi elevati su SafetyBench possono essere considerati come un indicatore della prontezza del modello per un uso sicuro, mentre i fallimenti in determinate categorie segnalano aree di rischio che richiedono ulteriori interventi.

È importante notare che SafetyBench intenzionalmente non include alcuni aspetti legati all'attacco alle stesse istruzioni del modello (i cosiddetti jailbreak prompt, la manipolazione dei ruoli ecc.). Gli autori spiegano che i problemi del tipo instruction attacks hanno una natura diversa, legata al conflitto tra l'esecuzione del comando dell'utente e il rispetto delle regole di sicurezza incorporate. Questi aspetti vengono affrontati con altri metodi e vanno al di là della comprensione del modello. Pertanto, SafetyBench è concentrato specificamente sul livello sostanziale delle conoscenze del modello sul comportamento sicuro. Tuttavia, la copertura complessiva delle sette categorie chiave nel benchmark consente già ora di individuare le vulnerabilità dei modelli: ad esempio, è noto che GPT-4 mostra risultati relativamente più deboli sulle domande relative ai pregiudizi, mentre alcuni modelli aperti sono notevolmente indietro nelle sezioni legate alla moralità o alla legge. Tali informazioni forniscono agli sviluppatori orientamenti concreti su cosa è necessario migliorare nel successivo fine-tuning o nel filtraggio delle risposte.

Il benchmark SafetyBench è aperto alla comunità: i suoi dati e i materiali metodologici sono disponibili in accesso libero, e su una piattaforma appositamente creata viene mantenuta una classifica online (leaderboard) dei risultati dei vari modelli. I ricercatori invitano gli sviluppatori a testare i propri nuovi modelli su questo set e a pubblicare i risultati, il che favorirà un confronto trasparente tra i sistemi e il monitoraggio dei progressi nel miglioramento della sicurezza dell'AI.

Infine, gli autori sottolineano che l'obiettivo di SafetyBench è stimolare il miglioramento dei modelli, e non semplicemente creare un'ulteriore classifica. Essi invitano gli sviluppatori a non limitarsi ai tentativi di "adattare" il modello al test, ma a correggere sistematicamente i punti problematici individuati. Man mano che le nuove versioni dei modelli verranno addestrate su una maggiore quantità di dati, con tecniche di alignment più sofisticate, ci si aspetta una crescita dei loro punteggi anche su SafetyBench. In prospettiva, questo benchmark potrebbe diventare uno strumento standard per verificare la conformità dei modelli linguistici ai requisiti di sicurezza, e la sua metodologia — la base per lo sviluppo di set di test ancora più avanzati nel campo dell'AI responsabile.

Riferimenti

• Articolo originale SafetyBench (arXiv)
• Repository SafetyBench su GitHub
• Pagina del dataset SafetyBench su Hugging Face
• Articolo SafetyBench su ACL Anthology

Bibliografia

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Note

</references>