SafetyBench (UR)

From Systems analysis Wiki
Jump to navigation Jump to search

SafetyBench — یہ پہلا جامع benchmark ہے جو بڑے زبانی ماڈلز کی حفاظت کی ہمہ جہت تشخیص کے لیے تیار کیا گیا ہے [1]۔ اسے یونیورسٹی آف سنگہوا کے محققین کے ایک گروپ نے تیار کیا اور 2023 میں پیش کیا[1]۔

بڑے زبانی ماڈلز (BYM) کی ترقی (مثلاً ChatGPT کا ظہور) اور ان کے بڑے پیمانے پر استعمال کے ساتھ ایسے نظاموں کی حفاظتی مسائل پر توجہ میں اضافہ ہوا ہے[1]۔ تحقیق سے ظاہر ہوا ہے کہ مکالماتی ماڈلز صارفین کی نجی معلومات کو افشا کر سکتے ہیں یا زہریلے بیانات پیدا کر سکتے ہیں[1]۔ اس طرح BYM کی حفاظتی تشخیص ان کے قابلِ اعتماد عملی استعمال کے لیے انتہائی اہم کام بن گئی ہے۔ تاہم حال ہی تک ایسے جامع benchmark (آزمائشی مجموعے) موجود نہیں تھے جو ماڈل کی حفاظت کے تمام بنیادی پہلوؤں کا احاطہ کریں؛ دستیاب dataset صرف انفرادی پہلوؤں (مثلاً زہریلا پن یا سماجی تعصبات) کی جانچ کرتے تھے اور مکمل تصویر فراہم نہیں کرتے تھے[1]۔ جامع تشخیصی طریقے کی عدم موجودگی نے کمزوریوں کی نشاندہی اور زیادہ محفوظ زبانی ماڈلز کی تیاری دونوں کو مشکل بنا دیا تھا[1]۔ SafetyBench اسی کمی کو پورا کرنے کے لیے بنایا گیا تھا[1]۔

SafetyBench کی تیاری اور تفصیل

SafetyBench 11,435 کثیر الانتخاب سوالات (multiple-choice) کا مجموعہ ہے جو AI سے پیدا ہونے والے مواد سے متعلق 7 مختلف زمروں میں عام مسائل یا خطرات کا احاطہ کرتا ہے[1]۔ اس کی ایک اہم خصوصیت دولسانیت ہے: ہر سوال انگریزی اور چینی دونوں زبانوں میں دستیاب ہے، جو یکساں مواد پر انگریزی اور چینی دونوں ماڈلز کی جانچ کی اجازت دیتا ہے[1]۔ بنیادی طور پر SafetyBench پہلا بڑے پیمانے کا ذریعہ بن گیا جو خودکار طریقے سے اور اعلیٰ درستگی کے ساتھ محفوظ رویے اور مواد سے متعلق ماڈل کی سمجھ کو جانچنے کی اجازت دیتا ہے[1]۔ ایک درست جواب کے ساتھ سوالات کا فارمیٹ، جو MMLU جیسے معروف benchmark سے ملتا جلتا ہے، معروضیت اور تشخیص کی کارکردگی کو یقینی بناتا ہے اور ماڈل کے جوابات کی محنت طلب دستی جانچ پر انحصار کو کم کرتا ہے[1]۔

SafetyBench کے ڈویلپرز نے غیر محفوظ مواد سے متعلق عام منظرناموں کی پہلے سے تجویز کردہ درجہ بندی پر انحصار کیا[1]۔ خاص طور پر، benchmark کے زمرے Sun اور ساتھیوں (2023) کے کام میں بیان کردہ 8 منظرناموں کی بنیاد پر الگ کیے گئے تھے، تاہم ایک زمرہ (سیاسی طور پر حساس موضوعات) کو ہٹا دیا گیا تاکہ چینی اور انگریزی سیاق و سباق میں جوابات کی عدم موافقت سے بچا جا سکے[1]۔ اس طرح، حتمی مجموعے میں دونوں زبانوں کے لیے مشترکہ 7 حفاظتی زمرے شامل ہیں۔

SafetyBench میں حفاظتی زمرے

SafetyBench میں ہر آزمائشی سوال سات زمروں میں سے کسی ایک سے تعلق رکھتا ہے جو ممکنہ طور پر خطرناک یا ناپسندیدہ پہلوؤں کی وسیع رینج کا احاطہ کرتے ہیں[1]۔ ذیل میں یہ زمرے اور ان کا مختصر تعارف درج ہے:

  • توہین آمیز مواد (Offensiveness) – دھمکیاں، توہین، گالی گلوچ، فحش زبان، طنز اور دیگر ناقابلِ قبول لہجے کے مظاہر[1]۔ ماڈل کو ایسے حملوں کو پہچاننے اور زہریلے یا جارحانہ مواد کا مقابلہ کرنے کے قابل ہونا چاہیے[1]۔
  • تعصب اور امتیاز (Unfairness and Bias) – نسل، جنس، مذہب وغیرہ کی بنیاد پر سماجی bias اور ناانصافی کے مظاہر[1]۔ ماڈل کو تعصب یا امتیاز کا اظہار کرنے والے لسانی ڈھانچوں کی نشاندہی کرنی چاہیے اور ان سے گریز کرنا چاہیے[1]۔
  • جسمانی صحت (Physical Health) – ایسے حالات اور بیانات جو انسان کی جسمانی صحت کو متاثر کر سکتے ہیں[1]۔ ماڈل کو مختلف زندگی کے حالات میں صحت کو برقرار رکھنے کے لیے درست اور محفوظ اقدامات اور مشورے معلوم ہونے چاہئیں[1]۔
  • ذہنی صحت (Mental Health) – نفسیاتی بہبود، جذبات اور ذہنی صحت سے متعلق سوالات[1]۔ ماڈل کو ذہنی صحت کو برقرار رکھنے اور منفی جذباتی اثرات کو روکنے کے صحیح طریقے تجویز کرنے چاہئیں[1]۔
  • غیر قانونی سرگرمیاں (Illegal Activities) – غیر قانونی اقدامات پر مبنی منظرنامے[1]۔ ماڈل کو قانونی اور غیر قانونی رویے میں فرق کرنا آنا چاہیے، قانون کے اصولوں کی بنیادی معلومات ہونی چاہیئیں اور قانون کی خلاف ورزی پر اکسانا نہیں چاہیے[1]۔
  • اخلاق اور اقدار (Ethics and Morality) – غیر اخلاقی یا اقدار سے عاری رویے سے متعلق حالات، چاہے وہ براہِ راست قانون کے دائرے میں نہ آئیں[1]۔ ماڈل کو اعلیٰ اخلاقی معیارات کا مظاہرہ کرنا چاہیے اور غیر اخلاقی اعمال یا بیانات کی مذمت کرنی چاہیے[1]۔
  • رازداری اور ملکیت (Privacy and Property) – نجی معلومات، ملکیتی حقوق، مالی خطرات وغیرہ سے متعلق سوالات[1]۔ ماڈل کو رازداری اور ملکیتی حقوق کے اصولوں کو حساسیت کے ساتھ سمجھنا چاہیے اور ذاتی ڈیٹا کے غیر ارادی افشا یا مالی نقصان کو روکنا چاہیے[1]۔

ہر زمرہ سینکڑوں یا ہزاروں سوالات پر مشتمل ہے، جو متعلقہ اصولوں کے بارے میں ماڈل کی معلومات کی ہمہ جہت جانچ کی اجازت دیتا ہے[1]۔

ڈیٹا کا اکٹھا کرنا اور تیاری

اتنے بڑے آزمائشی مجموعے کی تشکیل کے لیے SafetyBench کے مصنفین نے متنوع ڈیٹا ذرائع سے مدد لی[1]۔ تحقیق میں بتایا گیا ہے کہ سوالات تین بنیادی ذرائع سے اکٹھے کیے گئے[1]:

  • موجودہ dataset: کچھ زمروں کے لیے (خاص طور پر توہین، تعصبات، جسمانی صحت، اخلاق) عوامی طور پر دستیاب ڈیٹا مجموعے استعمال کیے گئے[1]۔ مصنفین نے ان مجموعوں سے اصل متون لے کر انہیں کثیر الانتخاب سوالات کی شکل میں تبدیل کیا[1]۔ مثلاً Offensiveness کے زمرے کے لیے جزوی طور پر COLD corpus (چینی زبان میں توہین کا پتہ لگانے کا dataset) استعمال کیا گیا[1]؛ انگریزی کے لیے Jigsaw Toxic Comment مقابلے وغیرہ کے ڈیٹا سے مدد لی گئی[1]۔ اسی طرح Unfairness and Bias کے لیے چینی مجموعے (COLD، CDial-Bias) اور انگریزی وسائل استعمال کیے گئے[1]۔ اس طریقے نے پہلے سے نشان زد مواد کی دوبارہ تشکیل سے چار زمروں کا احاطہ کرنے میں مدد کی[1]۔
  • امتحانی سوالات: dataset کے علاوہ، محققین نے مختلف امتحانی مواد اور حفاظت اور زندگی کی مہارتوں سے متعلق سوالناموں سے موزوں سوالات دستی طور پر منتخب کیے[1]۔ خاص طور پر، اخلاقیات اور قانون کے تعلیمی امتحانات سے سوالات نکالے گئے (مثلاً حفاظت کی بنیادی باتوں پر اسکول کے ٹیسٹ)، جو غیر قانونی سرگرمیاں، اخلاق اور اقدار اور دیگر متعلقہ موضوعات کے زمروں سے مطابقت رکھتے ہیں[1]۔ ہر ایسے سوال کو بھی کثیر الانتخاب فارمیٹ میں تبدیل کیا گیا اور کسی ایک زمرے سے منسوب کیا گیا[1]۔
  • نئے سوالات کی پیداوار: کچھ پہلوؤں کے لیے (مثلاً رازداری یا ذہنی صحت)، جہاں کھلے ذرائع میں کافی متنوع ڈیٹا نہیں تھا، مصنفین نے اعلیٰ سطح کے زبانی ماڈلز (جیسے ChatGPT) کی مدد سے اضافی سوالات تیار کرنے کا طریقہ اپنایا[1]۔ ان موضوعات پر متنوع حالات بنانے کے لیے prompt تیار کیے گئے، جس کے بعد حاصل شدہ متغیرات کو benchmark میں شامل کرنے سے پہلے احتیاط سے فلٹر کیا گیا اور ماہرین نے جانچا[1]۔ اس کنٹرول شدہ augmented طریقے نے زمروں کی کوریج میں خلا پُر کرنے میں مدد کی[1]۔

آخرکار SafetyBench کا ہر سوال دولسانی شکل میں — چینی اور انگریزی دونوں میں — پیش کیا گیا[1]۔ مواد کی مساویت کو یقینی بنانے کے لیے مصنفین نے Baidu کے تجارتی مشین ترجمہ API کی مدد سے اکٹھے کیے گئے تمام انگریزی سوالات کو چینی میں اور اس کے برعکس ترجمہ کیا[1]۔ اس ترجمے کا استعمال اس وجہ سے کیا گیا کیونکہ کچھ اعلیٰ سطحی BYM (مثلاً خود ChatGPT) ممکنہ طور پر خطرناک مواد کو پروسیس کرنے یا درست ترجمہ کرنے سے انکار کر دیتے تھے اور کبھی کبھی ترجمے کے دوران فارمولیشنز کو نرم کر دیتے تھے[1]۔ خودکار ترجمات کے بعد ممکنہ غلطیوں یا ثقافتی باریکیوں کو دور کرنے کے لیے انہیں دستی طور پر پڑھا اور درست کیا گیا[1]۔ مجموعی طور پر تمام سوالات انسانی معیاری جانچ کے مرحلے سے گزرے[1]، جو دونوں زبانوں میں فارمولیشنز کی درستگی اور متوقع جوابات کی مطابقت کو یقینی بنانے کے لیے ہے[1]۔

حتمی dataset میں ذرائع کی تقسیم تقریباً اس طرح ہے: تقریباً نصف سوالات کھلے dataset سے لیے گئے ہیں، قابلِ ذکر حصہ امتحانی مواد سے ہے، اور باقی ماڈلز کے ذریعے پیدا کیے گئے ہیں (انتخاب کے بعد)[1]۔ اس طریقے نے موضوعات کی وسعت اور کافی گہرائی (ہر زمرے کے بہت سے مثالیں) دونوں کو یقینی بنایا۔

تجربات کا طریقہ کار اور نتائج

SafetyBench مجموعے کی تیاری کے بعد مصنفین نے حفاظتی سوالات کے بارے میں ان کی سمجھ کی سطح جاننے کے لیے جدید زبانی ماڈلز کی بڑے پیمانے پر جانچ کی۔ ماڈلز کی تشخیص خودکار طریقے سے ہوتی ہے[1]: ہر ماڈل کو تمام سوالات باری باری (متعلقہ زبان میں) دیے جاتے ہیں اور درست جوابات کی فیصد ریکارڈ کی جاتی ہے (یعنی ماڈل کے منتخب کردہ آپشن کے صحیح جواب سے مطابقت کا فیصد)[1]۔ یہ فیصد اس بات کا اشارہ ہے کہ ماڈل حفاظتی مسائل کو کتنی اچھی طرح "سمجھتا" ہے اور حفاظت کے نقطہ نظر سے درست جوابات دیتا ہے[1]۔

ڈویلپرز کی طرف سے کیے گئے ٹیسٹوں میں مختلف نسل کے 25 مقبول BYM (کھلے ماڈلز اور ملکیتی API سروسز دونوں) نے دونوں زبانوں میں حصہ لیا[1]۔ جانچ دو طریقوں میں کی گئی: zero-shot (ماڈلز کسی بھی مثال کے بغیر سوالات کے جواب دیتے ہیں) اور few-shot (ماڈلز کو پہلے صحیح جوابات کے ساتھ کچھ مثالی سوالات دکھائے جاتے ہیں تاکہ سیاق و سباق قائم کیا جائے)[1]۔ یہ پروٹوکول ماڈل کی بنیادی صلاحیتوں اور آموختنی اشاروں کی موجودگی میں جوابات بہتر کرنے کی صلاحیت دونوں کا جائزہ لینے کی اجازت دیتا ہے۔

ٹیسٹوں کا اہم نتیجہ یہ ہے کہ جدید ماڈلز حفاظتی علم کی سطح میں بڑے پیمانے پر مختلف ہیں، اور کوئی بھی دستیاب BYM ابھی تمام زمروں میں بے عیب نہیں ہے[1]۔ نتائج میں سرِفہرست ماڈل GPT-4 (OpenAI) رہا: اس نے سب سے زیادہ اوسط درستگی دکھائی اور بہت سے زمروں میں تمام دیگر ماڈلز سے نمایاں طور پر آگے رہا[1]۔ zero-shot طریقے میں GPT-4 نے قریب ترین مدمقابل (ماڈل GPT-3.5-turbo) کو مجموعی درستگی میں تقریباً 10 فیصد پوائنٹس سے پیچھے چھوڑا[1]۔ فرق خاص طور پر کچھ شعبوں میں بڑا ہے، مثلاً جسمانی حفاظت اور اخلاقی مخمصوں سے متعلق سوالات میں GPT-4 نے مدمقابلوں کی نسبت نمایاں طور پر زیادہ درست جوابات دیے[1]۔

اسی وقت GPT-4 میں بھی کمزور پہلو سامنے آئے۔ تعصب اور امتیاز (Unfairness and Bias) کے زمرے میں اس ماڈل نے دوسرے حصوں میں اپنے نتائج کے مقابلے میں نسبتاً کمزور کارکردگی دکھائی[1]۔ جوابات کے تجزیے سے ظاہر ہوا کہ GPT-4 کبھی کبھی امتیاز کے بارے میں غیر جانبدارانہ بیانات کو تعصب کا اظہار سمجھ کر غلطی سے نشان زد کرتا ہے یا مخصوص اظہارات اور واقعات میں الجھ جاتا ہے[1]۔ ایسی غلطیاں اس بات کو اجاگر کرتی ہیں کہ حتیٰ کہ سب سے جدید ماڈل بھی ثقافتی یا لسانی باریکیوں کو کم آنک سکتا ہے جو کسی بیان کی اخلاقی تشخیص کو متاثر کرتی ہیں[1]۔

باقی ماڈلز GPT-4 سے نمایاں طور پر پیچھے رہے[1]۔ اوسطاً زیادہ تر کھلے BYM (LLaMA کے مختلف ورژن، Falcon، گھریلو چینی ماڈلز وغیرہ سمیت) نے نمایاں طور پر کم درستگی دکھائی، اکثر 70-80% درست جوابات سے تجاوز نہ کر سکے[1]۔ ان میں سے بہت سے مخصوص زمروں میں خاص طور پر کمزور ہیں: مثلاً کچھ ماڈلز نے سماجی تعصبات یا نازک اخلاقی سوالات سے متعلق حصوں میں 70% سے کم نمبر حاصل کیے[1]۔ مجموعی طور پر کوئی بھی ماڈل (GPT-4 کے علاوہ) مجموعی حفاظتی اشارے پر 80% کی حد کو عبور نہ کر سکا، جو ان کے محفوظ رویے کو مزید بہتر کرنے کی بڑی گنجائش کی طرف اشارہ کرتا ہے[1]۔ GPT-4 اور کھلے کوڈ ماڈلز کے درمیان یہ فرق بند ماڈلز میں زیادہ بڑے پیمانے پر تربیت اور ہدفی alignment ترتیب کے اثر کی طرف اشارہ کرتا ہے۔

دلچسپ بات یہ ہے کہ کچھ نظاموں کی کارکردگی زبان پر منحصر نکلی[1]۔ چین میں تیار کردہ ماڈلز (مثلاً Baidu Ernie، Alibaba Tongyi وغیرہ) عام طور پر انگریزی کی بہ نسبت چینی ورژن کے ٹیسٹوں میں بہتر جواب دیتے تھے[1]۔ اس کے برعکس، OpenAI کے GPT ماڈلز کے خاندان نے زیادہ متوازن نتائج دکھائے[1]۔ یہ متعلقہ زبانی ڈیٹا پر تربیت کے مختلف حجم اور معیار کو، نیز کچھ علاقائی ماڈلز میں بلٹ ان فلٹرز یا سنسرشپ طریقہ کار کی موجودگی کو ظاہر کر سکتا ہے۔

few-shot مثالیں شامل کرنے پر (جانچ سے پہلے کچھ مظاہراتی Q&A) مخلوط اثرات دیکھے گئے[1]۔ کچھ ماڈلز اشاروں کی بدولت درستگی میں نمایاں اضافہ کر سکے: مثلاً پچھلی نسل کے بڑے زبانی ماڈلز جیسے text-davinci-003 (GPT-3) یا چینی InternLM نے پانچ مثالی طریقے میں معیار میں ملموس بہتری حاصل کی[1]۔ تاہم کچھ ماڈلز میں اضافی سیاق و سباق نے نتیجہ بمشکل بہتر کیا، اور بعض صورتوں میں درستگی میں کمی بھی آئی[1]۔ خاص طور پر GPT-3.5 کے لیے مصنفین نے few-shot میں معمولی "منفی اضافہ" ریکارڈ کیا[1]، جسے وہ "alignment tax" (ہم آہنگی کا ٹیکس) کے رجحان سے جوڑتے ہیں[1]۔ پھر بھی اوسطاً مثالیں فراہم کرنے سے جوابات زیادہ مستحکم ہوئے اور ان صورتوں کی تعداد کم ہوئی جب ماڈل واضح جواب دینے سے انکار کر دیتا ہے[1]۔

علیحدہ طور پر محققین نے چینی زبان سے متعلق چھانے ہوئے سوالات کے ذیلی مجموعے پر ماڈلز کی کارکردگی کا جائزہ لیا[1]۔ معاملہ یہ ہے کہ کچھ بڑے چینی ماڈلز کے API خودبخود بعض "حساس" الفاظ کے ساتھ درخواستیں مسترد کر دیتے ہیں[1]۔ اس لیے ٹریگر الفاظ کے بغیر 2100 سوالات کا ایک مختصر مجموعہ بنایا گیا، اور اس پر پانچ مثالی طریقے میں چند ماڈلز کا موازنہ کیا گیا[1]۔ نتائج سے ظاہر ہوا کہ اس آسان ورژن پر GPT-4 اور بہترین مقامی ماڈلز کے درمیان فرق کم ہو جاتا ہے: مثلاً چینی ماڈل ChatGLM2 نے GPT-4 سے صرف ~3% کم نمبر حاصل کیے، مجموعی اسکور میں اس کے تقریباً برابر پہنچ گئی[1]۔ نیز Baidu کا Ernie Bot اکثر زمروں (تعصب کے حصے کے علاوہ) میں پراعتماد کارکردگی دکھائی اور رہنماؤں کے قریب پہنچ گیا[1]۔ یہ ڈیٹا بتاتے ہیں کہ سخت فلٹرنگ کنٹرول کے تحت (سب سے خطرناک درخواستوں کو ہٹا کر) کچھ قومی ماڈلز محفوظ رویے کے لحاظ سے عالمی رہنماؤں سے مقابلہ کر سکتے ہیں۔

benchmark کی اہمیت اور ڈویلپرز کے نتائج

SafetyBench بڑے زبانی ماڈلز کی حفاظت کو منظم طریقے سے ناپنے اور بہتر کرنے کی طرف ایک اہم قدم ہے[1]۔ براہِ راست تعامل کے منظرناموں کے برعکس (جہاں صارفین ہدایات یا اشتعال انگیزیوں کے ذریعے ماڈل کو "توڑنے" کی کوشش کر سکتے ہیں)، یہ benchmark AI کی محفوظ اور غیر محفوظ مواد کو صحیح طور پر سمجھنے اور ان میں فرق کرنے کی صلاحیت پر مرکوز ہے[1]۔ مصنفین زور دیتے ہیں کہ یہ سمجھ ایک لازمی بنیاد ہے تاکہ ماڈل اصلاً کھلے مکالموں میں محفوظ جوابات دے سکے[1]۔ اس کے برعکس، اخلاق کے اصولوں، آداب کے قواعد، زہریلے پن کی علامات وغیرہ کا گہرا ادراک ماڈل کو اس طرح ترتیب دینا آسان بناتا ہے کہ وہ خطرناک بیانات اور فیصلوں سے گریز کرے[1]۔ اس طرح SafetyBench پر اعلیٰ نمبروں کو ماڈل کی محفوظ استعمال کے لیے تیاری کے اشارے کے طور پر دیکھا جا سکتا ہے[1]، جبکہ مخصوص زمروں میں خراب نتائج خطرے کے ان علاقوں کی طرف اشارہ کرتے ہیں جنہیں بہتری کی ضرورت ہے[1]۔

یہ نوٹ کرنا ضروری ہے کہ SafetyBench جان بوجھ کر ماڈل کی ہدایات پر حملے سے متعلق کچھ پہلوؤں کو شامل نہیں کرتا (نام نہاد jailbreak-prompt، کرداروں کی ہیرا پھیری وغیرہ)[1]۔ مصنفین وضاحت کرتے ہیں کہ instruction attacks جیسے مسائل کی نوعیت مختلف ہے، جو صارف کے حکم پر عمل کرنے اور بلٹ ان حفاظتی قواعد کی پابندی کے درمیان تنازعے سے متعلق ہے[1]۔ یہ پہلو دوسرے طریقوں سے حل ہوتے ہیں اور ماڈل کی سمجھ سے باہر ہیں[1]۔ اس لیے SafetyBench خاص طور پر محفوظ رویے کے بارے میں ماڈل کے علم کی مواد کی سطح پر مرکوز ہے۔ پھر بھی benchmark میں سات اہم زمروں کی مجموعی کوریج پہلے سے ماڈلز کی کمزوریوں کو ظاہر کرنے کی اجازت دیتی ہے: مثلاً معلوم ہے کہ GPT-4 تعصب کے سوالات پر نسبتاً کمزور نتیجہ دکھاتا ہے، اور کچھ کھلے ماڈلز اخلاق یا قانون سے متعلق حصوں میں بہت پیچھے رہتے ہیں[1]۔ اس طرح کی معلومات ڈویلپرز کو مخصوص رہنمائی فراہم کرتی ہے کہ مزید fine-tuning یا جوابات کی فلٹرنگ میں کس پر کام کرنا ضروری ہے۔

SafetyBench کمیونٹی کے لیے کھلا ہے[2]: اس کا ڈیٹا اور طریقہ کار کا مواد آزادانہ طور پر دستیاب ہے[2]، اور خاص طور پر بنائے گئے پلیٹ فارم پر مختلف ماڈلز کے نتائج کا آن لائن لیڈربورڈ برقرار رکھا جاتا ہے[2]۔ محققین ڈویلپرز کو دعوت دیتے ہیں کہ وہ اس مجموعے پر اپنے نئے ماڈلز کو جانچیں اور نتائج شائع کریں، جو نظاموں کے شفاف موازنے اور AI کی حفاظت میں اضافے میں پیشرفت کی نگرانی میں مددگار ہوگا۔

آخر میں، مصنفین زور دیتے ہیں کہ SafetyBench کا مقصد ماڈلز کی بہتری کو تحریک دینا ہے[1]، نہ صرف ایک اور درجہ بندی بنانا[1]۔ وہ ڈویلپرز سے گزارش کرتے ہیں کہ ماڈل کو ٹیسٹ کے مطابق "ڈھالنے" کی کوشش تک محدود نہ رہیں بلکہ نشاندہی شدہ مسائل کو منظم طریقے سے دور کریں[1]۔ جیسے جیسے ماڈلز کے نئے ورژن زیادہ ڈیٹا پر، زیادہ پیچیدہ alignment ترتیب کی تکنیکوں کے ساتھ تربیت پائیں گے، SafetyBench پر ان کے نمبروں میں اضافہ متوقع ہے[1]۔ مستقبل میں یہ benchmark زبانی ماڈلز کی حفاظتی تقاضوں کے مطابق ہونے کی جانچ کا معیاری ذریعہ بن سکتا ہے، اور اس کا طریقہ کار ذمہ دار AI کے شعبے میں مزید جدید آزمائشی مجموعوں کی تیاری کی بنیاد بن سکتا ہے۔

حوالہ جات

  • SafetyBench کا اصل مقالہ (arXiv)
  • GitHub پر SafetyBench کا ذخیرہ
  • Hugging Face پر SafetyBench dataset کا صفحہ
  • ACL Anthology پر SafetyBench کا مقالہ

کتابیات

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

حواشی

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 1.36 1.37 1.38 1.39 1.40 1.41 1.42 1.43 1.44 1.45 1.46 1.47 1.48 1.49 1.50 1.51 1.52 1.53 1.54 1.55 1.56 1.57 1.58 1.59 1.60 1.61 1.62 1.63 1.64 1.65 1.66 1.67 1.68 1.69 1.70 1.71 1.72 1.73 1.74 1.75 1.76 1.77 1.78 1.79 1.80 1.81 1.82 1.83 1.84 1.85 1.86 1.87 1.88 1.89 1.90 1.91 1.92 1.93 Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models with Multiple Choice Questions». arXiv. [1]
  2. ↑ 2.0 2.1 2.2 Zhang, Yuntao et al. «SafetyBench: Evaluating the Safety of Large Language Models». arXiv. [2]
Retrieved from "https://systems-analysis.info/int/index.php?title=SafetyBench_(UR)&oldid=6568"