PromptRobust (benchmark) — برومبت روبست

From Systems analysis Wiki
Jump to navigation Jump to search

PromptRobust (المعروف أيضًا باسم PromptBench) هو معيار تقييم شامل لتقييم متانة نماذج اللغة الكبيرة (LLMs) في مواجهة التغييرات الخصومية في الموجه — وهي تشويهات طفيفة في صياغة المهمة لا تغير من معناها[1][2]. تم تطوير المعيار في عام 2023 من قبل مجموعة من الباحثين (كايجي تشو (Kaijie Zhu) وآخرون) من Microsoft Research Asia[1]. جاء ظهور PromptRobust نتيجة لملاحظة أن نماذج اللغة الكبيرة الحديثة حساسة لتفاصيل الصياغة: فحتى التغييرات الطفيفة (مثل الأخطاء الإملائية أو إعادة الصياغة) يمكن أن تؤثر بشكل ملحوظ على استجابات النماذج[2]. يهدف المعيار إلى قياس هذه الثغرة كميًا والمساهمة في تطوير أساليب أكثر موثوقية للتفاعل مع نماذج اللغة الكبيرة.

منهجية التقييم

في إطار بحث PromptBench، تم تكوين مجموعة من 4788 موجهًا معدلًا (prompts)، والتي تحافظ على المعنى الأصلي للمهام[3]. تم إنشاء هذه الموجهات الخصومية على أربعة مستويات من التعقيد في التغييرات[1]:

  • مستوى الحرف: إدخال أخطاء إملائية، أو استبدال الأحرف أو إعادة ترتيبها (يحاكي أخطاء الإدخال العشوائية).
  • مستوى الكلمة: استبدال بعض الكلمات بمرادفاتها، أو إدخال كلمات «ضوضاء» أو تغييرات معجمية طفيفة أخرى.
  • مستوى الجملة: إعادة صياغة بنية الجمل، أو إضافة أجزاء من العبارة أو إعادة ترتيبها دون تغيير الموضوع العام.
  • المستوى الدلالي: إعادة صياغة أعمق للموجه مع الحفاظ على مهمته (على سبيل المثال، صياغات بديلة للسؤال نفسه)[1].

الهدف من هذه «الهجمات» هو اختبار كيفية تأثير الانحرافات الطفيفة (مثل الأخطاء الإملائية العشوائية أو استخدام صيغ مترادفة) على قدرة النموذج على تنفيذ المهمة بشكل صحيح، مع أن المهمة نفسها لم تتغير[1]. تم تطبيق كل موجه خصومي تم إنشاؤه على مجموعة من مهام NLP القياسية، بما في ذلك تحليل المشاعر، والتحقق من الصحة النحوية، والعثور على الجمل المكررة، والاستدلال المنطقي (NLI)، والقراءة مع الفهم، والترجمة الآلية، وحل المسائل الرياضية[1]. تم اختيار 8 أنواع مختلفة من المهام من 13 مجموعة بيانات للتجارب — بدءًا من مجموعات GLUE الكلاسيكية (مثل SST-2 لتحليل المشاعر، وMNLI للاستدلال المنطقي) إلى الاختبارات الرياضية والمتعددة اللغات المتخصصة[1].

من المهم الإشارة إلى أنه تم اختبار متانة تنسيقات مختلفة للموجهات[1]:

  • الموجهات المباشرة دون أمثلة (zero-shot، تعليمات فقط).
  • الموجهات مع عدة أمثلة (few-shot، حيث يتم تقديم نماذج للحل في الموجه).
  • الموجهات القائمة على الأدوار (in-context roles، على سبيل المثال، «أنت نظام لتحليل المشاعر، حدد...»).
  • الموجهات التي تصف المهمة (task-oriented، وصف مباشر للمهمة)[1].

كما تم اختبار نماذج لغوية مختلفة الأحجام، بدءًا من Flan-T5-large الصغير نسبيًا ونموذج UL2، وصولًا إلى النماذج المتقدمة مثل ChatGPT وGPT-4، بالإضافة إلى النماذج المفتوحة من عائلة LLaMA 2 ومشتقها Vicuna[1]. لتوليد الهجمات، تم استخدام أساليب موجودة في مجال البرمجة اللغوية العصبية الخصومية (مثل TextBugger، وDeepWordBug، وTextFooler، وغيرها)، مع تكييفها لتعديل الموجهات بدلاً من بيانات الإدخال[1]. تم التحقق من صحة الموجهات «المشوهة» الناتجة بأساليب آلية ويدوية؛ ووفقًا للتقرير، فإن ما لا يقل عن 85% من الصيغ الخصومية تحافظ على الدلالة الصحيحة ومفهومة للبشر[1]. وبالتالي، فإن تأثير الهجمات يعكس فشل النموذج في فهم المهمة المعاد صياغتها، وليس فقدان معنى المهمة نفسها.

النتائج والاستنتاجات

أظهرت الاختبارات أن نماذج اللغة الكبيرة الحديثة غير متينة بما فيه الكفاية تجاه التغييرات الطفيفة في صياغة الموجه[3]. لوحظ انخفاض كبير في جودة الإجابات لجميع النماذج المختبرة تحت تأثير الهجمات التي تم إنشاؤها[3]. على وجه الخصوص، حتى الحالات البسيطة — مثل خطأ إملائي في نص مسألة رياضية أو استبدال كلمة رئيسية بمرادفها — أدت إلى تقديم النموذج لنتائج غير صحيحة، على الرغم من أنه كان يؤدي المهمة بشكل صحيح دون التشويه[1]. الاستنتاج العام للمؤلفين هو أن «نماذج اللغة الكبيرة الحديثة ليست حصينة (robust) ضد الموجهات الخصومية»[3]، مما يعني أن الانحرافات الطفيفة في الصياغة (phrasing) يمكن أن تضللها بشكل منهجي.

عند تحليل أنواع الهجمات المختلفة، تبين أن التغييرات على مستوى الكلمات هي الأكثر تدميرًا لعمل نماذج اللغة الكبيرة[2]. أدى استبدال الكلمات بمرادفاتها أو التشويه الصرفي الطفيف إلى أكبر انخفاض في الجودة — بمتوسط ≈33% مقارنة بالنتيجة الأصلية على نفس المهام[2]. أما الهجمات على مستوى الحرف (الأخطاء الإملائية، الأحرف العشوائية) فقد تسببت في انخفاض الدقة بمتوسط 20% تقريبًا[2]. في المقابل، كان للتغيير النوعي أو إضافة جمل كاملة إلى الموجه تأثير أضعف بكثير، ولم يؤدِ تقريبًا إلى إرباك النموذج[1]. أما إعادة الصياغة الدلالية (إعادة سرد الموجه بطريقة مختلفة وأعمق) فكانت ذات ضرر مماثل للأخطاء الإملائية البسيطة[1]. تؤكد هذه الحقائق أن نماذج اللغة الكبيرة معرضة بشكل خاص للتغييرات المعجمية الدقيقة والأخطاء في الكلمات الرئيسية[1]. ومن الجدير بالذكر أنه يمكن نظريًا تصفية التشوهات النحوية (الأخطاء الإملائية) باستخدام أدوات التدقيق الإملائي القياسية، بينما تتطلب التغييرات على مستوى الكلمات والمعنى فهمًا دلاليًا متطورًا من النموذج، وهو ما تفتقر إليه النماذج الحالية غالبًا[1].

أظهر تحليل أداء النماذج المختلفة تباينًا كبيرًا في متانتها[1]. أظهر GPT-4 وUL2 أفضل متانة ضد الموجهات الخصومية[1]. كما تبين أن نموذج Flan-T5-large ونموذج الحوار ChatGPT كانا أقل عرضة للفشل[1]. احتلت نماذج عائلة LLaMA 2 موقعًا متوسطًا، بينما برز Vicuna (13B) باعتباره الأكثر عرضة لجميع أنواع الهجمات[1]. ومن المثير للاهتمام أن حجم النموذج لم يكن عاملاً حاسمًا في المتانة[1]: فالنموذج الصغير نسبيًا T5-large لم يكن أقل استقرارًا في استجاباته من نموذج ChatGPT الأكبر بكثير[1]. يفترض المؤلفون أن أساليب التدريب والضبط الدقيق للنماذج تلعب دورًا رئيسيًا، وليس فقط حجمها[1]. على سبيل المثال، خضع UL2 وT5-large لتدريب مسبق موسع على مجموعات بيانات كبيرة، بينما تم تدريب ChatGPT باستخدام التعلم المعزز من ردود الفعل البشرية (RLHF)، مما قد يكون قد عزز متانتهما[1]. في المقابل، تم تدريب Vicuna على مجموعة بيانات محدودة نسبيًا (كنسخة مفتوحة المصدر)، مما يفسر على الأرجح حساسيته العالية للتغييرات في الصياغة[1]. تشير هذه النتائج إلى أن تحسين أساليب الضبط الدقيق (fine-tuning) يمكن أن يعزز موثوقية النماذج أكثر من مجرد زيادة أحجامها.

تأثير تنسيق الموجه

يؤثر شكل تقديم الموجه أيضًا على موثوقية الإجابة[1]. لقد ثبت أن الموجهات التي تحتوي على أمثلة (few-shot) تزيد بشكل كبير من متانة النموذج مقارنة بالتعليمات ذات الخطوة الواحدة بدون أمثلة (zero-shot)[1]. يساعد وجود عدة أمثلة توضيحية للمهمة في الموجه النموذج على تفسير المهمة بشكل أكثر دقة حتى مع وجود تغييرات تشويشية. أظهرت الموجهات القائمة على الأدوار والوصفية (task-oriented) مستوى متانة متقاربًا بشكل عام، على الرغم من أن فعاليتها تباينت من مهمة إلى أخرى[1]. على سبيل المثال، في بيانات تحليل المشاعر والجمل المكررة، كان التنسيق القائم على الأدوار أكثر موثوقية قليلاً، بينما في مهام القراءة مع الفهم والترجمة، عملت التعليمات الصريحة للمهمة بشكل أفضل[1]. يمكن أن تكون هذه الملاحظات دليلًا عند تصميم الموجهات: فإضافة أمثلة مفصلة وسياق للدور يقلل من احتمالية خطأ النموذج عند مواجهة صيغ غير قياسية.

قابلية نقل الهجمات بين النماذج

كانت قابلية نقل (transfer) الهجمات بين النماذج محدودة[1]. فالموجهات الخصومية، التي تم تصميمها خصيصًا ضد نموذج واحد، لم تكن دائمًا فعالة بنفس القدر ضد نموذج آخر[1]. فقد لوحظ أن الموجهات «الفخاخ» التي تم إنشاؤها لاستغلال نقاط ضعف ChatGPT كان لها تأثير أضعف بكثير على GPT-4[1]. لقد أدى الأخير أداءً أفضل، ربما لأن الهجمات لم تنتقل مباشرة إلى بنيته — فالشيء الذي يربك نموذجًا ما قد لا يؤثر على نموذج أكثر تقدمًا بتدريب مختلف[1]. ومع ذلك، كان لبعض أنواع التشوهات البسيطة (مثل الأخطاء الإملائية) تأثير سلبي على عدة نماذج في نفس الوقت، مما يشير إلى وجود نقاط ضعف متشابهة في أساسها اللغوي.

توصيات عملية

خلال عمل PromptBench، تم تحديد توصيات عملية لمستخدمي ومطوري نماذج اللغة الكبيرة[2]. الاستنتاج البسيط هو: استقرار الصياغة مهم[2]. من الضروري تجنب الأخطاء الإملائية والصياغات غير الدقيقة في الموجه[2]. يوضح المؤلفون أن تصحيح حتى الأخطاء الصغيرة (الإملاء، الحروف الكبيرة/الصغيرة العشوائية، المسافات الزائدة) يمكن أن يزيد بشكل كبير من موثوقية استجابة النموذج[2]. بالإضافة إلى ذلك، يؤثر اختيار الكلمات في التعليمات على متانتها[2]. كشف تحليل تكرار المصطلحات في الموجهات المتينة مقابل الموجهات الضعيفة أن بعض الكلمات تظهر بشكل متكرر في الموجهات «الموثوقة»، بينما تظهر كلمات أخرى في تلك التي أربكت النموذج[2]. على سبيل المثال، الموجهات التي تحتوي على كلمات مثل «acting» و«provided» و«detection» وغيرها، كانت أقل عرضة للتسبب في فشل، في حين أن كلمات مثل «respond» (أجب) أو «following» (التالي) أو «examine» (افحص) ظهرت في الحالات الأكثر إشكالية[2]. يشير هذا إلى أن أسلوبًا ومعجمًا معينًا في الموجهات يمكن أن يخفف من نقاط ضعف النموذج أو، على العكس، يثيرها. بشكل عام، يوصى بصياغة الموجه بأكبر قدر ممكن من الوضوح وعدم الغموض وباستخدام مصطلحات مألوفة للنموذج، خاصة للتطبيقات ذات الأهمية الحاسمة[2].

أحد الآثار الجانبية المثيرة للاهتمام التي لاحظها الباحثون هو تأثير إضافة أجزاء نصية لا معنى لها أو غير ذات صلة إلى الموجه[2]. فقد تبين أن إدراج سلسلة عشوائية من الأحرف (على سبيل المثال، «LKF0FZxMZ4») في نهاية الموجه أو في منتصفه يمكن أن يشتت انتباه النموذج ويقلل من دقة إجابته[2]. من ناحية أخرى، فإن إضافة عبارة محايدة ولكن صحيحة نحويًا (على سبيل المثال، «and true is true» — «والصواب هو الصواب») في بعض الحالات، على العكس، حسّنت الإجابة، كما لو أنها ركزت انتباه النموذج على الأجزاء المهمة من السؤال[2]. تؤكد هذه الظاهرة مدى عدم القدرة على التنبؤ بكيفية تفاعل نماذج اللغة الكبيرة مع تفاصيل الإدخال التي تبدو غير مهمة. كما أنها تشهد على تعقيد البنية الداخلية للنماذج: فأصغر التغييرات في السياق يمكن أن تعطل عملها أو تحسنه، اعتمادًا على كيفية إعادة توزيع انتباه النموذج.

الأهمية والتطوير المستقبلي

قدم PromptRobust/PromptBench مساهمة كبيرة في فهم موثوقية نماذج اللغة الكبيرة[2]. المعيار المقترح والبيانات المجمعة مفتوحة للمجتمع: الكود ومجموعات الموجهات الخصومية متاحة في المستودع[1]. وهذا يسمح للباحثين الآخرين باختبار النماذج الجديدة من حيث متانتها تجاه التغييرات في الموجهات ومقارنة النتائج[1]. الخطوة التالية هي تطوير أساليب لحماية النماذج من مثل هذه الهجمات — على سبيل المثال، خوارزميات تدريب محسنة تأخذ في الاعتبار الأخطاء الإملائية وإعادة الصياغة المحتملة، أو أنظمة مدمجة لتطبيع الكلام المدخل[2]. يُنظر إلى PromptBench بالفعل على أنه أساس لمثل هذه الأبحاث لزيادة متانة (robustness) النماذج اللغوية تجاه بيانات الإدخال غير الدقيقة في العالم الحقيقي[2].

في نهاية المطاف، يوضح عمل تشو وزملائه أهمية مراعاة المتانة تجاه الموجهات عند تطبيق نماذج اللغة الكبيرة في التطبيقات العملية: يجب ألا تظهر النماذج دقة عالية على البيانات «النظيفة» فحسب، بل يجب أن تحافظ أيضًا على صحتها عند حدوث انحرافات طفيفة في الإدخال، سواء كانت أخطاء عشوائية من المستخدم أو تأثيرات هجومية متعمدة[2][4].

روابط خارجية

مراجع

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

المراجع

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 «PromptBench: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts». arXiv. [١]
  2. ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 «Prompt Robustness: How to Measure and How to Enhance». Towards AI. [٢]
  3. ↑ 3.0 3.1 3.2 3.3 «PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts». arXiv. [٣]
  4. ↑ «Realer Toxicity Prompts (RTP-2.0): Multilingual and Adversarial Prompts for Evaluating Neural Toxic Degeneration in Large Language Models». Language Technologies Institute - School of Computer Science - Carnegie Mellon University. [٤]
Retrieved from "https://systems-analysis.info/int/index.php?title=PromptRobust_(benchmark)_—_برومبت_روبست&oldid=5955"