PromptRobust (benchmark) (EL)

PromptRobust (γνωστό επίσης ως PromptBench) — είναι ένα ολοκληρωμένο benchmark για την αξιολόγηση της ανθεκτικότητας των μεγάλων γλωσσικών μοντέλων (LLM) σε adversarial αλλαγές του prompt — μικρές παραμορφώσεις της διατύπωσης της εργασίας που δεν αλλάζουν το νόημά της. Το benchmark αναπτύχθηκε το 2023 από ομάδα ερευνητών (Kaijie Zhu και άλλοι) από το Microsoft Research Asia. Η εμφάνιση του PromptRobust οφείλεται στην παρατήρηση ότι τα σύγχρονα LLM είναι ευαίσθητα στις λεπτομέρειες της διατύπωσης: ακόμη και ασήμαντες αλλαγές (π.χ. τυπογραφικά λάθη ή αναδιατύπωση) μπορούν να επηρεάσουν αισθητά τις απαντήσεις των μοντέλων. Το benchmark αποσκοπεί στην ποσοτική μέτρηση αυτής της ευπάθειας και στη συμβολή στην ανάπτυξη πιο αξιόπιστων μεθόδων αλληλεπίδρασης με τα LLM.

Μεθοδολογία αξιολόγησης

Στο πλαίσιο της έρευνας PromptBench συγκροτήθηκε ένα σώμα από 4788 τροποποιημένα prompts, που διατηρούν το αρχικό νόημα των εργασιών. Αυτά τα adversarial prompts δημιουργήθηκαν σε τέσσερα επίπεδα πολυπλοκότητας αλλαγών:

• Επίπεδο χαρακτήρων: Εισαγωγή τυπογραφικών λαθών, αντικατάσταση ή αναδιάταξη χαρακτήρων (προσομοίωση τυχαίων σφαλμάτων εισαγωγής).
• Επίπεδο λέξεων: Αντικατάσταση ορισμένων λέξεων με συνώνυμα, εισαγωγή «θορυβωδών» λέξεων ή άλλων ασήμαντων λεξιλογικών αλλαγών.
• Επίπεδο πρότασης: Αναδιατύπωση της δομής των προτάσεων, προσθήκη ή αναδιάταξη τμημάτων της φράσης χωρίς αλλαγή του γενικού θέματος.
• Σημασιολογικό επίπεδο: Βαθύτερη ανατύπωση του ερωτήματος με διατήρηση της εργασίας του (π.χ. εναλλακτικές διατυπώσεις της ίδιας ερώτησης).

Ο σκοπός αυτών των «επιθέσεων» είναι να εξεταστεί πώς μικρές αποκλίσεις (π.χ. τυχαία τυπογραφικά λάθη ή χρήση συνώνυμων διατυπώσεων) επηρεάζουν την ικανότητα του μοντέλου να εκτελέσει σωστά την εργασία, ενώ η ίδια η εργασία δεν έχει αλλάξει. Κάθε adversarial prompt που δημιουργήθηκε εφαρμόστηκε σε μια σειρά τυπικών NLP εργασιών, συμπεριλαμβανομένης ανάλυσης συναισθήματος, ανίχνευσης γραμματικής ορθότητας, εντοπισμού διπλότυπων προτάσεων, λογικής εξαγωγής συμπερασμάτων (NLI), ανάγνωσης με κατανόηση, μηχανικής μετάφρασης και επίλυσης μαθηματικών προβλημάτων. Για τα πειράματα επιλέχθηκαν 8 διαφορετικοί τύποι εργασιών σε 13 datasets — από τα κλασικά σύνολα GLUE (π.χ. SST-2 για συναίσθημα, MNLI για NLI) έως εξειδικευμένες μαθηματικές και πολύγλωσσες δοκιμές.

Σημαντικό είναι ότι εξετάστηκε η ανθεκτικότητα διαφορετικών μορφών prompt:

• Άμεσα ερωτήματα χωρίς παραδείγματα (zero-shot, μόνο οδηγία).
• Ερωτήματα με μερικά παραδείγματα (few-shot, όπου στο prompt δίνονται δείγματα επίλυσης).
• Prompts με ρόλους (in-context roles, π.χ. «Είστε σύστημα ανάλυσης συναισθήματος, προσδιορίστε...»).
• Prompts που περιγράφουν την εργασία (task-oriented, άμεση περιγραφή της εργασίας).

Επίσης δοκιμάστηκαν διάφορα μεγάλης κλίμακας γλωσσικά μοντέλα, από το σχετικά μικρό Flan-T5-large και το μοντέλο UL2 έως τα προηγμένα ChatGPT και GPT-4, καθώς και τα ανοικτά μοντέλα της οικογένειας LLaMA 2 και το παράγωγό τους Vicuna. Για τη δημιουργία επιθέσεων χρησιμοποιήθηκαν υπάρχουσες μέθοδοι από τον τομέα του adversarial NLP (όπως TextBugger, DeepWordBug, TextFooler και άλλες), προσαρμοσμένες για την τροποποίηση prompts αντί των δεδομένων εισόδου. Η ορθότητα των «παραμορφωμένων» prompts που προέκυψαν επαληθεύτηκε με αυτόματες και χειροκίνητες μεθόδους· σύμφωνα με την έκθεση, τουλάχιστον το 85% των adversarial παραλλαγών διατηρεί τη σωστή σημασιολογία και είναι κατανοητό από άνθρωπο. Έτσι, η επίδραση των επιθέσεων αντικατοπτρίζει αποκλειστικά αστοχίες του μοντέλου στην αντίληψη της αναδιατυπωμένης εργασίας, και όχι απώλεια του ίδιου του νοήματος της εργασίας.

Αποτελέσματα και συμπεράσματα

Οι δοκιμές έδειξαν ότι τα σύγχρονα LLM δεν είναι επαρκώς ανθεκτικά σε μικρές αλλαγές της διατύπωσης του ερωτήματος. Για όλα τα δοκιμασμένα μοντέλα παρατηρήθηκε σημαντική μείωση της ποιότητας των απαντήσεων υπό την επίδραση των adversarial επιθέσεων. Συγκεκριμένα, ακόμη και απλές περιπτώσεις — όπως ένα τυπογραφικό λάθος στο κείμενο ενός μαθηματικού προβλήματος ή η αντικατάσταση μιας βασικής λέξης με συνώνυμό της — οδηγούσαν το μοντέλο σε λανθασμένο αποτέλεσμα, ενώ χωρίς παραμόρφωση αντιμετώπιζε σωστά την εργασία. Το γενικό συμπέρασμα των συγγραφέων: «τα σύγχρονα μεγάλα γλωσσικά μοντέλα δεν είναι robust (ανθεκτικά) σε adversarial prompts», δηλαδή μικρές αποκλίσεις στο phrasing μπορούν συστηματικά να τα παραπλανούν.

Κατά την ανάλυση των διαφόρων τύπων επιθέσεων διαπιστώθηκε ότι οι αλλαγές σε επίπεδο λέξεων επηρεάζουν πιο καταστροφικά τη λειτουργία των LLM. Η αντικατάσταση λέξεων με συνώνυμα ή μικρή μορφολογική παραμόρφωση οδηγούσε στη μεγαλύτερη πτώση ποιότητας — κατά μέσο όρο ≈33% σε σχέση με το αρχικό αποτέλεσμα στις ίδιες εργασίες. Οι επιθέσεις σε επίπεδο χαρακτήρων (τυπογραφικά λάθη, τυχαίοι χαρακτήρες) προκαλούσαν κατά μέσο όρο ~20% μείωση της ακρίβειας. Η ποιοτική αλλαγή ή η προσθήκη ολόκληρων προτάσεων στο prompt, αντίθετα, είχε πολύ πιο αδύναμη επίδραση, σχεδόν χωρίς να αποπροσανατολίζει το μοντέλο. Σημασιολογικές αναδιατυπώσεις (βαθιά αφήγηση του ερωτήματος με διαφορετικό τρόπο) αποδείχθηκαν συγκρίσιμες σε βλαβερότητα με τα απλά τυπογραφικά λάθη. Αυτά τα γεγονότα υπογραμμίζουν ότι τα LLM είναι ιδιαίτερα ευάλωτα σε λεπτές λεξιλογικές αλλαγές και λάθη στις βασικές λέξεις. Χαρακτηριστικά, οι γραμματικές παραμορφώσεις (τυπογραφικά λάθη) μπορούν θεωρητικά να φιλτραριστούν με τυπικά εργαλεία ορθογραφικού ελέγχου, ενώ οι αλλαγές σε επίπεδο λέξεων και νοήματος απαιτούν από το μοντέλο ανεπτυγμένη σημασιολογική κατανόηση, την οποία τα τρέχοντα μοντέλα συχνά δεν διαθέτουν.

Η ανάλυση της απόδοσης των διαφόρων μοντέλων έδειξε σημαντική διακύμανση στην ανθεκτικότητά τους. Το GPT-4 και το UL2 επέδειξαν την καλύτερη ανθεκτικότητα σε adversarial prompts. Ελαφρώς λιγότερο επιρρεπή σε αστοχίες αποδείχθηκαν επίσης το μοντέλο Flan-T5-large και το διαλογικό μοντέλο ChatGPT. Τα μοντέλα της οικογένειας LLaMA 2 κατέλαβαν ενδιάμεση θέση, ενώ το Vicuna (13B) ξεχώρισε ως το πιο ευάλωτο σε όλους τους τύπους επιθέσεων. Ενδιαφέρον είναι ότι το μέγεθος του μοντέλου δεν αποδείχθηκε αποφασιστικός παράγοντας ανθεκτικότητας: το σχετικά μικρό T5-large υπολειπόταν ελάχιστα σε σταθερότητα απάντησης από το πολύ μεγαλύτερο ChatGPT. Οι συγγραφείς υποθέτουν ότι κρίσιμο ρόλο παίζουν οι μέθοδοι εκπαίδευσης και fine-tuning των μοντέλων, και όχι μόνο η κλίμακα. Έτσι, τα UL2 και T5-large υπέστησαν εκτεταμένη προ-εκπαίδευση σε μεγάλα σώματα δεδομένων, ενώ το ChatGPT εκπαιδεύτηκε με Reinforcement Learning από ανθρώπινη ανατροφοδότηση (RLHF), γεγονός που πιθανώς ενίσχυσε την ανθεκτικότητά τους. Αντίθετα, το Vicuna εκπαιδεύτηκε σε συγκριτικά περιορισμένο σύνολο δεδομένων (ως ανοικτό αντίγραφο), γεγονός που πιθανώς εξηγεί την υψηλή ευαισθησία του στις αλλαγές διατύπωσης. Αυτά τα αποτελέσματα υποδηλώνουν ότι η βελτίωση των μεθόδων fine-tuning μπορεί να αυξήσει την αξιοπιστία των μοντέλων περισσότερο από την απλή αύξηση του μεγέθους τους.

Επίδραση της μορφής του prompt

Η μορφή υποβολής του ερωτήματος επηρεάζει επίσης την αξιοπιστία της απάντησης. Διαπιστώθηκε ότι τα prompts με παραδείγματα (few-shot) αυξάνουν σημαντικά την ανθεκτικότητα του μοντέλου σε σύγκριση με μονοβηματικές οδηγίες χωρίς παραδείγματα (zero-shot). Η ύπαρξη στο prompt μερικών επιδεικτικών παραδειγμάτων εργασίας βοηθά το μοντέλο να ερμηνεύει ορθότερα την εργασία ακόμη και με την παρουσία θορυβωδών αλλαγών. Τα prompts με ρόλους και τα περιγραφικά (task-oriented) έδειξαν συγκρίσιμο επίπεδο ανθεκτικότητας συνολικά, αν και η αποτελεσματικότητά τους ποίκιλλε από εργασία σε εργασία. Για παράδειγμα, στα δεδομένα ανάλυσης συναισθήματος και διπλότυπων προτάσεων η μορφή ρόλου ήταν ελαφρώς πιο αξιόπιστη, ενώ στις εργασίες ανάγνωσης με κατανόηση και μετάφρασης λειτούργησαν καλύτερα οι ρητές οδηγίες εργασίας. Αυτές οι παρατηρήσεις μπορούν να χρησιμεύσουν ως οδηγός κατά τον σχεδιασμό prompts: η προσθήκη αναλυτικών παραδειγμάτων και πλαισίου ρόλου μειώνει την πιθανότητα σφάλματος του μοντέλου σε μη τυπικές διατυπώσεις.

Μεταφερσιμότητα επιθέσεων μεταξύ μοντέλων

Η μεταφερσιμότητα (transfer) των επιθέσεων μεταξύ μοντέλων αποδείχθηκε περιορισμένη. Τα adversarial prompts που σχεδιάστηκαν ειδικά εναντίον ενός μοντέλου δεν είναι πάντα εξίσου αποτελεσματικά εναντίον ενός άλλου. Έτσι, παρατηρήθηκε ότι τα prompts-«παγίδες» που δημιουργήθηκαν για τις ευπάθειες του ChatGPT επηρεάζουν πολύ λιγότερο το GPT-4. Το τελευταίο τα αντιμετώπιζε καλύτερα, πιθανώς επειδή οι επιθέσεις δεν μεταφέρονταν άμεσα στην αρχιτεκτονική του — αυτό που αποπροσανατολίζει ένα μοντέλο ενδέχεται να μην επιδρά σε ένα πιο προηγμένο μοντέλο με διαφορετική εκπαίδευση. Ωστόσο, ορισμένοι τύποι απλών παραμορφώσεων (π.χ. τυπογραφικά λάθη) είχαν αρνητική επίδραση σε πολλά μοντέλα ταυτόχρονα, γεγονός που υποδηλώνει παρόμοιες αδυναμίες στη γλωσσική τους βάση.

Πρακτικές συστάσεις

Κατά τη διάρκεια του PromptBench εντοπίστηκαν και πρακτικές συστάσεις για χρήστες και προγραμματιστές LLM. Το απλό συμπέρασμα: η σταθερότητα της διατύπωσης έχει σημασία. Είναι απαραίτητο να αποφεύγονται τυπογραφικά λάθη και απρόσεκτες διατυπώσεις στο ερώτημα. Οι συγγραφείς δείχνουν ότι η διόρθωση ακόμη και μικρών σφαλμάτων (ορθογραφία, τυχαία κεφαλαία, περιττά κενά) μπορεί να αυξήσει σημαντικά την αξιοπιστία της απάντησης του μοντέλου. Επιπλέον, η επιλογή των λέξεων στην οδηγία επηρεάζει την ανθεκτικότητά της. Η ανάλυση της συχνότητας των όρων σε ανθεκτικά vs. ευάλωτα prompts αποκάλυψε ότι ορισμένες λέξεις εμφανίζονται συχνότερα σε «αξιόπιστα» prompts, ενώ άλλες — σε εκείνα όπου το μοντέλο αστόχησε. Για παράδειγμα, prompts που περιέχουν λέξεις όπως «acting», «provided», «detection» κ.λπ. οδηγούσαν σπανιότερα σε αστοχίες, ενώ λέξεις όπως «respond», «following» ή «examine» εμφανίζονταν σε πιο προβληματικές περιπτώσεις. Αυτό υποδηλώνει ότι ένα συγκεκριμένο ύφος και λεξιλόγιο ερωτημάτων μπορεί να μετριάζει ή, αντίθετα, να προκαλεί ευπάθειες του μοντέλου. Γενικά συνιστάται να διατυπώνεται το ερώτημα όσο πιο σαφώς, αναμφίβολα και σε οικείους για το μοντέλο όρους, ιδίως για κρίσιμες εφαρμογές.

Ένα ενδιαφέρον παρεπόμενο αποτέλεσμα που παρατήρησαν οι ερευνητές είναι η επίδραση της προσθήκης άσκοπων ή άσχετων αποσπασμάτων κειμένου στο ερώτημα. Διαπιστώθηκε ότι η εισαγωγή τυχαίας ακολουθίας χαρακτήρων (π.χ. «LKF0FZxMZ4») στο τέλος ή στη μέση ενός prompt μπορεί να αποσπάσει την προσοχή του μοντέλου και να μειώσει την ακρίβεια της απάντησής του. Από την άλλη πλευρά, η προσθήκη μιας ουδέτερης αλλά γραμματικά ορθής φράσης (π.χ. «and true is true») σε ορισμένες περιπτώσεις αντίθετα βελτίωνε την απάντηση, σαν να εστίαζε το μοντέλο στα σημαντικά τμήματα της ερώτησης. Αυτό το φαινόμενο υπογραμμίζει πόσο απρόβλεπτα αντιδρούν τα LLM σε, φαινομενικά, ασήμαντες λεπτομέρειες εισόδου. Μαρτυρεί επίσης την πολυπλοκότητα της εσωτερικής δομής των μοντέλων: οι ελάχιστες αλλαγές πλαισίου μπορεί είτε να διαταράξουν είτε να βελτιώσουν τη λειτουργία τους, ανάλογα με το πώς αναδιανέμεται η προσοχή του μοντέλου.

Σημασία και περαιτέρω ανάπτυξη

Το PromptRobust/PromptBench συνέβαλε σημαντικά στην κατανόηση της αξιοπιστίας των LLM. Το προτεινόμενο benchmark και τα συλλεχθέντα δεδομένα είναι ανοικτά στην κοινότητα: ο κώδικας και τα σύνολα adversarial prompts είναι διαθέσιμα στο αποθετήριο. Αυτό επιτρέπει σε άλλους ερευνητές να δοκιμάζουν νέα μοντέλα ως προς την ανθεκτικότητά τους σε παραλλαγές ερωτημάτων και να συγκρίνουν αποτελέσματα. Επόμενο βήμα είναι η ανάπτυξη μεθόδων προστασίας των μοντέλων από τέτοιες επιθέσεις — για παράδειγμα, βελτιωμένοι αλγόριθμοι εκπαίδευσης που λαμβάνουν υπόψη πιθανά τυπογραφικά λάθη και αναδιατυπώσεις, ή ενσωματωμένα συστήματα κανονικοποίησης της εισερχόμενης γλώσσας. Το PromptBench ήδη θεωρείται βάση για τέτοιες έρευνες σχετικά με την ενίσχυση της robustness (ανθεκτικότητας) των γλωσσικών μοντέλων σε πραγματικά ανακριβή δεδομένα εισόδου.

Εν κατακλείδι, η εργασία του Zhu και των συναδέλφων του αναδεικνύει τη σημασία της λήψης υπόψη της ανθεκτικότητας σε prompts κατά την ενσωμάτωση LLM σε πρακτικές εφαρμογές: τα μοντέλα πρέπει όχι μόνο να επιδεικνύουν υψηλή ακρίβεια σε «καθαρά» δεδομένα, αλλά και να διατηρούν την ορθότητά τους σε μικρές αποκλίσεις στην είσοδο, είτε πρόκειται για τυχαία σφάλματα χρήστη είτε για σκόπιμες κακόβουλες επιθέσεις.

Αναφορές

• Πρωτότυπο άρθρο PromptBench (arXiv)
• Αποθετήριο PromptBench στο GitHub
• Άρθρο «Prompt Robustness: How to Measure and How to Enhance» (Towards AI)

Βιβλιογραφία

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.