PromptRobust (benchmark) (TR)

From Systems analysis Wiki
Jump to navigation Jump to search

PromptRobust (ayrıca PromptBench olarak da bilinir) — büyük dil modellerinin (LLM) adverşiyal prompt değişikliklerine karşı dayanıklılığını değerlendiren kapsamlı bir benchmark'tır; bu değişiklikler, görevin anlamını değiştirmeyen küçük ifade bozulmalarından oluşmaktadır[1][2]. Benchmark, 2023 yılında Microsoft Research Asia'dan bir araştırmacı grubu (Kaijie Zhu ve diğerleri) tarafından geliştirilmiştir[1]. PromptRobust'ın ortaya çıkışı, modern BDM'lerin ifade ayrıntılarına duyarlı olduğu gözlemine dayanmaktadır: yazım hataları veya yeniden ifade etme gibi küçük değişiklikler bile modellerin yanıtlarını belirgin biçimde etkileyebilmektedir[2]. Benchmark, bu zafiyeti sayısal olarak ölçmeyi ve BDM'lerle daha güvenilir etkileşim yöntemlerinin geliştirilmesine katkıda bulunmayı amaçlamaktadır.

Değerlendirme Metodolojisi

PromptBench araştırması kapsamında, görevlerin özgün anlamını koruyan 4788 değiştirilmiş prompt'tan oluşan bir külliyat oluşturulmuştur[3]. Bu adverşiyal prompt'lar dört farklı değişiklik karmaşıklığı düzeyinde üretilmiştir[1]:

  • Karakter düzeyi: Yazım hatası ekleme, karakter değiştirme veya yer değiştirme (rastgele giriş hatalarını taklit eder).
  • Kelime düzeyi: Bazı kelimeleri eş anlamlılarıyla değiştirme, "gürültülü" kelimeler ekleme veya diğer küçük sözcüksel değişiklikler.
  • Cümle düzeyi: Cümle yapılarını yeniden ifade etme, genel konuyu değiştirmeksizin ifadenin bölümlerini ekleme veya yer değiştirme.
  • Anlamsal düzey: Görevin içeriğini koruyarak soruyu daha derinden yeniden ifade etme (örneğin aynı sorunun alternatif ifade biçimleri)[1].

Bu tür "saldırıların" amacı, görevin kendisi değişmemişken küçük sapmaların (örn. rastgele yazım hataları veya eş anlamlı ifadeler kullanımı) modelin görevi doğru biçimde yerine getirme yeteneğini nasıl etkilediğini test etmektir[1]. Üretilen her adverşiyal prompt, duygu analizi, dilbilgisel doğruluk tespiti, yinelenen cümle bulma, mantıksal çıkarım (NLI), okuduğunu anlama, makine çevirisi ve matematik problemi çözme dahil olmak üzere bir dizi standart NLP görevine uygulanmıştır[1]. Deneyler için 13 dataset üzerinde 8 farklı görev türü seçilmiştir; bu görevler, duygu analizi için SST-2 ve NLI için MNLI gibi klasik GLUE setlerinden özel matematik ve çok dilli testlere kadar uzanmaktadır[1].

Önemli olan, farklı prompt formatlarının dayanıklılığının da test edilmiş olmasıdır[1]:

  • Örnek içermeyen doğrudan sorgular (zero-shot, yalnızca talimat).
  • Birkaç örnek içeren sorgular (few-shot, prompt'ta çözüm örnekleri verilir).
  • Rol tabanlı prompt'lar (in-context roles, örneğin "Siz bir duygu analizi sistemisiniz, belirleyin...").
  • Görevi tanımlayan prompt'lar (task-oriented, görevin doğrudan açıklaması)[1].

Ayrıca görece küçük Flan-T5-large ve UL2 modelinden ileri düzey ChatGPT ve GPT-4'e, aynı zamanda açık kaynaklı LLaMA 2 ailesi modelleri ve bundan türetilen Vicuna'ya kadar çeşitli büyük ölçekli dil modelleri test edilmiştir[1]. Saldırılar üretmek için adverşiyal NLP alanındaki mevcut yöntemler (TextBugger, DeepWordBug, TextFooler ve diğerleri gibi), girdi verileri yerine prompt'ları değiştirmeye uyarlanarak kullanılmıştır[1]. Oluşturulan "bozulmuş" prompt'ların doğruluğu otomatik ve elle yöntemlerle kontrol edilmiş; rapora göre adverşiyal varyasyonların en az %85'i doğru anlamı korumakta ve insan tarafından anlaşılabilir durumdadır[1]. Dolayısıyla saldırıların etkisi, görevin anlamının yitirilmesinden değil, modelin yeniden ifade edilen görevi algılamadaki başarısızlıklarından kaynaklanmaktadır.

Sonuçlar ve Bulgular

Testler, modern BDM'lerin prompt ifadesindeki küçük değişikliklere karşı yeterince dayanıklı olmadığını ortaya koymuştur[3]. Test edilen tüm modellerde üretilen saldırıların etkisiyle yanıt kalitesinde belirgin bir düşüş gözlemlenmiştir[3]. Özellikle, matematik problemi metnindeki yazım hatası veya bir anahtar kelimenin eş anlamlısıyla değiştirilmesi gibi basit durumlar bile modelin yanlış sonuç vermesine yol açmış; oysa bozulma olmadan aynı görevi doğru biçimde yerine getirebilmekteydi[1]. Yazarların genel sonucu şudur: "Modern büyük dil modelleri adverşiyal prompt'lara karşı dayanıklı (robust) değildir", yani phrasing'deki küçük sapmalar onları sistematik biçimde yanıltabilmektedir[3].

Farklı saldırı türlerinin analizi, BDM'lerin işleyişini en fazla kelime düzeyindeki değişikliklerin olumsuz etkilediğini ortaya koymuştur[2]. Kelimelerin eş anlamlılarıyla değiştirilmesi veya küçük sözcüksel bozulmalar, aynı görevlerdeki orijinal sonuca kıyasla ortalama ≈%33 oranında en büyük kalite düşüşüne yol açmıştır[2]. Karakter düzeyindeki saldırılar (yazım hataları, rastgele karakterler) ortalama ~%20 doğruluk düşümüne neden olmuştur[2]. Prompt'a tam cümleler eklenmesi veya kaliteli değişiklikler yapılması ise aksine çok daha zayıf bir etki göstermiş ve modeli neredeyse hiç şaşırtmamıştır[1]. Anlamsal yeniden ifadeler (sorguyu farklı bir şekilde derinlemesine aktarma), zararlılık açısından basit yazım hatalarıyla kıyaslanabilir düzeyde olduğu görülmüştür[1]. Bu bulgular, BDM'lerin özellikle ince sözcüksel değişikliklere ve anahtar kelimelerdeki hatalara karşı savunmasız olduğunu vurgulamaktadır[1]. Dilbilgisel bozulmaların (yazım hataları) teorik olarak standart yazım denetimi araçlarıyla filtrelenebileceği, buna karşılık kelime ve anlam düzeyindeki değişikliklerin mevcut modellerde sıklıkla eksik olan gelişmiş anlamsal anlayış gerektirdiği dikkat çekicidir[1].

Farklı modellerin performans analizi, dayanıklılıkları açısından önemli farklılıklar ortaya koymuştur[1]. GPT-4 ve UL2, adverşiyal prompt'lara karşı en iyi dayanıklılığı sergilemiştir[1]. Flan-T5-large modeli ve diyalog modeli ChatGPT de biraz daha az hataya eğilimli bulunmuştur[1]. LLaMA 2 ailesi modelleri orta sıralarda yer alırken, Vicuna (13B) tüm saldırı türlerine karşı en savunmasız model olarak öne çıkmıştır[1]. İlginç olan, model boyutunun dayanıklılığı belirleyen temel faktör olmadığıdır[1]: görece küçük T5-large, yanıt kararlılığı açısından çok daha büyük ChatGPT modeline neredeyse hiç yenilmemiştir[1]. Yazarlar, ölçekten ziyade modellerin eğitim ve fine-tuning yöntemlerinin kilit rol oynadığını öne sürmektedir[1]. Örneğin UL2 ve T5-large, büyük veri külliyatları üzerinde kapsamlı ön eğitimden geçmiş; ChatGPT ise insan geri bildiriminden pekiştirmeli öğrenme (RLHF) ile eğitilmiş; bu durum onların dayanıklılığını güçlendirmiş olabilir[1]. Vicuna ise açık kaynaklı bir kopya olarak görece sınırlı bir veri kümesi üzerinde eğitilmiş; bu durum büyük olasılıkla onun ifade değişikliklerine karşı yüksek duyarlılığını açıklamaktadır[1]. Bu sonuçlar, fine-tuning yöntemlerinin iyileştirilmesinin, model boyutunu büyütmekten daha fazla güvenilirlik sağlayabileceğine işaret etmektedir.

Prompt Formatının Etkisi

Sorgunun sunum biçimi de yanıtın güvenilirliğini etkilemektedir[1]. Örnekli prompt'ların (few-shot), örnek içermeyen tek adımlı talimatlara (zero-shot) kıyasla modelin dayanıklılığını önemli ölçüde artırdığı saptanmıştır[1]. Prompt'ta birkaç gösterim örneği bulunması, modelin gürültülü değişiklikler karşısında bile görevi daha doğru yorumlamasına yardımcı olmaktadır. Rol tabanlı ve tanımlayıcı (task-oriented) prompt'lar genel olarak karşılaştırılabilir bir dayanıklılık düzeyi sergilemiş; ancak etkinlikleri göreve göre farklılık göstermiştir[1]. Örneğin duygu analizi ve yinelenen cümle verilerinde rol formatı biraz daha güvenilir sonuçlar verirken, okuduğunu anlama ve çeviri görevlerinde açık görev talimatları daha iyi sonuç vermiştir[1]. Bu gözlemler, prompt tasarımında yol gösterici nitelikte olabilir: ayrıntılı örnekler ve rol bağlamı eklenmesi, modelin alışılmadık ifadeler karşısında hata yapma olasılığını azaltmaktadır.

Saldırıların Modeller Arası Aktarılabilirliği

Saldırıların modeller arasındaki aktarılabilirliği (transferi) sınırlı kalmıştır[1]. Bir modele karşı özel olarak hazırlanmış adverşiyal prompt'lar, her zaman başka bir modele karşı aynı ölçüde etkili olamamaktadır[1]. Örneğin ChatGPT'nin zafiyetleri için üretilen "tuzak" prompt'ların GPT-4'ü çok daha az etkilediği gözlemlenmiştir[1]. GPT-4 daha iyi performans göstermiştir; bunun nedeni büyük olasılıkla saldırıların onun mimarisine doğrudan aktarılamamasıdır — bir modeli şaşırtan şey, farklı eğitim altyapısına sahip daha gelişmiş bir modele etki etmeyebilir[1]. Bununla birlikte, bazı basit bozulma türleri (örneğin yazım hataları) birden fazla model üzerinde olumsuz etki göstermiş; bu durum dil temellerindeki ortak zafiyetlere işaret etmektedir.

Pratik Öneriler

PromptBench çalışması sürecinde BDM kullanıcıları ve geliştiricileri için pratik öneriler de belirlenmiştir[2]. Basit sonuç: ifade kararlılığı önemlidir[2]. Sorguda yazım hatalarından ve özensiz ifadelerden kaçınmak gerekmektedir[2]. Yazarlar, küçük hataların bile düzeltilmesinin (yazım, rastgele büyük-küçük harf, fazladan boşluk) modelin yanıt güvenilirliğini önemli ölçüde artırabileceğini göstermektedir[2]. Bunun yanı sıra, talimattaki kelime seçimi dayanıklılığı etkiler[2]. Dayanıklı ve savunmasız prompt'lardaki terim sıklıklarının analizi, bazı kelimelerin "güvenilir" prompt'larda daha sık geçtiğini, diğerlerinin ise modelin yanıldığı durumlarda daha sık karşılaşıldığını ortaya koymuştur[2]. Örneğin "acting", "provided", "detection" gibi kelimeleri içeren prompt'lar daha az hataya yol açarken, "respond", "following" veya "examine" gibi kelimeler daha sorunlu durumlarda karşılaşılmıştır[2]. Bu, belirli bir sorgu üslubunun ve sözcük dağarcığının model zafiyetlerini azaltabileceğini ya da tersine kışkırtabileceğine işaret etmektedir. Genel olarak, özellikle kritik uygulamalar için sorgunun mümkün olduğunca açık, net ve modelin alışkın olduğu terimlerle ifade edilmesi önerilmektedir[2].

Araştırmacıların dikkat çektiği ilginç bir yan etki, sorgya anlamsız veya ilgisiz metin parçaları eklenmesinin etkisidir[2]. Rastgele bir karakter dizisinin (örneğin "LKF0FZxMZ4") prompt'un sonuna veya ortasına eklenmesinin modelin dikkatini dağıtabileceği ve yanıt doğruluğunu düşürebileceği ortaya çıkmıştır[2]. Öte yandan, tarafsız ama dilbilgisel açıdan doğru bir ifadenin eklenmesi (örneğin "and true is true" — "ve doğru doğrudur") bazı durumlarda aksine yanıtı iyileştirmiş; sanki model sorunun anlamlı bölümlerine odaklanmıştır[2]. Bu fenomen, BDM'lerin görünürde önemsiz giriş ayrıntılarına ne denli öngörülmez biçimde tepki verdiğini vurgulamaktadır. Aynı zamanda modellerin iç yapısının karmaşıklığına da işaret etmektedir: bağlamın en ufak değişiklikleri, modelin dikkatinin nasıl yeniden dağıldığına bağlı olarak işleyişini ya bozabilir ya da iyileştirebilir.

Önemi ve Sonraki Gelişmeler

PromptRobust/PromptBench, BDM'lerin güvenilirliğinin anlaşılmasına önemli katkılar sağlamıştır[2]. Önerilen benchmark ve toplanan veriler topluluk için açık tutulmaktadır: kod ve adverşiyal prompt setleri depoda erişilebilir durumdadır[1]. Bu durum, diğer araştırmacıların yeni modelleri sorgu varyasyonlarına karşı dayanıklılık açısından test etmesine ve sonuçları karşılaştırmasına olanak tanımaktadır[1]. Sonraki adım, modelleri bu tür saldırılara karşı koruma yöntemlerinin geliştirilmesidir; örneğin olası yazım hatalarını ve yeniden ifadeleri hesaba katan geliştirilmiş öğrenme algoritmaları veya giriş metnini normalleştiren yerleşik sistemler[2]. PromptBench, dil modellerinin gerçek dünyada karşılaştıkları belirsiz giriş verilerine karşı dayanıklılığını (robustness) artırmaya yönelik araştırmalar için zaten bir temel olarak değerlendirilmektedir[2].

Sonuç olarak Zhu ve meslektaşlarının çalışması, BDM'lerin pratik uygulamalara entegrasyonunda prompt dayanıklılığının göz önünde bulundurulmasının önemini ortaya koymaktadır: modeller yalnızca "temiz" verilerde yüksek doğruluk sergilemekle kalmayıp, ister kullanıcının kazara yaptığı hatalar ister kasıtlı saldırı girişimleri olsun, girişte küçük sapmalar olduğunda da doğruluğunu koruyabilmelidir[2][4].

Dış bağlantılar

  • PromptBench Orijinal Makalesi (arXiv)
  • GitHub'da PromptBench Deposu
  • "Prompt Robustness: How to Measure and How to Enhance" Makalesi (Towards AI)

Kaynakça

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Notlar

  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 1.28 1.29 1.30 1.31 1.32 1.33 1.34 1.35 «PromptBench: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts». arXiv. [1]
  2. ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 «Prompt Robustness: How to Measure and How to Enhance». Towards AI. [2]
  3. ↑ 3.0 3.1 3.2 3.3 «PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts». arXiv. [3]
  4. ↑ «Realer Toxicity Prompts (RTP-2.0): Multilingual and Adversarial Prompts for Evaluating Neural Toxic Degeneration in Large Language Models». Language Technologies Institute - School of Computer Science - Carnegie Mellon University. [4]
Retrieved from "https://systems-analysis.info/int/index.php?title=PromptRobust_(benchmark)_(TR)&oldid=5952"