SWE-bench (benchmark) (TR)

From Systems analysis Wiki
Jump to navigation Jump to search

SWE-bench — kapsamlı bir benchmark (test görevleri kümesi) olup büyük dil modellerinin (LLM) otomatik yazılım geliştirme ve hata ayıklama alanındaki yeteneklerini değerlendirmek amacıyla kullanılır[1]. Princeton Üniversitesi ve diğer kuruluşlardan bir araştırmacı grubu tarafından geliştirilmiş ve ICLR 2024 konferansında tanıtılmıştır[2]. SWE-bench, geleneksel kod benchmark'larından farklı olarak gerçek geliştirme pratiğinden alınan gerçek görevleri kullanır: test kümesi, GitHub'daki 12 popüler açık kaynaklı Python deposundan kapatılmış sorunlara (issue) ve bunlara karşılık gelen düzeltmelere (pull request) dayanan 2294 görev içerir[1][3]. Her görev, sorunun açıklamasını (issue) içerir ve modele ilgili projenin kaynak koduna erişim sağlar; modelin amacı, belirtilen sorunu düzeltecek minimum kod tabanı değişikliklerini (yama) üretmektir[1][3].

Değerlendirme Yöntemi ve Özellikleri

SWE-bench, gerçek yazılım geliştirme sürecini modellemektedir. Her görev için modele, orijinal GitHub issue metni (sorun açıklaması) ve düzeltme uygulanmadan önceki depo kodunun anlık görüntüsü sunulur[4]. Modelin (ya da modele dayalı bir ajanın) kaynak kodu analiz etmesi, hatanın ya da istenen değişikliğin niteliğini anlaması ve ilgili kod dosyalarında düzenleme yaparak sorunu gidermesi gerekmektedir[4][5]. Çözümün doğrulanması otomatiktir: her göreve, söz konusu sorunu kapatan pull request'ten alınan gerçek birim testleri bağlıdır. Bunlar arasında hem «başarısız-geçen» testler (fail-to-pass: orijinal kodda geçmeyen, ancak doğru düzeltme uygulandıktan sonra geçmesi gereken testler) hem de regresyon testleri (pass-to-pass: başlangıçta geçen ve değişikliklerden sonra da geçmeye devam etmesi gereken testler) yer almaktadır[3]. Model tarafından önerilen yama koda uygulanır, ardından ilgili testler çalıştırılır: tüm fail-to-pass testleri geçmeye başlarsa ve pass-to-pass testleri bozulmazsa görev doğru çözülmüş sayılır[3]. Bu değerlendirme yaklaşımı, yalnızca modelin sözdizimsel olarak doğru kod üretip üretemediğini değil, mevcut işlevselliği bozmadan görevi gerçekten çözüp çözemediğini de sınamaktadır. Bu süreçte model, büyük bir bağlamla (bütünüyle bir kod deposu) çalışmak, bileşenler arasındaki ilişkileri anlamak ve birden fazla dosyada eş zamanlı değişiklikleri koordine etmek zorundadır[1] — tüm bunlar, bir açıklamaya göre fonksiyon yazmak gibi tipik görevlerden çok daha zordur.

SWE-bench değerlendirmelerinde genellikle yalnızca LLM'lerin kendisi değil, modeli yardımcı araçlarla (örneğin dosya gezintisi, kod yürütme, hata ayıklayıcı kullanımı gibi) saran ajan sistemleri yer alır[4][6]. Bu tür bir sistem gerçek geliştirme döngüsünü taklit eder: model sırayla dosyaları inceleyebilir, testleri ya da komut dosyalarını çalıştırabilir ve başarılı bir sonuca ulaşana kadar çözümü adım adım iyileştirebilir[4]. Dikkat çekici olan şudur ki SWE-bench görevlerini çözmedeki etkinlik büyük ölçüde bu «scaffolding» kalitesine (ajan altyapısına) bağlıdır: aynı temel modeller, depo ve araçlarla etkileşimin nasıl düzenlendiğine göre farklı sonuçlar verebilmektedir[4][7]. Dolayısıyla SWE-bench, modelin ve onun görev çözme stratejisinin bir bütün olarak ne kadar yetenekli olduğunu ölçen bir araç işlevi görmekte; değerlendirmeyi özerk bir yapay zeka geliştiricinin gerçek çalışma koşullarına yaklaştırmaktadır[4][7].

Görev Kümesi Varyantları

SWE-bench'in yazarları ve topluluk, daha sonra çeşitli değerlendirme amaçları için birkaç türev küme sunmuştur:

  • SWE-bench Lite — modellerin test edilmesindeki karmaşıklığı ve hesaplama maliyetini azaltmak amacıyla seçilmiş ~300 görev içeren basitleştirilmiş bir benchmark sürümüdür[8]. Bu alt küme, modellerle hızlı deneyler yapmak için oluşturulmuş olup en zahmetli doğrulamaları dışarıda bırakırken temel sorunların temsil edilebilirliğini korur[7]. Özünde Lite, daha basit ve kısa hata düzeltme görevleri içerir; modellerin Lite üzerindeki sonuçları, en zorlu vakaların dışlanması nedeniyle genellikle tam küme üzerindekinden daha yüksektir[7].
  • SWE-bench Verified — Ağustos 2024'te OpenAI ile ortaklaşa sunulan, elle doğrulama ile filtrelenmiş bir alt kümedir[7]. Araştırmacılar, orijinal benchmark'taki her görevi incelemek için 93 profesyonel geliştiriciyi göreve almış ve sorunun orijinal açıklamasının çok belirsiz olduğu ya da testlerin gerektirdiği davranışın görev koşullarından açıkça kaynaklanmadığı durumları elediler[7]. Ortam sorunları veya hatalı testler nedeniyle pratikte çözülmesi imkânsız olan görevler de kaldırıldı[7]. Sonuç olarak çözülebilir ve doğru formüle edilmiş olduğu garanti edilen 500 görevden oluşan bir küme oluşturuldu[7]. SWE-bench Verified, testlerin ya da görevin yetersizliği nedeniyle doğru bir çözümün bile reddedildiği durumları ortadan kaldırarak modellerin yeteneklerinin daha güvenilir biçimde değerlendirilmesini sağlamayı amaçlamaktadır[7]. Bu küme, modelleri karşılaştırmak için birincil referans olarak SWE-bench'in orijinal test örneklemlerinin (tam ve Lite) yerini almıştır[7]. Bunun yanı sıra Verified ile birlikte görev güçlük derecelendirmeleri de yayımlanmıştır (örneğin bir insan tarafından <15 dakikada çözülebilen «kolay» görevler ve >1 saat gerektiren «zor» görevler belirlenmiştir)[7]; ayrıca daha kararlı ve yeniden üretilebilir test çalıştırmaları için Docker tabanlı yeni bir araç iskeleti de yayımlanmıştır[7].
  • SWE-bench Multimodal — Ocak 2025'te tanıtılan benchmark genişlemesi olup sorun açıklamasının yalnızca metin değil görsel öğeler de içerdiği görevleri kapsar (örneğin arayüz görüntüleri, hata ekran görüntüleri vb.)[8]. Bu küme (517 görev[8]), modellerin ve ajanların programlama görevlerini çözerken görsel bilgiyi anlama ve kullanma yeteneğini sınar. Multimodal küme üzerindeki değerlendirme benzer şekilde organize edilmiştir; ancak modelden çoklu-modal yetenekler (örneğin görüntüler üzerindeki metni tanıma) beklenmektedir. SWE-bench Multimodal'ın test bölümü, çözümlerin bilinen cevaplara göre ayarlanmasını önlemek amacıyla kapalı (gizli) bırakılmıştır; geliştiriciler, modellerini bu görevler üzerinde değerlendirmek için uzak bir liderlik tablosuna çözüm gönderebilir[2].

Bu temel varyasyonların yanı sıra SWE-bench çevresinde bir araç ekosistemi de oluşmuştur: SWE-agent — benchmark görevlerinde öncü sonuçlar ortaya koyan açık kaynaklı bir çözücü «ajan» yazılımı[2]; SWE-smith — kendi geliştirici modellerini eğitmek için bir çerçeve; SWE-REX — depolardan genişletilmiş bilgi çıkarma ve işleme aracı ve diğerleri. Bu projeler, sonuçların yeniden üretilmesini kolaylaştırmayı ve özerk programlama sistemleri araştırmalarını ilerletmeyi hedeflemektedir.

Model Sonuçları ve İlerlemesi

SWE-bench ilk ortaya çıktığında, modern LLM'ler ile deneyimli programcıların becerileri arasındaki derin uçurumu gün yüzüne çıkardı. Yazarlar, 2023'ün başındaki en güçlü modellerin bile görevlerin yalnızca birkaç yüzdesiyle başa çıkabildiğini bildirdi: örneğin Anthropic'in Claude 2 modeli tam kümedeki görevlerin %2sinden azını başarıyla çözebildi[1]. Benchmark yazarlarının özel olarak eğittiği model (LLaMA tabanlı, SWE-Llama adıyla anılan) ve GPT-4 gibi tescilli modeller ağırlıklı olarak yalnızca en basit hataları çözebildi[1]. Bu düşük başlangıç metrikleri, SWE-bench'in zorluğunu vurguladı ve yeni yaklaşımların geliştirilmesine zemin hazırladı.

2024 boyunca daha gelişmiş modeller ve ajan şemalarının ortaya çıkmasıyla sonuçlar belirgin biçimde iyileşti. Princeton'daki araştırmacılar, GPT-4'ü kod arama, planlama ve diğer araçlarla birleştiren SWE-agent sistemini tanıttı; bu sistem tam kümede yaklaşık %12,5 oranında çözülen görev elde ederek akademik modeller için yeni bir referans noktası belirledi[5]. 2024'ün ortasına gelindiğinde SWE-bench'in resmi liderlik tablosundaki en iyi çözümler (tescilli olanlar dahil) tam benchmark'ta yaklaşık %20 ve basitleştirilmiş Lite kümesinde %43e kadar başarılı çözüme ulaştı[7]. Bu artış, hem modellerin gelişmesiyle (GPT-4, Claude 2 ve 3'ün ortaya çıkması gibi) hem de özellikle «scaffolding»in ilerlemesiyle — yani modelin görevi adımlara etkin biçimde bölmesine, belgeleri okumasına, hata ayıklama oturumları başlatmasına vb. olanak tanıyan dış stratejilerle — açıklanabilir[7].

2024'ün sonlarında Verified kümesinin (hatalı görevlerden arındırılmış) tanıtılmasıyla ölçülen performans daha da yükseldi. GPT-4 modeli (GPT-4o varyantı) Verified üzerinde hemen yaklaşık %33 başarılı çözüm oranı gösterdi; orijinal kümede ise bu oran ~%16 civarındaydı[7]. En iyi açık ajan çerçeveleri (örneğin Agentless), Verified üzerindeki sonuçlarını ~%16dan %32ye iki katına çıkardı[7]. Bu, orijinal benchmark'ın çözülemez vakalar nedeniyle metrikleri bir ölçüde düşük gösterdiği yönündeki varsayımı doğruladı[7]. Öte yandan Lite'a kıyasla Verified üzerindeki iyileşme o kadar çarpıcı değil (en iyi modeller Lite'ta zaten ~%43'e ulaşmıştı); bu da mantıklı: Lite başından beri daha kolay örnekleri seçmişti, Verified ise gerçekleştirilmesi imkânsız görevleri kaldırdı ama zor görevleri bıraktı[7]. Önemli olan şu ki Verified'a geçişte performans artışı yalnızca en zor görevlerin elenmesine değil, tüm güçlük kategorilerinde yaşandı — yani filtreleme, görece basit görevler arasındaki gizlice çözülemez vakaları da temizledi[7].

2025'in başı itibarıyla lider yapay zeka sistemleri, doğrulanmış görev kümesinde insan performansına yakın sonuçlar sergilese de %100 tavanı hâlâ çok uzakta. Ocak 2025'te Anthropic, yeni Claude 3.5 Sonnet modelinin geliştirilmiş bir ajanla birlikte SWE-bench Verified görevlerinin %49unu çözdüğünü açıkladı[4] ve geçici olarak birinci sıraya yükseldi. Büyük teknoloji şirketleri ve bağımsız ekipler de bu benchmark üzerindeki gayri resmi yarışmalara aktif biçimde katılmaktadır. Örneğin CodeStory ekibi, Verified üzerinde kayıtlara geçen %62,2 çözülen görev oranına ulaşan çok modelli, varyant deneme tabanlı bir yaklaşım («Midwit Agent») geliştirdi (2025 başı verisi)[5][9]. Bunun için model çıkarım aşamasındaki hesaplama kaynaklarının (inference time scaling olarak da bilinir) önemli ölçüde artırılması, çok sayıda çözüm denemesinin çalıştırılması ve en iyi sonucun seçilmesi gerektiği belirtildi[5]. Öte yandan OpenAI materyallerinde, yeterli hesaplama ölçeğinde deneysel GPT-03 sisteminin Verified üzerinde %70 eşiğini aştığının iddia edildiğinden söz edildi (gayri resmi veriler)[5]. Ancak bu sonuçların bağımsız doğrulaması mevcut değildir ve bu denli yüksek bir oran, ulaşılmış bir düzeyden çok gelecekteki araştırmalar için bir referans noktası olarak kalmaktadır.

Microsoft Research'ün araştırmasına (2025) göre en yeni modeller bile hata ayıklama araçlarıyla donatıldığında SWE-bench Lite'tan başarılı hata düzeltmelerinde %50 eşiğini hâlâ aşamamaktadır[6]. Bu testte en iyi sonucu, yaklaşık %48,4 çözülen görevle Claude 3.7 Sonnet elde etti; GPT-4 tabanlı sistem (OpenAI 01) ise yaklaşık %30, daha hafif model 03-mini ise yalnızca %22 çözebildi[6]. Bu sonuçlar, hızlı ilerlemeye rağmen günümüz yapay zekâsının henüz deneyimli programcıların gerisinde kaldığını vurgulamaktadır: bir insan için bu tür görevleri çözmek (kod anlayışı mevcut olduğunda) zor değilken, model hata ayıklama araçlarını etkin biçimde kullanamıyor ya da çok adımlı hata düzeltme sürecini yansıtan eğitim verisi eksikliğinden muzdarip oluyor[6].

Kısıtlamalar ve Beklentiler

SWE-bench, akıllı kod ajanlarını değerlendirmek için standart bir platform hâline gelmiştir; ancak araştırmalar bir dizi sınırlılığını da ortaya koymuştur. Temel sorun test kapsamının yetersizliğidir: her göreve ait doğrulama testleri belirli bir pull request'ten alınır ve genellikle yalnızca hata düzeltmesi sırasında değiştirilen birim testlerini içerir[3]. Zhejiang Üniversitesi ve Stuttgart Üniversitesi'nden bir araştırmacı grubunun (Wang et al. 2025) analizinin gösterdiği üzere, projenin geri kalan testlerinin göz ardı edilmesi bazı çözümlerin hatalılığını gizleyebilmektedir[3]. Depo testlerinin tam kümesi üzerinde çözümlerin yeniden doğrulanması, SWE-bench'te başarılı olarak işaretlenen yamaların ortalama %7,8inin aslında projedeki diğer testleri geçemediğini ortaya koydu[3]. Bu durum, «çözülen görevler» metriğinin yaklaşık 4-6 yüzde puanı oranında şişirilmesine yol açmaktadır[3]. Daha ince bir durum ise üretilen yamanın tüm orijinal testleri geçmesine karşın geliştiricinin çözümüne eşdeğer olmaması ve programın davranışını beklenmedik biçimde değiştirmesidir. Ek test senaryolarının üretilmesi (PatchDiff metodolojisi) aracılığıyla araştırmacılar, yapay zekânın önerdiği düzeltmelerin neredeyse %30unun referans yamalardan farklı davrandığını ve yaklaşık %11inin mevcut testler tarafından tespit edilmesine rağmen kesinlikle hatalı olduğunu belirledi[3]. Dolayısıyla modellerin gerçek yetenekleri, sınırlı bir test kümesinin geçilmesine dayanılırsa aşırı tahmin edilebilir. SWE-bench'in yaratıcıları bu açığı kabul etmekte ve benchmark'ın zamanla gelişmesi gerektiğini vurgulamaktadır: test kapsamının iyileştirilmesi, istenmeyen yan etkilerin yokluğuna ilişkin kontrollerin eklenmesi ve görev türleri yelpazesinin genişletilmesi[7]. Bu tür değerlendirme araçlarının geliştirilmesi, giderek daha özerk ve güçlü hâle gelen yapay zekâ geliştiricilerinin ortaya çıkışına hazırlanmanın önemli bir parçasıdır; SWE-bench deneyimi, benchmark kalitesine dikkatli biçimde yaklaşmanın zorunluluğunu göstermektedir[7].

SWE-bench, yalnızca statik bir görev kümesi olarak programlamanın tüm yönlerini kapsamasa da kod modelleri için karşılaştırmalı analizde fiilî standart hâline gelmiştir[3]. Yeni yöntem ve algoritmaları sergilemek amacıyla bilimsel çalışmalarda kullanılmakta; ayrıca programlamayı otomatikleştirmeye yönelik sistemlerin potansiyelini değerlendirmek için endüstriyel araştırma grupları tarafından da başvurulmaktadır[3]. 2023-2025 yılları arasında SWE-bench üzerindeki sonuçların sürekli artışı, LLM'lerin pratik geliştirme görevlerini çözme yeteneklerinin ne denli hızlı ilerlediğini açıkça ortaya koymaktadır. Aynı zamanda bu benchmark, zorluk barometresi işlevi de görmektedir: çözülen görevlerin %50-60'a yaklaşıyor olmasına rağmen modeller, özellikle sınırlı bilgi koşullarında ve gereksinimlerin nüanslı biçimde anlaşılması gerektiğinde insanın yerini tam anlamıyla almaktan hâlâ uzaktır[4][7]. Ne var ki ilerleme durmamaktadır — SWE-bench gibi girişimler sayesinde topluluk hedeflerini ve sınırlılıklarını açıkça görmekte, insan düzeyinde uzman gibi özerk biçimde yazılım kodunu anlayıp düzeltebilen eksiksiz bir yapay zekâ geliştirici yaratma yolunda ilerlemeye devam etmektedir[4][7].

Literatür

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Kaynakça

  • SWE-bench on GitHub
  • SWE-bench Resmi Liderlik Tablosu

Notlar

  1. ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Jimenez, Carlos E. et al. «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?». arXiv. [1]
  2. ↑ 2.0 2.1 2.2 «SWE-bench/SWE-bench». GitHub. [2]
  3. ↑ 3.00 3.01 3.02 3.03 3.04 3.05 3.06 3.07 3.08 3.09 3.10 Wang, Shuyang et al. «Are "Solved Issues" in SWE-bench Really Solved Correctly? An Empirical Study». arXiv. [3]
  4. ↑ 4.0 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 «Claude SWE-Bench Performance». Anthropic. [4]
  5. ↑ 5.0 5.1 5.2 5.3 5.4 Jain, Sulbha. «SWE Benchmark: LLM evaluation in Software Engineering Setting». Medium. [5]
  6. ↑ 6.0 6.1 6.2 6.3 Hatmaker, Taylor. «AI models still struggle to debug software, Microsoft study shows». TechCrunch. [6]
  7. ↑ 7.00 7.01 7.02 7.03 7.04 7.05 7.06 7.07 7.08 7.09 7.10 7.11 7.12 7.13 7.14 7.15 7.16 7.17 7.18 7.19 7.20 7.21 7.22 «Introducing SWE-bench Verified». OpenAI. [7]
  8. ↑ 8.0 8.1 8.2 «SWE-bench Leaderboard». [8]
  9. ↑ «SOTA on swebench-verified: relearning the bitter lesson». Hacker News (Y Combinator). [9]
Retrieved from "https://systems-analysis.info/int/index.php?title=SWE-bench_(benchmark)_(TR)&oldid=6536"