--- title: "SuperGLUE (benchmark) (TR)" source: "https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)" wiki: "systems-analysis.info/int" article: "SuperGLUE_(benchmark)_(TR)" language: "tr" categories: - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" - "Category:Turkish" revision_id: 7018 wiki_created_at: 2026-09-07T00:14:39Z wiki_modified_at: 2026-09-07T00:14:39Z downloaded_at: 2026-09-07T23:16:58Z --- # SuperGLUE (benchmark) (TR) **SuperGLUE** — doğal dil işleme sistemlerini, özellikle **büyük dil modellerini** (BDM) değerlendirmeye yönelik kapsamlı bir **benchmark** (test görevleri kümesi)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). 2019 yılında New York Üniversitesi'nden Alex Wang liderliğinde, Facebook AI Research ve diğer kuruluşların katılımıyla bir araştırmacı grubu tarafından tanıtılmıştır[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). SuperGLUE'nun oluşturulmasının nedeni, 2019 yılı ortasına gelindiğinde önceki benchmark olan GLUE'nun güncel modeller için "kolay bir görev" hâline gelmiş olmasıdır: GLUE'da en iyi modellerin toplam puanı, insanların ortalama düzeyi olan 87,1'i geçerek 88,4'e ulaşmıştır[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Böylece daha fazla ilerleme için alan daralmıştır[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Buna yanıt olarak yazarlar, modellerin dil anlama yetkinliğini daha sıkı biçimde sınayan daha zorlu bir alternatif olarak SuperGLUE'yu geliştirmiştir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). SuperGLUE'nun amacı, İngilizce genel dil anlama alanındaki ilerleme için tarafsız ve "eğitime karşı dirençli" bir ölçüt sunmaktır[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). SuperGLUE'da belirgin iyileşmeler sağlamanın; küçük örneklemler üzerinde daha verimli öğrenme, çok görevli öğrenme ve öz denetimli öğrenme gibi Machine Learning yöntemlerinde köklü yenilikler gerektireceği öngörülmüştür[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Başka bir deyişle SuperGLUE, insanlar için kolay ancak makine zekâsı için zor olan görevleri içermekte[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1); bu sayede gerçek anlamda derin dil anlayışına sahip modellerin geliştirilmesi teşvik edilmektedir. ## Özellikler ve GLUE'dan Farkları SuperGLUE büyük ölçüde GLUE formatını takip etmektedir: görevlerin tümü üzerinden hesaplanan tek bir **bütünleşik kalite puanı**, kamuya açık bir **liderboard** ve modellerin analizine yönelik bir **araç seti** sunar[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Ancak SuperGLUE, selefiyle kıyaslandığında bir dizi iyileştirme ve yenilik getirmektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1): - **Daha zorlu görevler**: SuperGLUE'da **en zorlu sekiz görev** seçilmiştir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Bunların ikisi GLUE'dan (oradaki en zor görevler arasından) devralınmış, geri kalanları ise güncel NLP modellerine olan zorluklarına göre yeni adaylar arasından seçilmiştir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Böylece benchmark, modellerin daha önce en düşük performans sergilediği anlama boyutlarına odaklanmaktadır. - **Format çeşitliliği**: GLUE'da tüm görevler cümle ya da cümle çifti sınıflandırmasına indirgenirken, SuperGLUE çok daha **geniş bir format yelpazesi** içermektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Sınıflandırmanın yanı sıra, modelin bağlamlı bir metni anlamasını ve **mantıksal çıkarım** yapmasını gerektiren **eşgönderim çözümleme** ve **soru yanıtlama** görevleri de eklenmiştir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). - **Tüm görevlerde insan değerlendirmesi**: Her görev için uzman olmayan bireylerin oluşturduğu **insan performansı temel çizgisi** hesaplanmıştır[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1); bu sayede BERT gibi güçlü modellerin bile benchmark'ın yayımlandığı dönemde insanın önemli ölçüde gerisinde kaldığı doğrulanmıştır[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Toplamda yaklaşık %90 olan **insan referansının** varlığı, model gelişimine alan tanımakta ve hedef bir ölçüt işlevi görmektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). - **Şeffaf kurallar ve araçlar**: Liderboard'a sonuç yükleme kuralları gözden geçirilmiştir (adil karşılaştırma sağlamak ve veri kümesi yazarlarının katkılarını belirtmek amacıyla)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Ayrıca SuperGLUE verileri üzerinde modellerin fine-tuning ve çok görevli öğrenme süreçlerini kolaylaştırmak için yeni bir açık kaynak araç seti yayımlanmıştır[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Tüm bu önlemler birlikte değerlendirildiğinde, SuperGLUE modellerin **genelleştirilmiş dil yetkinliklerini** ölçmek için daha güvenilir bir test hâline gelmekte; önceki GLUE'ya özgü formatlara dar biçimde uyum sağlanarak ya da kopya çekilerek yüksek puanlara ulaşılmasının önüne geçmektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). ## SuperGLUE Görev Kümesi SuperGLUE, metin anlayışının farklı boyutlarını kapsayan **sekiz görevden** oluşmaktadır. - **BoolQ** (Boolean Questions): Her örneğe kısa bir metin (Vikipedi'den alıntı) ve "evet" ya da "hayır" şeklinde yanıtlanması gereken bir soru verilen bir **soru yanıtlama (QA)** görevidir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Sorular kullanıcılar tarafından (Google arama sorgularından) oluşturulmuştur ve metinden açık ya da örtük bir bilginin çıkarılmasını gerektirir; kalite ölçütü doğru yanıt oranıdır (accuracy)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). - **CB** (CommitmentBank): Üç sınıflı **mantıksal çıkarım** (textual entailment) görevidir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Veri kümesi, bağlaçlı karmaşık cümleler içeren kısa metinlerden oluşmaktadır; metnin yazarının iç içe geçmiş ifadenin doğruluğuna ne ölçüde **bağlı olduğunu** belirlenmesi gerekmektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Özünde bu, bir önermenin verilen bağlamdan türetilip türetilemeyeceğinin sınanmasıdır. Görev, küçük örneklem boyutu (yaklaşık 250 örnek) ve sınıf dengesizliği nedeniyle zorludur; kalite, doğruluk ve sınıflar üzerinden ortalama F1 skoru ile ölçülmektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). - **COPA** (Choice of Plausible Alternatives): **Neden-sonuç akıl yürütme** görevidir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Modele bir öncül (tek cümle) verilir ve iki seçenek arasından doğru neden ya da sonucu seçmesi beklenir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Tüm COPA örnekleri elle oluşturulmuş olup neden-sonuç ilişkisi kurmak için **sağduyu** gerektirmektedir. Örnekler blog ve özel ansiklopedi ortamlarından alınmıştır; ölçüt doğruluktur (doğru seçim oranı)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Örnek: "Çocuk hastalığa karşı bağışıklık kazandı" cümlesi verildiğinde ve "bunun nedeni nedir?" sorusu sorulduğunda insan, doğru yanıtın "aşı yaptırdı" olduğunu hemen anlar; oysa modelin neden-sonuç ilişkisini tahmin etmesi gerekmektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). - **MultiRC** (Multi-Sentence Reading Comprehension): Çoktan seçmeli öğeler içeren **çok cümleli metin anlama** görevidir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Model bir metin paragrafı, paragrafla ilgili bir soru ve olası yanıtların listesini alır; hangi yanıtların doğru olduğunu belirlemelidir (her soruda birden fazla doğru yanıt olabilir)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Önemli bir özellik: soruyu yanıtlamak için genellikle metnin birden fazla cümlesindeki bilgilerin birleştirilmesi gerekir; bu da modelin **bilgileri ilişkilendirme** yeteneğini sınar[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Kalite iki ölçütle ölçülmektedir: yanıtlar üzerinden F1 (kısmen doğru kümeleri de hesaba katar) ve Exact Match — tüm yanıt kümesi eksiksiz biçimde doğru olan soru oranı[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). - **ReCoRD** (Reading Comprehension with Commonsense Reasoning Dataset): **Okuduğunu anlama ve bilgi kullanma** görevidir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Değiştirilmiş bir Cloze testi niteliğindedir: bir haber metni (CNN/Daily Mail makalesi) ve içinde bir varlık adının boş bırakıldığı bir cümle verilir; model, metinden hangi varlığın boşluğa uyduğunu seçmelidir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Yanıt seçenekleri makalede geçen tüm varlıklar olarak belirlenir ve bunlar özünde örtüşebilir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Başarılı bir çözüm için bağlam anlayışı ve sağduyu gerekmektedir. Ölçütler; tahmin edilen yanıtlar üzerinden maksimum token düzeyinde F1 ve Exact Match'tir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). - **RTE** (Recognizing Textual Entailment): **Metinsel çıkarım** (entailment - not entailment) için ikili sınıflandırma görevidir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Veri kümesi, metinsel çıkarım tanıma üzerine düzenlenen çeşitli yarışmalardan (RTE 1–5 serisi) alınan örnekleri bir araya getirmektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Her görev, bir premise-hypothesis metin çifti içermektedir; model hipotezin metinden çıkartılıp çıkartılamayacağını belirlemelidir. Pek çok büyük veri kümesinin aksine RTE oldukça küçüktür (yaklaşık 2.500 eğitim örneği), ancak transfer öğrenmeden kayda değer kazanım elde edildiği görülmüştür: doğruluk, rastgele tahmin düzeyi olan ~%56'dan BERT türü modellerin ortaya çıkmasıyla ~%86'ya yükselmiştir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Bununla birlikte SuperGLUE'nun yayımlandığı dönemde modellerin doğruluğu insanınkinin yaklaşık 8 yüzde puan gerisinde kalmaktaydı[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1); bu nedenle RTE, insan düzeyine ulaşılamamış görevler arasında yer alarak benchmark'a dahil edilmiştir. - **WiC** (Word-in-Context): **Bağlam içinde kelime anlamı belirsizliğini giderme** (WSD) görevidir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Birbirinden bağımsız iki cümle verilir; her ikisinde de aynı çok anlamlı kelime geçmektedir. Kelimenin her iki cümlede de **aynı anlamda** kullanılıp kullanılmadığının belirlenmesi gerekmektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Veriler sözlük kaynaklarından (WordNet, VerbNet, Wiktionary) alındığından geniş bir kelime ve anlam yelpazesini kapsamaktadır[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Görev ikili sınıflandırma olarak kurgulanmış ve doğru yanıt oranıyla değerlendirilmektedir. WiC, modelden ince anlamsal ayrımları kavramasını beklemekte; özünde **sözcüksel anlambilimi** sınamaktadır. - **WSC** (Winograd Schema Challenge): **Sağduyuyla eşgönderim çözümleme** görevidir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Her görev, bir zamir içeren tek bir cümleden ve o cümledeki iki varlık (isim) listesinden oluşmaktadır[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). **Söz konusu zamirin hangi isme** atıfta bulunduğunun belirlenmesi gerekmektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Klasik bir winograd cümlesi örneği: "Kupa bavula sığmadı çünkü o çok küçüktü" — insan, "o"nun bavula atıfta bulunduğunu (bavulun çok küçük olduğunu) hemen anlar. Bu tür örnekler **gündelik bilgi ve bağlam** olmadan çözülememektedir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). GLUE'da bu görevin basitleştirilmiş bir versiyonu (WNLI) zaten yer alıyordu; ancak modeller uzun süre boyunca orada rastgele tahmin düzeyini bile aşamadı[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Yalnızca benzer örnekler içeren harici veri eklenmesi gibi özel teknikler, WSC'de model kalitesini 2019 yılına kadar ~%90'a taşıyabildi[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Bununla birlikte insan, WSC görevlerini neredeyse hatasız çözmektedir (~%96-100 doğruluk)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). SuperGLUE'ya ikili sınıflandırma formatında WSC'nin özgün versiyonu dahil edilmiştir (her "zamir-varlık" çifti için model, bunların aynı göndergeye atıfta bulunup bulunmadığını yanıtlar)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Bu görev, sağduyu akıl yürütmesi gerektiren en zorlu testlerden biri olmayı sürdürmektedir. Tüm SuperGLUE testleri, geliştiricilerin yanıtlarını bilmediği **kapalı test kümelerine** sahiptir[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Modeller tahminlerini bir sunucuya gönderir; sunucu, görevler üzerinden ortalama alınan toplam puanı hesaplar (birden fazla ölçütü olan görevlerde önce iç ölçüt ortalaması alınır)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Bu tek bir **SuperGLUE skoru**, modellerin genel dil zekâsı düzeyine göre karşılaştırılmasını kolaylaştırmaktadır. ## Model Sonuçları ve İlerleme SuperGLUE'nun yayımlanmasında yazarlar, güçlü bir temel model (geliştirilmiş BERT) için referans sonuçlar sundu — bunlar tüm görevlerde insan sonuçlarının **belirgin biçimde altında** kaldı[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). O dönemin en iyi modeli bütünleşik ölçütte insandan yaklaşık **20 puan daha az** aldı[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Bazı görevlerde uçurum özellikle büyüktü: örneğin WSC görevinde model zor bela ~%65 doğruluğa ulaşabilirken insanın doğruluğu %100'dür (yaklaşık 35 puanlık fark)[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). "Görece kolay" görünen görevlerde bile (BoolQ, CB, RTE, WiC) otomatik sistemler insan düzeyinin ~10 puan gerisinde kaldı[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). Bu farklar, SuperGLUE'nun gerçekten ciddi bir meydan okuma sunduğunu ve kolayca çözülemeyeceğini doğruladı. Bununla birlikte SuperGLUE'nun ortaya çıkmasından yalnızca birkaç ay sonra **hızlı bir ilerleme** başladı[\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1). 2019 sonunda Google araştırmacıları, 11 milyar parametreli **T5** (Text-To-Text Transfer Transformer) modelini tanıttı; model 88,9 toplam puana ulaşarak insanın ~89,8 düzeyine yakından yaklaştı[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-reddit-t5-2). T5, SuperGLUE'daki önceki rekoru 4,3 puan birden iyileştirdi ve hata oranını neredeyse üçte bir oranında azaltarak insan puanına yalnızca **0,9 puanlık** bir fark bıraktı[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-reddit-t5-2)[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-reddit-t5-2). Geliştiriciler, SuperGLUE'nun bilinçli olarak insanlar için kolay görevlerden oluşturulduğunu vurguladı; bu nedenle modelin ~%89 düzeyine ulaşması önemli bir kilometre taşı olarak değerlendirildi[\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-reddit-t5-2). **İnsanın ortalama kalitesini ilk aşan** model ise Microsoft'un **DeBERTa** (Decoding-enhanced BERT with disentangled attention) modeli oldu[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-deberta-3). Ocak 2021'de araştırmacılar, 1,5 milyar parametreli DeBERTa sürümünün insan referansı olan 89,8'in hemen üstünde **89,9 puan** aldığını duyurdu[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-deberta-3). Bu, tek bir modelin SuperGLUE ölçütünde insanı geride bıraktığı **ilk durumdu**[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-deberta-3). Üstelik birkaç DeBERTa modelinden oluşan bir topluluk, rekoru ~90,3 puana taşıdı[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-deberta-3). DeBERTa, önceki lider Google T5'i yaklaşık %0,6 oranında geride bırakarak Transformer mimarisindeki yeni fikirlerin (içerik ile sözcük konumunun ayrık temsili, iyileştirilmiş maske kod çözücüsü vb.) etkinliğini ortaya koydu[\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-syncedreview-deberta-4). İlerleme burada durmadı: dil modellerinin boyutu ve karmaşıklığı arttıkça SuperGLUE sonuçları iyileşmeye devam etti[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-scaling-5). 2021 sonunda liderboard'un zirvesinde Microsoft'un **T-NLRv5** modeli (Microsoft Turing NLR ailesi) yer aldı; model insan düzeyinin üzerindeki farkı daha da genişletti[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-scaling-5). GLUE'da makineler için hâlâ çözülmemiş olan son görevler (örneğin NLI incelikleri) bu model tarafından "kapatıldı" ve en zorlu alt görevlerde bile **insanla tam parite** sınırına yaklaşıldı[\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-scaling-5). 2022–2023 yılları itibarıyla SuperGLUE'da insan düzeyi eşiği birbirinden bağımsız birçok büyük model tarafından güvenle aşıldı[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-ainavigator-benchmarks-6). Örneğin Google'ın **PaLM** modeli (540 milyar parametre), SuperGLUE görevleri üzerinde ince ayar yapıldığında yaklaşık 90,4 puana ulaştı; OpenAI'ın geliştirdiği **GPT-4** modeli ise biraz daha yüksek bir sonuç elde etti[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-ainavigator-benchmarks-6). 2023 ortasında SuperGLUE lider tablosunda 90'ın üzerinde puan alan (yani ortalama insan düzeyini aşan) birkaç model bulunmaktaydı[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-ainavigator-benchmarks-6). Benchmark'ın günümüz sistemleri tarafından **neredeyse tamamen çözüldüğünü** söylemek mümkündür[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-ainavigator-benchmarks-6): en iyi modellerin puanları, uzman olmayan bireylerin büyük çoğunluğunun kapasitesini aşacak kadar yüksektir[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-ainavigator-benchmarks-6). Bu başarı, NLP alanında kısa sürede gerçekleşen devasa ilerlemenin göstergesidir; ancak aynı zamanda en yeni modeller için daha zorlu yeni testlerin gerekliliğine de işaret etmektedir[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-ainavigator-benchmarks-6). Modelleri SuperGLUE kapsamının ötesinde daha geniş bir anlama ve bilgi derinliği açısından sınamayı amaçlayan sonraki benchmark'lar (örneğin MMLU, BIG-Bench ve diğerleri) hâlihazırda ortaya çıkmaktadır[\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-ainavigator-benchmarks-6). ## Etki ve Sonraki Araştırmalar SuperGLUE, dil işleme alanında **değerlendirme metodolojisinin gelişiminde önemli bir aşama** olarak yerini almıştır[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-deberta-3). Akademik ve tutkulu araştırmacı çevrelerinde sonuçları, yeni BDM mimarileri için bir tür "turnusol testi" işlevi görmektedir: SuperGLUE'da insan düzeyine ulaşmak ya da onu aşmak, derin dil anlayışına sahip ileri düzey bir modelin göstergesi olarak algılanmaktadır[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-deberta-3). Bu durum pratiğe de yansımıştır — SuperGLUE'da yüksek sonuçlar elde eden pek çok modern dil modeli, soru yanıtlama, diyalog ajanları, metin özetleme ve benzeri uygulama sistemlerinin temelini oluşturmaktadır[\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-deberta-3). SuperGLUE, algoritmaların fine-tuning ve karşılaştırılması amacıyla araştırmacılar tarafından kullanılmaya devam etmektedir; ancak öncü konum artık yavaş yavaş yapay zekâ değerlendirmesinin yeni sınırlarına doğru kaymaktadır. ## Literatür - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## Kaynakça - SuperGLUE resmi sitesi - Özgün SuperGLUE makalesi (NeurIPS) - DeBERTa ile insan düzeyine ulaşıldığına dair Microsoft makalesi - Papers With Code'da SuperGLUE veri kümesi sayfası ## Notlar [\[1\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-neurips-main-1) [\[2\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-reddit-t5-2) [\[3\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-deberta-3) [\[4\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-syncedreview-deberta-4) [\[5\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-microsoft-scaling-5) [\[6\]](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_note-ainavigator-benchmarks-6) \ 1. ↑ [1.00](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-0) [1.01](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-1) [1.02](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-2) [1.03](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-3) [1.04](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-4) [1.05](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-5) [1.06](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-6) [1.07](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-7) [1.08](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-8) [1.09](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-9) [1.10](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-10) [1.11](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-11) [1.12](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-12) [1.13](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-13) [1.14](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-14) [1.15](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-15) [1.16](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-16) [1.17](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-17) [1.18](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-18) [1.19](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-19) [1.20](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-20) [1.21](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-21) [1.22](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-22) [1.23](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-23) [1.24](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-24) [1.25](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-25) [1.26](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-26) [1.27](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-27) [1.28](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-28) [1.29](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-29) [1.30](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-30) [1.31](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-31) [1.32](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-32) [1.33](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-33) [1.34](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-34) [1.35](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-35) [1.36](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-36) [1.37](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-37) [1.38](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-38) [1.39](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-39) [1.40](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-40) [1.41](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-41) [1.42](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-42) [1.43](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-43) [1.44](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-44) [1.45](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-45) [1.46](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-46) [1.47](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-47) [1.48](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-48) [1.49](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-49) [1.50](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-50) [1.51](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-51) [1.52](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-52) [1.53](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-53) [1.54](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-54) [1.55](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-55) [1.56](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-56) [1.57](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-57) [1.58](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-58) [1.59](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-neurips-main_1-59) Wang, Alex et al. (2019). «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». *NeurIPS*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-reddit-t5_2-0) [2.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-reddit-t5_2-1) [2.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-reddit-t5_2-2) [2.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-reddit-t5_2-3) [2.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-reddit-t5_2-4) «Google T5 algorithm scores 88.9 on SuperGLUE languge benchmark, compared to 89.8 human baseline». *Reddit /r/linguistics*. [2] 3. ↑ [3.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-deberta_3-0) [3.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-deberta_3-1) [3.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-deberta_3-2) [3.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-deberta_3-3) [3.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-deberta_3-4) [3.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-deberta_3-5) [3.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-deberta_3-6) [3.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-deberta_3-7) «Microsoft DeBERTa surpasses human performance on the SuperGLUE benchmark». *Microsoft Research Blog*. [3] 4. ↑ [4.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-syncedreview-deberta_4-0) [4.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-syncedreview-deberta_4-1) «Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark». *Synced Review*. [4] 5. ↑ [5.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-scaling_5-0) [5.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-scaling_5-1) [5.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-scaling_5-2) [5.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-microsoft-scaling_5-3) «Efficiently and effectively scaling up language model pretraining for best language representation model on GLUE and SuperGLUE». *Microsoft Research Blog*. [5] 6. ↑ [6.0](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-ainavigator-benchmarks_6-0) [6.1](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-ainavigator-benchmarks_6-1) [6.2](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-ainavigator-benchmarks_6-2) [6.3](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-ainavigator-benchmarks_6-3) [6.4](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-ainavigator-benchmarks_6-4) [6.5](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-ainavigator-benchmarks_6-5) [6.6](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-ainavigator-benchmarks_6-6) [6.7](https://systems-analysis.info/int/SuperGLUE_(benchmark)_(TR)#cite_ref-ainavigator-benchmarks_6-7) «The Ultimate Guide to AI Benchmarks». *The AI Navigator*. [6]