BBQ (Bias Benchmark for Question Answering) (TR)

BBQ (Bias Benchmark for Question Answering) — soru-cevap sistemlerinde sosyal önyargıları (bias) değerlendirmeye yönelik bir veri kümesidir (QA). New York Üniversitesi'nden bir araştırmacı grubu tarafından Alicia Parrish liderliğinde geliştirilmiş ve 2022 yılında ACL Findings konferansında yayımlanmıştır. BBQ'nun amacı, büyük dil modellerinin (BDM) ve diğer QA modellerinin, özellikle doğal dilde soru yanıtlama uygulamalarında, sorulara verdikleri yanıtlarda kalıp yargıları ve önyargıları nasıl sergilediğini ortaya koymaktır. BBQ, dokuz sosyal kategori kapsamında geniş bir yelpazedeki kalıp yargıları ele alarak NLP'de sosyal bias değerlendirmesi için en kapsamlı benchmark'lardan biri hâline gelmiştir.

Bu veri kümesi; yalnızca sınırlı sayıda özellik (cinsiyet-meslek, uyruk, etnik köken, din) üzerinden önyargıyı ölçen ve model yanıtları yerine model olasılıklarına dayanan UnQover dataset'i (2020) gibi önceki çalışmaları tamamlamaktadır. UnQover'dan farklı olarak BBQ, modellerin yanıt içeriklerini ve sunulan seçenekler arasındaki tercihlerini doğrudan analiz eder; bu da önyargının tam olarak üretilen çıktılar düzeyinde değerlendirilmesine olanak tanır.

BBQ'nun yazarları, bu aracı modellerdeki zararlı sosyal kalıp yargılarını teşhis etmeye ve söz konusu kalıp yargıların savunmasız toplum kesimleri üzerindeki olumsuz etkisi riskini azaltmaya yönelik bir araç olarak konumlandırmaktadır. Veri kümesi, ABD'nin İngilizce konuşan kültürüne özgü kalıp yargılara odaklanmakta ve tüm olası kültürel bağlamları kapsamlamaktadır. Bununla birlikte BBQ, NLP'deki sosyal bias'ı ölçmeye ve azaltmaya yönelik sonraki çalışmalar için bir temel oluşturmuş ve modellerin etik uygunluk açısından karşılaştırılmasında bir referans noktası hâline gelmiştir.

Veri Kümesinin Yapısı ve İçeriği

BBQ, belirli kalıp yargıları tespit etmeye yönelik özel kümeler hâlinde gruplanmış yaklaşık 58.500 soru ve yanıt içermektedir. Tüm örnekler, yazarlar tarafından farklı sosyal gruplardan bireylere zarar verdiği belgelenmiş önyargı ve kalıp yargı vakalarına dayanılarak el ile oluşturulmuştur. Senaryolar oluşturulurken belirli bir kalıp yargının varlığını ve zararlı sonuçlarını belgeleyen bilimsel araştırmalar, medya makaleleri, raporlar ve diğer güvenilir kaynaklardan yararlanılmıştır. Yazarlar her durum için, söz konusu kalıp yargıyı olumsuz ya da zararlı olarak nitelendiren bir kaynağa (bilimsel makale veya haber haberi gibi) atıf yapmaktadır.

Sosyal Kategoriler

BBQ, dokuz temel sosyal açıdan önemli kategoriyi kapsamaktadır (bunların büyük çoğunluğu ABD Eşit İstihdam Fırsatı Komisyonu'nun tanımındaki korunan gruplarla örtüşmektedir):

• Yaş – yaş gruplarına yönelik önyargılar (örneğin yaşlı bireylerde bilişsel yeteneklerin gerilediğine ilişkin kalıp yargı).
• Engellilik – engelli bireylerin zihinsel yetenekleri veya diğer nitelikleri hakkındaki kalıp yargılar (örneğin fiziksel engelli kişilerin entelektüel açıdan daha az yetkin olduğu varsayımı).
• Cinsiyet kimliği – cinsiyet kalıp yargıları (örneğin "kız çocukları matematikte başarısızdır" fikri).
• Uyruk – ulusal-etnik önyargılar (örneğin Afrika kökenli bireylerin teknoloji okuryazarlığından yoksun olduğuna dair kalıp yargı).
• Görünüş – fiziksel görünüşe veya beden yapısına dayalı ayrımcılık (örneğin obez bireylerin daha az zeki ya da çalışkan olduğu görüşü).
• Irk/etnik köken – ırk kalıp yargıları (örneğin belirli bir ırkı suç ya da uyuşturucu bağımlılığıyla önyargılı biçimde ilişkilendirmek).
• Din – dinî kalıp yargılar (örneğin Yahudilerin cimri, Müslümanların şiddete meyilli olduğuna ilişkin varsayımlar).
• Sosyoekonomik statü – yoksul veya zengin toplum kesimlerine yönelik önyargılar (örneğin yoksul ailelerden gelen bireylerin kötü ebeveyn olacağı inancı).
• Cinsel yönelim – homofobi kaynaklı kalıp yargılar (örneğin eşcinselliği HIV enfeksiyonuyla yanlış biçimde ilişkilendirmek).

Bu dokuz kategoriye ek olarak BBQ, iki özelliği aynı anda birleştiren iki kesişimsel kategori (intersectional biases) içermektedir: (1) cinsiyet ile ırk/etnik kökenin bileşimi ve (2) sosyoekonomik statü ile ırkın bileşimi. Bu vakalar, farklı grupların kesişimindeki kalıp yargıları ele almaktadır (örneğin siyahi kadınlara veya düşük sosyal sınıftan belirli etnik gruplara özgü önyargılar).

Şablonlar ve Örnek Üretimi

Her kategori için ekip, hedef özellik bakımından birbirinden farklı iki karakterin yer aldığı kısa sahnelerden oluşan senaryo şablonları yazmıştır (örneğin genç ve yaşlı, erkek ve kadın, zengin ve yoksul gibi). Şablon, bilinen bir kalıp yargıyı doğrulayabilecek ya da çürütebilecek bir durumu içermektedir. Her senaryoya bağlı sorular ve yanıt seçenekleri eklenmiştir.

Dokuz temel kategorinin her biri için 25'er özgün şablon geliştirilmiş; gerçek isimler kullanılarak özel ad düzeyinde bias'ı test etmek amacıyla ırk ve cinsiyet kategorileri için 25'er ek şablon oluşturulmuştur. İki kesişimsel alan için de 25'er şablon hazırlanmıştır. Bu durumda temel senaryo sayısı 300'ü aşmaktadır.

Her şablon, metne yerleştirilen grup adlarını veya açıklamalarını barındıran özel değişken yuvaları içermektedir (örneğin yaş şablonunda "_yaşında biri" ifadesine farklı sayılar; görünüş şablonunda ise "şişman"/"zayıf" gibi sıfatlar yerleştirilmektedir). Farklı değerlerin yerleştirilmesi ve iki figürün sıralamasının değiştirilmesiyle her şablon, çok sayıda somut örneğe genişletilmektedir (en az 8'den yaklaşık 200 varyasyona kadar). Kural olarak tek bir şablondan en az 100 nihai soru üretilmekte, bazı durumlarda bu sayı iki yüze ulaşmaktadır. Sonuç olarak 58.492 örnekten (senaryo, soru ve yanıtın özgün kombinasyonlarından) oluşan bir külliyat elde edilmiştir.

Bağlamlar ve Soru Türleri

BBQ'nun temel özelliği, her durumun iki farklı bağlam varyasyonu ve iki farklı soru ifadesiyle sunularak dört sorudan oluşan bir küme (4'lü küme olarak adlandırılır) oluşturmasıdır. Bu yapı, bilgi eksikliğinin etkisini modelin kendi kalıp yargılarından ayırt etmek amacıyla tasarlanmıştır. Her dörtlüde:

• Belirsiz bağlam (under-informative or ambiguous context): farklı gruplardan iki kişinin yer aldığı ancak sorulan soruya kesin yanıt vermeye yeterli bilgi içermeyen bir durumu betimleyen metin. Bu tür vakalarda doğru yanıt her zaman "bilinmiyor" seçeneğidir (yani yeterli verinin bulunmadığı anlamına gelir). Bu örnekler, modelin kalıp yargıya dayanarak çıkarım yapıp yapmadığını test etmek için kullanılmaktadır.
• Belirgin bağlam (disambiguated context): iki kişiden hangisinin soruyla örtüştüğünü belirlemeye olanak tanıyan açıklayıcı bir ayrıntının eklendiği genişletilmiş senaryo. Bu durumda iki karakterden biri kesinlikle doğru yanıttır ("bilinmiyor" seçeneği ise artık yanlıştır). Belirgin bağlam, modelin olası bir önyargısının üstesinden gelip kalıp yargı aksini söylese bile doğru yanıtı seçip seçemediğini test etmek için kullanılmaktadır.
• Olumsuz soru (örn. "İkisinden hangisi konuyu kötü biliyor?", "Suçu kim işledi?"). Bu tür bir soru belirsiz bağlamla birleştirildiğinde, modelin gerçek bir kanıt olmaksızın olumsuz eylemi belirli bir grupla ilişkilendirmeye eğilimli olup olmadığını sınar.
• Olumsuz olmayan (karşıt) soru (örn. "İkisinden hangisi konuyu iyi biliyor?" ya da "Kim kötü eylemden kaçınıyor?"). Olumsuz olmayan soru, kalıp yargıyı doğrudan onaylar gibi görünmeyecek şekilde kurulmakta ancak modelin yanıtlarındaki dengeyi test etmeye olanak tanımaktadır. Olumsuz ve nötr versiyonlara verilen yanıtların karşılaştırılması sistematik eğimleri ortaya çıkarmaktadır.

Kümedeki bu dört örneğin her biri üç yanıt seçeneğine sahiptir: iki somut seçenek (her iki figürü de adlandıran) ve yeterli bilginin bulunmadığını belirten bir seçenek ("Unknown" ve eşdeğer ifadelerle etiketlenmiş). Örneğin sahnede bir Hristiyan ile bir Müslüman yer alıyorsa yanıt seçenekleri şöyle olacaktır: "Hristiyan", "Müslüman" ya da "bilinmiyor". Üstelik "bilinmiyor" ifadesi her zaman aynı kalmaz; 10 farklı eş anlamlı ifade kullanılmaktadır.

Bunun yanı sıra her şablonda iki grubun sıralaması otomatik olarak değiştirilmektedir. Bu, modellerin içerikten bağımsız olarak ilk adı geçen varlığı daha sık seçmesine yol açabilen bilinen bir etken olan sıra etkisini gidermek amacıyla yapılmaktadır.

Etiketleme ve Kalite Kontrolü

BBQ'daki her örnek kitle kaynaklı etiketçiler tarafından değerlendirilmiştir: en az 5 bağımsız kişi soruları yanıtlamış ve nihai veri kümesine yalnızca 5 etiketçiden en az 4'ünün doğru yanıt üzerinde mutabık kaldığı (oylama yoluyla) örnekler dahil edilmiştir. Herhangi bir soru bu eşiği geçemezse ilgili şablonun tamamı gözden geçirilip düzenlenmiştir. Bu süreç sayesinde BBQ'da insan doğruluğu oldukça yüksektir: bireysel etiketçiler soruların ~%95,7'sini doğru yanıtlamış, çoğunluk oylamasıyla altın standart doğruluğu %99,7'ye ulaşmıştır. Krippendorff'un alfa uyum katsayısı 0,883 olarak hesaplanmış olup bu, doğru yanıtlar konusunda insanlar arasındaki yüksek tutarlılığa işaret etmektedir. Bu önlemler, BBQ görevlerinin insanlar tarafından anlaşılır olduğunu ve nesnel olarak doğru yanıtlarının bulunduğunu doğrulamaktadır; dolayısıyla modellerin bu örneklerdeki hataları, soruların belirsizliğinden değil, makul biçimde bias tezahürleri olarak yorumlanabilmektedir.

Modellerdeki Önyargının Değerlendirilmesi

BBQ, sosyal bias'ı kışkırtıcı koşullarda model davranışını çok boyutlu olarak değerlendirmek amacıyla tasarlanmıştır. Test sırasında QA modeline girdi olarak bağlam ve soru sunulmakta, ardından model üç yanıt seçeneğinden birini seçmek zorunda kalmaktadır. Sonuçların analizi iki düzeyde gerçekleştirilmektedir:

Belirsiz Bağlam Durumu

Bu durumda ölçülen, modelin gerekli bilginin yokluğunda, yani kalıp yargıya dayanarak ne sıklıkta yanlış yanıt verdiğidir. İdeal olarak model, yetersiz bağlam içeren her soruya "bilinmiyor" yanıtını vermelidir; ancak gruplardan birini seçmesi, yerleşik bir kalıp yargının yansıması olarak değerlendirilmektedir. Bu tür hataların sıklığı ve kategorilere göre dağılımı, modelin zararlı kalıp yargıları yeniden üretme eğilimi hakkında bilgi vermektedir.

Bilgi Verici Bağlam Durumu

Bu durumda bağlamın açık bir doğru yanıt içerdiğinde modelin ne ölçüde doğru yanıt verdiği değerlendirilmektedir. Burada genellikle standart accuracy metriği (doğru yanıt yüzdesi) hesaplanmaktadır; bu, modelin soru-cevap görevini genel olarak yerine getirip getiremediğini göstermektedir. Ancak özellikle dikkat edilen durum, doğru yanıtın kalıp yargıyla çeliştiği vakadır. BBQ'nun geliştiricileri, doğru yanıt yerleşik bir kalıp yargıyla çeliştiğinde model doğruluğunun düşüp düşmediğini (ve tersine, gerçeğin kalıp yargısal beklentiyle örtüştüğü durumlarda doğruluğun yüksek olup olmadığını) incelemektedir. Böyle bir etki, gerçeklerin varlığında bile modelin bias nedeniyle hata yapabileceğine işaret eder.

Bias Score

Önyargı derecesini sayısal olarak ölçmek için özel bir metrik olan önyargı puanı (bias score) kullanılmaktadır. Genel anlamda bias score, modelin (koşula bağlı olarak yanlış veya tüm) yanıtları arasında kalıp yargıyla örtüşen yanıtların yüzdesini yansıtmaktadır.

• +100% değeri, modelin tüm durumlarda hedef gruba olumsuz nitelik atfeden kalıp yargı yanıtını seçtiği anlamına gelir.
• %0 — hiçbir bias belirtisi yok (model ya her zaman doğru/"bilinmiyor" yanıtı veriyor ya da iki yönde eşit miktarda hata yapıyor).
• Negatif puan (-%100'e kadar) — modelin her zaman kalıp yargı beklentisinin tersine yanıt verdiği zıt bir eğilime işaret etmektedir.

Puanlar, belirsiz ve belirgin bağlamlar için ayrı ayrı hesaplanmaktadır; zira bu iki durumda hataların niteliği farklıdır.

• Belirsiz sorular için bias score, modelin "bilinmiyor" yerine belirli bir yanıt seçtiği ve bu yanıtın olumsuz kalıp yargıyla örtüştüğü durumların oranıyla belirlenmektedir. Bu tür yanıtlar ne kadar sık görülürse pozitif puan o kadar yüksek olur. Bu hesaplamada doğruluk da dikkate alınmaktadır: model hem kalıp yargılı hata yapıyor hem de doğru yanıt ("bilinmiyor") veriyorsa, her zaman kalıp yargılı yanıt seçen bir modele kıyasla bias score daha düşük olacaktır. Böylece bias yanıtlarının hem sıklığı hem de güveni cezalandırılmaktadır (belirsiz bağlamlar için metrik, "bilinmiyor" doğru yanıt oranı göz önüne alınarak ölçeklendirilmektedir).
• Belirgin sorular için bias score biraz farklı hesaplanmaktadır; çünkü burada doğru yanıt gruplardan biridir. Bu durumlarda modelin yanlış yanıtları incelenir: yanlış yanıtlar arasında modelin doğru seçenek yerine kalıp yargıyla örtüşen alternatif seçeneği tercih ettiği durumların oranına bakılır. Başka bir deyişle, model ön yargı lehine hata yaptıysa (örneğin olgulara inanmayarak kalıp yargıya göre yanıt verdiyse) bu durum puanı artırmaktadır.

Bias score'un genel doğrulukla birlikte analiz edilmesi, modelin BBQ üzerindeki davranışını ayrıntılı biçimde nitelendirmeye olanak tanımaktadır. Yazarlar, aynı accuracy değerlerinin farklı hata örüntülerini gizleyebileceğini vurgulamaktadır. Bu metrik, hataların yönünü ortaya koyarak yalnızca doğrulukla görülemeyen ince vakaları tespit etmektedir.

Sonuçlar ve Gözlemlenen Örüntüler

Birkaç popüler QA modelinin BBQ veri kümesi üzerinde ilk kez test edilmesi, bir dizi belirgin bias tezahürü ortaya koymuştur. Parrish ve ark. (2022) çalışmasında hem büyük genel amaçlı modeller (örneğin T5 tabanlı bir genelleştirilmiş QA modeli olan UnifiedQA) hem de standartlaştırılmış çoktan seçmeli modeller (örneğin QA üzerinde ince ayar yapılmış RoBERTa) test edilmiştir.

Deney sonuçlarından elde edilen temel bulgular:

• Bilgi eksikliğinde güçlü kalıp yargı hataları. Test edilen tüm sistemlerde, bağlamın gerekli ipuçlarını vermediği durumlarda kalıp yargı doğrultusunda yanıt verme eğilimi gözlemlenmiştir. Başka bir deyişle modeller çoğunlukla "bilinmiyor" seçeneğini tercih etmemiş, bunun yerine belirli bir kalıp yargısal beklentiyle örtüşen somut bir yanıt seçmişlerdir. Örneğin açık bir sanığın bulunmadığı belirsiz suç sorularında modeller, önyargıyla ilişkili belirli bir gruptan bireyleri göstermiştir. Belirsiz bağlamlar için hesaplanan bias score sıfırın belirgin biçimde üzerinde çıkmış, bazı modellerde belirli kategorilerde +%100'e yaklaşmıştır. Fiziksel görünüş (obezite vb.) ile ilgili sahnelerde modeller özellikle yüksek kalıp yargı yanıtı eğilimi sergilemiştir; bu kategori, ırk veya cinsel yönelimle kıyaslandığında belirgin biçimde daha yüksek bias üretmiştir. Bu durum, modeldeki bias'ın heterojen yapısını ortaya koymaktadır: bazı kalıp yargı türleri diğerlerine göre daha güçlü biçimde "içselleştirilmiştir".
• Olgular karşısında iyileşme, ancak gizli bias'ın sürmesi. Modeller açık doğru yanıt içeren belirgin bir bağlam aldıklarında doğrulukları belirgin şekilde artmıştır (belirsizlik durumuna kıyasla). Ancak ayrıntılı analiz, ince bir etkiyi gün yüzüne çıkarmıştır: doğruluk, doğru yanıtın kalıp yargıyla ilişkisine bağlı olarak eşit dağılmamaktadır. Ortalama olarak modeller, doğru yanıtın yaygın kalıp yargıyla örtüştüğü örneklerde, doğru yanıtın bu kalıp yargıyla çeliştiği örneklere kıyasla 3-3,5 yüzde puan daha yüksek doğruluğa ulaşmıştır. Başka bir ifadeyle olgular önyargıyı desteklediğinde modeller neredeyse hatasız yanıt vermiş; ancak kalıp yargı için "alışılmadık" bir seçenek belirtmek gerektiğinde hata olasılığı artmıştır. Bu performans farkı çok büyük olmamakla birlikte pek çok kategoride istatistiksel olarak ortaya çıkmıştır. En büyük sapma cinsiyet kalıp yargılarına ilişkin sorularda gözlemlenmiştir: 5 yüzde puana kadar. Böylece bias'ın gizli etkisi iz bırakmaktadır: modeller ortalama olarak "kalıp yargıya aykırı" yönde biraz daha düşük performans sergilemektedir.
• Kategorilere ve şablonlara göre karşılaştırma. BBQ araştırmacıları, bias score'u dokuz kategorinin tamamında ayrıştırarak analiz etmiş ve belirsiz bağlamlarda tüm kategorilerde pozitif değer gözlemlemiş, ancak büyüklüğünün değiştiğini saptamıştır. Belirtildiği gibi en yüksek bias, fiziksel görünüş, sosyoekonomik statü ve bazı kesişimsel kategorilerde görülmüştür. Irk/etnik köken ve cinsel yönelim kategorilerinde bias score daha "düşük" olmakla birlikte yine de sıfırın üzerinde kalmıştır. Belirgin bağlamlarda bias score genel olarak sıfıra daha yakındır (çünkü model çoğunlukla doğru yanıt vermektedir), ancak bazı şablonlarda yapılan hataların niteliğindeki belirgin eğimi yansıtarak pozitif kalmaya devam etmektedir. Örneğin din kategorisinde hataların büyük çoğunluğu tek yönlüdür: modeller, hata yaptıklarında genellikle önyargıya dayalı yanıtı tercih etmiştir.

Sonuç olarak BBQ, güçlü çağdaş dil modellerinin bile sosyal önyargılardan açıkça bağımsız olmadığını göstermiştir. Bu modeller, belirsizlik koşullarında kalıp yargıları yeniden üretmeye eğilimlidir ve tersine yanıt gerektiren olgular karşısında bile ince bias tezahürleri sergileyebilmektedir. Bu etkilerin büyüklüğü farklı gruplarda eşit değildir: bazı kalıp yargılar model tarafından daha güçlü biçimde "içselleştirilmiştir". BBQ'nun yazarları, saptanan farkların dikkat çekici olmakla birlikte felaket düzeyinde olmadığını vurgulamaktadır; çoğu modelin bias score'u uç değerlere ulaşmamakta, sıklıkla birkaç on yüzde değerinin altında kalmaktadır. Bununla birlikte, kalıp yargılar doğrultusundaki küçük sistematik sapmalar bile BDM'lerin büyük ölçekli kullanımında potansiyel olarak tehlikeli olmakta; bu nedenle söz konusu bias'ların belirlenmesi ve giderilmesi önemli bir görev olmaya devam etmektedir. BBQ, araştırmacılara bu alandaki ilerlemeyi izlemek için açık ve sayısal olarak ölçülebilir bir yöntem sunmuştur.

Etkisi ve Sonraki Araştırmalar

BBQ, dil modellerinin fairness özelliklerini değerlendirmeye yönelik standart bir araç olarak kısa sürede kabul görmüştür. Açık kaynak kodu ve verileri bir depoda (CC BY 4.0 lisansıyla) erişilebilir durumdadır; bu durum, geniş bir araştırmacı kitlesinin yeni modellerin geliştirilmesi ve test edilmesinde BBQ'yu kullanmasına imkân tanımıştır. Bazı derleme çalışmalarında BBQ, NLP'deki sosyal bias araştırmalarında önemli bir dönüm noktası olarak StereoSet, WinoBias, ToxiGen gibi diğer benchmark'larla birlikte anılmaktadır. BBQ'nun yayımlanmasından bu yana onun fikirlerini geliştiren ve yeni koşullara uyarlayan çalışmalar ortaya çıkmıştır:

• Soru biçimlerinin genişletilmesi (Open-BBQ). Orijinal BBQ, görevleri çoktan seçmeli biçimde sunmaktadır. 2024 yılında, boşluk doldurma ve kısa metin yanıtı içeren görevlerle birlikte açık uçlu yanıtlar için BBQ'nun bir modifikasyonu önerilmiştir. Open-BBQ olarak adlandırılan bu versiyon, modelin sabit yanıt seçeneklerine sahip olmadığı daha serbest diyalog koşullarında bias'ı değerlendirmeye olanak tanımaktadır. Araştırma, BDM'lerin serbest metin üretirken de bazı gruplar aleyhine yüksek bias sergilediğini göstermiştir. Open-BBQ'nun yazarları ayrıca zero-shot ve few-shot prompt'ları ile chain-of-thought (adım adım akıl yürütme) yöntemlerini birleştirerek önyargı azaltma yöntemlerini de denemiştir. Bu yöntemler, yanıtlardaki bias düzeyini belirgin biçimde düşürmeye olanak tanımıştır. Open-BBQ, üretici modellerin kullanıcı isteklerine daha yakın biçimlerde test edilmesini mümkün kılarak orijinal veri kümesini tamamlamıştır.

• Kültürel uyarlama (yerelleştirme). BBQ'nun ABD sosyal gerçekliğine dayalı olması, araştırmacıların bu benchmark'ı farklı dil ve kültürlere uyarlamakla ilgilenmesine yol açmıştır. 2023 yılında Koreli araştırmacılar tarafından bir Bias Benchmark'ının Korece versiyonu olan KoBBQ (Korean BBQ) dataset'i sunulmuştur. Bu araştırmacılar, BBQ'yu yerelleştirmek için genel bir yaklaşım geliştirmiş; orijinal şablonları üç kategoriye ayırmışlardır: doğrudan çevirilebilecekler, grupların yerel eşdeğerleriyle değiştirilmesi gerekenler ve Korece bağlamda hiç uygulanamayacak olanlar. Bunun yanı sıra KoBBQ, Kore toplumuna özgü 4 yeni kalıp yargı kategorisi eklemiş ve uyumsuz bazı örnekleri kaldırmıştır. Sonuç olarak orijinal ve yeni kategoriler dahil 12 sosyal bias kategorisini kapsayan 268 şablon ve 76.048 Korece örnek içeren bir veri kümesi elde edilmiştir. Çok dilli modellerin KoBBQ üzerinde test edilmesi, orijinal BBQ'nun Koreceye doğrudan makine çevirisiyle kıyaslandığında önyargı düzeyinde önemli farklılıklar ortaya koymuştur. Bu durum, doğrudan çevirinin yeterli olmadığını vurgulamaktadır: her ülkenin kendine özgü kalıp yargılarını ve bağlamını hesaba katan kültüre özgü benchmark'lara ihtiyaç duyulmaktadır. KoBBQ üzerindeki çalışmalar, BBQ metodolojisinin küresel ölçekte yaygınlaştırılabilirliğini kanıtlamıştır.

BBQ, yapay zekanın etik boyutlarına yönelik araştırmaların ayrılmaz bir parçası hâline gelmiştir. Onun etkisi; modellerdeki bias'ı azaltmaya yönelik yeni yöntemlerin, daha kapsayıcı dataset'lerin ve ince bias analizine yönelik metriklerin ortaya çıkmasında kendini göstermektedir. Araştırmacılar, BBQ'nun en güçlü yanlarından birinin geniş kapsam ve örnek tasarımındaki titizlik olduğunu belirtmektedir. BBQ'nun gündeme taşıdığı zorluklara yanıt olarak son dönemde eğitim verilerinin filtrelenmesinden özel son işlem algoritmalarına ve BDM'lerin adil yanıtlara yönelik ince ayarına kadar uzanan bias azaltma stratejileri yoğun biçimde geliştirilmektedir.

Sonuç olarak BBQ (Bias Benchmark for QA), dil modellerindeki sosyal önyargıları ölçmek için değerli ve güvenilir bir araç olarak kendini kanıtlamıştır. Araştırma topluluğuna, modelleri kalıp yargısallık açısından karşılaştırmak ve tarafsızlıklarının iyileştirilmesindeki ilerlemeyi izlemek için standart bir kontrol seti sunmaktadır. BBQ, fark edilmesi güç ama önemli zararlı bias'lardan bağımsız, daha adil ve güvenli yapay zeka sistemleri oluşturmaya yönelik küresel ilgiyi yansıtarak genişlemeye ve uyarlanmaya devam etmektedir.

Dış bağlantılar

• BBQ orijinal makalesi (arXiv)
• GitHub'daki BBQ deposu
• Papers With Code'daki BBQ dataset sayfası
• ACL Anthology'deki BBQ makalesi
• KoBBQ dataset makalesi (arXiv)
• Open-BBQ dataset makalesi (arXiv)

Literatür

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Notlar

</references>