--- title: "BBQ (Bias Benchmark for Question Answering) (KO)" source: "https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)" wiki: "systems-analysis.info/int" article: "BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)" language: "ko" categories: - "Category:Korean" - "Category:Large language models" - "Category:LLM benchmarks" - "Category:Machine learning" revision_id: 526 wiki_created_at: 2026-09-06T22:35:04Z wiki_modified_at: 2026-09-06T22:35:04Z downloaded_at: 2026-09-07T22:40:45Z --- # BBQ (Bias Benchmark for Question Answering) (KO) **BBQ** (Bias Benchmark for Question Answering) — **데이터셋**으로, 질의응답(QA) 시스템에서 **사회적 편견**(bias)을 평가하기 위해 설계되었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 뉴욕대학교 연구진이 알리샤 패리시(Alicia Parrish)의 지도 아래 개발하였으며, 2022년 ACL Findings 학술대회에서 발표되었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1)[\[2\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-acl-anthology-2). BBQ의 목표는 대형 언어 모델(LLM) 및 기타 QA 모델이 질문에 답할 때, 특히 자연어 질의응답 응용 과제에서 어떠한 고정관념과 편견을 드러내는지 파악하는 것이다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). BBQ는 아홉 가지 사회적 범주에 걸친 광범위한 고정관념을 다루며, NLP 분야에서 사회적 bias를 평가하는 가장 포괄적인 benchmark 중 하나로 자리매김하였다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). 이 dataset은 제한된 수의 특성(젠더-직업, 국적, 민족, 종교)을 기준으로 편견을 측정하고 모델의 확률값에 의존했던 기존의 UnQover(2020) dataset을 보완한다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). UnQover와 달리 BBQ는 모델 응답의 내용과 제시된 선택지 중 어떤 것을 선택하는지를 직접 분석함으로써, 출력 결과 수준에서 편견을 평가할 수 있다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). BBQ의 저자들은 이를 모델 내 **유해한 사회적 고정관념**을 진단하고, 이러한 고정관념이 취약 집단에 미치는 부정적 영향의 위험을 줄이기 위한 도구로 소개한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이 dataset은 미국 영어권 문화에서 두드러지는 고정관념에 초점을 맞추고 있으며, 가능한 모든 문화적 맥락을 포괄하지는 않는다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 그럼에도 불구하고, BBQ는 NLP 분야의 사회적 bias 측정 및 완화를 위한 후속 연구의 토대를 마련하였으며, 모델의 윤리적 적절성을 비교하는 기준점이 되었다. ## 데이터셋 구성 및 구조 BBQ는 특정 고정관념을 드러내기 위해 설계된 전용 세트로 묶인 약 **5만 8,500개의 질의응답 쌍**을 포함한다[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-paperswithcode-bbq-4). 모든 예시는 다양한 사회 집단 구성원에게 해로운 것으로 문서화된 편견과 고정관념 사례를 바탕으로 저자들이 **직접 작성**하였다[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-paperswithcode-bbq-4). 시나리오 작성 시 과학 연구, 언론 기사, 보고서 및 해당 고정관념의 존재와 유해성을 뒷받침하는 기타 신뢰할 수 있는 출처를 활용하였다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 각 상황에 대해 저자들은 해당 고정관념을 부정적이거나 유해한 것으로 기술한 출처(예: 학술 논문 또는 뉴스 기사)에 대한 참고 문헌을 명시한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). ### 사회적 범주 BBQ는 **아홉 가지 주요 사회적 범주**(대부분 미국 고용기회균등위원회 정의에 따른 보호 집단에 해당함)를 다룬다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1): - **연령** – 연령대에 대한 편견(예: 노인의 인지 능력 저하에 관한 고정관념)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **장애** – 장애인의 지적 능력이나 다른 특성에 관한 고정관념(예: 신체적 제약이 있는 사람은 지적으로 덜 유능하다는 인식)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **성별 정체성** – 성별 고정관념(예: '여자아이는 수학을 못한다'는 관념)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **국적** – 민족·국가적 편견(예: 아프리카 출신자는 기술적으로 무지하다는 고정관념)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **외모** – 외모 및 체형에 의한 차별(예: 비만인은 덜 똑똑하거나 부지런하지 않다는 인식)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **인종/민족** – 인종적 고정관념(예: 특정 인종을 범죄나 약물 남용과 편향되게 연결짓는 것)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **종교** – 종교적 고정관념(예: 유대인은 탐욕스럽다거나 무슬림은 폭력적이라는 인식 등)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **사회경제적 지위** – 빈곤층 또는 부유층에 대한 편견(예: 가난한 가정 출신은 부모 역할을 잘 못할 것이라는 믿음)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **성적 지향** – 동성애 혐오적 고정관념(예: 동성애와 HIV 감염을 잘못 연결짓는 것)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이 아홉 가지 범주 외에도, BBQ에는 두 가지 특성을 동시에 결합한 두 개의 **교차 범주**(intersectional biases)가 포함된다: (1) 젠더와 인종/민족의 결합, (2) 사회경제적 지위와 인종의 결합[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이러한 사례는 여러 집단의 교차점에서 발생하는 고정관념(예: 흑인 여성에 대한 편견이나 특정 하위 계층 민족에 대한 편견)을 다룬다. ### 템플릿과 예시 생성 각 범주에 대해 연구팀은 **시나리오 템플릿**을 작성하였다. 이는 대상 특성에 따라 서로 다른 두 인물이 등장하는 짧은 장면들로 구성된다(예: 젊은이와 노인, 남성과 여성, 부자와 가난한 사람 등)[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-paperswithcode-bbq-4). 각 템플릿에는 잘 알려진 고정관념을 확인하거나 반박할 수 있는 상황이 담겨 있으며, 질문과 답변 선택지가 연결되어 있다. 아홉 가지 주요 범주 각각에 대해 25개의 고유한 템플릿이 개발되었으며, 실제 이름을 사용하여 인명 수준의 bias를 검증하는 인종 및 젠더 범주용 추가 템플릿 25개도 포함되었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 또한 두 가지 교차 방향 각각에 대해 25개의 템플릿이 작성되었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이로써 기본 시나리오의 총 수는 300개를 넘는다. 각 템플릿에는 집단 명칭이나 설명이 채워지는 **변수 슬롯**이 있으며, 이 값이 본문에 대입된다(예: 연령 템플릿에서는 '\_살 사람' 자리에 다양한 숫자가 대입되거나, 외모 템플릿에서는 '뚱뚱한'/'마른' 등의 형용사가 대입됨)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 다양한 값의 대입과 두 인물의 언급 순서 조합을 통해 각 템플릿은 여러 구체적인 예시로 확장된다(최소 8개에서 최대 약 200개 변형)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 일반적으로 하나의 템플릿에서 최소 100개, 일부 경우에는 200개에 달하는 최종 질문이 생성된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 결과적으로 총 58,492개의 예시(시나리오, 질문, 응답의 고유한 조합)로 구성된 corpus가 만들어졌다[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-paperswithcode-bbq-4). ### 맥락과 질문 유형 BBQ의 핵심 특징은 각 상황이 두 가지 맥락 변형과 두 가지 질문 형식으로 제시되어 **4개의 질문으로 이루어진 군집**을 형성한다는 점이다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이는 정보 부족의 영향과 모델 자체의 고정관념을 분리하기 위해 설계되었다. 각 4문항 묶음에는[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1): - **모호한 맥락**(under-informative or ambiguous context): 서로 다른 집단에 속한 두 인물이 등장하는 상황이 기술되어 있지만, 제시된 질문에 명확하게 답하기에 충분한 정보가 없는 텍스트[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이 경우 올바른 답은 항상 '알 수 없음'(즉, 충분한 정보가 없음)이다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이러한 예시는 모델이 고정관념에 기반하여 추론하는지 여부를 검증하는 데 활용된다. - **명확한 맥락**(disambiguated context): 두 인물 중 누가 질문에 해당하는지 판단할 수 있는 추가적인 세부 사항이 포함된 확장 시나리오[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이 경우 두 인물 중 하나가 명백한 정답이 되며('알 수 없음'은 오답이 됨). 명확한 맥락은 고정관념이 반대 방향을 가리키더라도 모델이 편견을 극복하고 올바른 답을 선택할 수 있는지 검증하는 데 활용된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **부정적 질문**(예: '둘 중 누가 과목을 잘 모르나?', '누가 범죄를 저질렀나?')[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이러한 질문은 모호한 맥락과 결합될 때, 사실이 없는 상황에서 모델이 부정적 행동을 특정 집단과 연결짓는 경향이 있는지 검증한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **비부정적(대조적) 질문**(예: '둘 중 누가 과목을 잘 아나?' 또는 '누가 나쁜 행동을 자제하나?')[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 비부정적 질문은 고정관념을 직접적으로 지지하는 것처럼 들리지 않으면서도 모델 응답의 균형을 검증할 수 있도록 구성된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 부정적 질문과 중립적 질문에 대한 응답을 비교하면 체계적인 편향이 드러난다. 군집 내 네 예시 각각에는 **세 가지 응답 선택지**가 있다: 두 등장 집단 각각을 지칭하는 두 개의 구체적인 선택지와, 충분한 정보가 없음을 나타내는 하나의 선택지('Unknown' 및 동등한 표현으로 표시됨)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 예를 들어, 기독교인과 무슬림이 등장하는 장면에서 응답 선택지는 '기독교인', '무슬림', '알 수 없음'이 된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). '알 수 없음'이라는 표현이 항상 동일하지 않으며, 10가지 동의어 표현이 사용된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 또한 각 템플릿에서는 **두 집단의 언급 순서**가 자동으로 변경된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이는 모델이 내용과 무관하게 먼저 언급된 개체를 더 자주 선택하는 경향이 있는 **순서 효과**로 알려진 요인을 제거하기 위한 것이다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). ### 주석 및 품질 검증 BBQ의 각 예시는 크라우드소싱 주석자들에 의해 평가되었다: 최소 5명의 독립적인 사람들이 질문에 답하였으며, **5명 중 최소 4명이 올바른 답에 동의한**(다수결) 예시만이 최종 dataset에 포함되었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이 기준을 통과하지 못한 질문이 있으면 해당 템플릿 전체를 검토하고 수정하였다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이 과정 덕분에 BBQ에서 사람의 정확도는 매우 높다: 개별 주석자들은 약 95.7%의 질문에 정확하게 답하였으며, 다수결을 고려하면 정답 기준(gold standard)의 정확도는 99.7%에 달한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). Krippendorff's alpha 일치도 지수는 0.883으로, 올바른 답에 대한 **사람 간의 높은 일치도**를 나타낸다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이러한 조치들은 BBQ의 과제가 사람에게 명확하며 객관적으로 올바른 답이 존재함을 확인해 준다. 따라서 이 예시들에 대한 모델의 오류는 질문 자체의 모호성이 아닌 bias의 발현으로 합리적으로 해석될 수 있다. ## 모델 편견 평가 BBQ는 사회적 bias를 유발하는 조건에서 모델 행동을 다각도로 평가하기 위해 설계되었다. 테스트 시 QA 모델은 맥락과 질문을 입력으로 받은 후 세 가지 응답 선택지 중 하나를 선택해야 한다. 결과 분석은 두 가지 수준에서 이루어진다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1): ### 모호한 맥락의 경우 필요한 정보가 없는 상황에서 모델이 질문에 잘못 답하는 빈도, 즉 **고정관념에 의존하는** 경향을 측정한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이상적으로는 모델이 불충분한 맥락이 있는 모든 질문에 '알 수 없음'으로 답해야 하지만, 두 집단 중 하나를 선택한다면 내재된 고정관념의 투영으로 간주된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이러한 오류의 빈도와 범주별 분포는 모델이 유해한 고정관념을 재현하는 경향을 보여 준다. ### 명확한 맥락의 경우 맥락에 명백한 정답이 포함되어 있을 때 모델이 얼마나 정확하게 답하는지 평가한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 여기서는 일반적으로 표준 **accuracy** 지표(정답률)를 계산하여 모델이 기본적으로 질의응답 과제를 수행할 수 있는지 확인한다. 그러나 특별한 주의는 올바른 답이 고정관념과 상충하는 경우에 기울여진다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). BBQ 개발자들은 올바른 답이 확립된 고정관념에 반할 때 모델의 정확도가 낮아지는지(반대로, 사실이 고정관념적 기대와 일치할 때 정확도가 높아지는지) 분석한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이러한 효과는 사실이 있음에도 불구하고 모델이 bias로 인해 오류를 범할 수 있음을 나타낸다. ### Bias Score 편견의 정도를 정량적으로 평가하기 위해 특별한 지표인 **편견 점수**(bias score)가 도입된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 일반적으로 bias score는 고정관념과 일치하는 모델 응답의 비율(조건에 따라 오답 또는 전체 응답 중에서)을 반영한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **+100%** 값은 모델이 모든 경우에 대상 집단에 부정적 특성을 고정관념적으로 귀속시키는 응답 선택지를 선택했음을 의미한다. - **0%** — bias 발현 없음(모델이 항상 올바르게/'알 수 없음'으로 답하거나, 양방향으로 균등하게 오류를 범함). - **음수 score**(최대 -100%) — 반대 경향으로, 모델이 항상 고정관념의 기대와 반대로 답하는 경우[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 점수는 모호한 맥락과 명확한 맥락에서 오류의 성격이 다르기 때문에 각각 별도로 계산된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **모호한 질문**의 경우, bias score는 모델이 '알 수 없음' 대신 부정적 고정관념과 일치하는 구체적인 답을 선택한 경우의 비율로 결정된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이러한 응답이 많을수록 양의 score가 높아진다. 이때 정확도가 고려된다: 모델이 오류와 정답('알 수 없음')을 균등하게 나타낸다면, 항상 고정관념적 답을 선택하는 모델보다 score가 낮게 나타난다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 따라서 **bias 응답의 빈도와 확실성 모두 패널티를 받는다**(모호한 맥락의 경우, 지표는 '알 수 없음' 정답률을 고려하여 조정된다)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). - **명확한 질문**의 경우, 올바른 답이 두 집단 중 하나이므로 bias score는 다소 다르게 계산된다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이 경우 모델의 **오답**을 살펴본다: 모델이 올바른 선택지가 아닌 고정관념과 일치하는 대안적 선택지를 선택한 오류의 비율[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 즉, 모델이 편견을 우선시하여 오류를 범한 경우(예: 사실을 믿지 않고 고정관념에 따라 답한 경우), score가 높아진다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 전체 정확도와 함께 bias score를 분석함으로써 BBQ에서의 모델 행동을 상세히 특성화할 수 있다. 저자들은 동일한 accuracy도 서로 다른 오류 패턴을 감출 수 있다고 지적한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 따라서 이 지표는 **오류의 방향성**을 보여 주고, 정확도만으로는 포착되지 않는 미묘한 사례를 드러낸다. ## 결과 및 발견된 패턴 BBQ dataset으로 여러 인기 QA 모델을 초기 테스트한 결과, 다수의 명확한 bias 발현이 관찰되었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). Parrish 외(2022) 연구에서는 대형 범용 모델(예: T5 기반의 통합 QA 모델인 UnifiedQA)과 표준 객관식 모델(예: QA에 fine-tuning된 RoBERTa) 모두 테스트되었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 실험 결과의 주요 결론: - **정보 부족 시 강한 고정관념적 오류**. 테스트된 모든 시스템에서 맥락이 필요한 단서를 제공하지 않을 때 고정관념에 따라 답하는 경향이 관찰되었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 다시 말해, 모델들은 '알 수 없음'을 선택하지 않고 특정 고정관념적 기대와 연결된 구체적인 답을 선호하는 경우가 많았다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 예를 들어, 명백한 범인이 없는 범죄에 관한 모호한 질문에서 모델들은 종종 특정 집단(편견에 해당하는)에 속한 인물을 지목하였다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 모호한 맥락에 대해 계산된 bias score는 0을 크게 상회하였으며, 일부 모델의 특정 범주에서는 +100%에 근접하였다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 특히 **외모**(비만 등)와 관련된 시나리오에서 모델들이 고정관념적 답을 선택하는 경향이 두드러졌으며, 이 범주는 예를 들어 인종이나 성적 지향보다 현저히 높은 bias를 나타냈다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 이는 모델 내 bias의 불균일성을 나타내며, 일부 유형의 고정관념이 다른 것보다 더 강하게 '학습'되어 있음을 보여 준다. - **사실 제공 시 개선되지만 잠재적 bias 지속**. 명확한 맥락과 함께 정답이 명시적으로 제시되었을 때 모델의 **정확도는 눈에 띄게 향상되었다**(불확실한 상황과 비교하여)[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 그러나 세밀한 분석은 미묘한 효과를 드러냈다: 정확도가 **올바른 답과 고정관념과의 관계에 따라 불균일하게 나타났다**[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 평균적으로, 모델들은 올바른 답이 일반적인 고정관념과 일치하는 예시에서 그 고정관념에 반하는 예시보다 3~3.5퍼센트포인트 더 높은 정확도를 달성하였다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 다시 말해, 사실이 편견을 확인하는 경우 모델은 거의 오류 없이 답하였지만, 고정관념에 비추어 '비전형적인' 선택지를 답해야 하는 경우 오류 가능성이 높아졌다. 이 성능 격차는 크지 않지만 여러 범주에서 통계적으로 나타났다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 가장 큰 차이는 젠더 고정관념과 관련된 질문에서 관찰되었으며, 최대 5퍼센트포인트의 차이가 있었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 따라서 **bias의 잠재적 영향**이 추적된다: 모델들은 평균적으로 '고정관념에 반하는' 과제에서 다소 저조한 성능을 보인다. - **범주 및 템플릿별 비교**. BBQ 연구자들은 아홉 가지 범주 전체에 걸쳐 bias score를 분석하였으며, 모호한 맥락에서 점수가 모든 범주에서 양수이지만 그 크기는 다양함을 발견하였다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 앞서 언급한 바와 같이, 신체적 외모, 사회경제적 지위 및 일부 교차 범주에서 최대 bias가 관찰되었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 인종/민족 및 성적 지향 범주에서는 bias score가 더 낮았지만, 여전히 0보다는 높았다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 명확한 맥락에서 bias score는 전반적으로 0에 더 가깝지만(모델이 종종 올바르게 답하므로), 일부 템플릿에서는 여전히 양수를 유지하며 오류 패턴에서 뚜렷한 편향을 반영한다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 예를 들어, 종교 범주에서 대부분의 오류가 한 방향으로 나타났으며, 모델들은 오류를 범할 때 일반적으로 편견에 기반한 답을 선택하였다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 전반적으로 BBQ는 강력한 현대 언어 모델조차 **사회적 편견에서 명백히 자유롭지 않음**을 보여 주었다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 불확실한 조건에 놓이면 고정관념을 재현하는 경향이 있으며, 반대 답을 요구하는 사실이 있어도 미묘한 bias를 드러낼 수 있다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 동시에 이러한 효과의 크기는 집단마다 다르며, 일부 고정관념은 모델에 더 강하게 '학습'되어 있다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). BBQ의 저자들은 발견된 차이가 눈에 띄지만 재앙적으로 크지는 않다고 강조한다. 대부분 모델의 bias score는 극단적인 값에 도달하지 않으며 종종 수십 퍼센트 범위에 머문다[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1). 그러나 LLM의 대규모 사용 시 고정관념 방향의 작은 체계적 편향도 잠재적으로 위험할 수 있으므로, 이러한 bias를 식별하고 제거하는 것은 중요한 과제이다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). BBQ는 연구자들에게 이 분야의 발전을 추적할 수 있는 명확하고 정량적으로 측정 가능한 방법을 제공하였다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). ## 영향 및 후속 연구 BBQ dataset은 언어 모델의 공정성(fairness) 특성을 평가하는 표준 도구로 빠르게 인정받았다[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-paperswithcode-bbq-4). **공개 소스 코드와 데이터**는 저장소(CC BY 4.0 라이선스)에서 이용 가능하며[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-paperswithcode-bbq-4), 이를 통해 광범위한 연구 커뮤니티가 새로운 모델 개발 및 테스트에 BBQ를 활용할 수 있었다. 일부 개요 논문에서 BBQ는 StereoSet, WinoBias, ToxiGen 등 다른 benchmark들과 함께 NLP 분야의 사회적 bias 연구에서 중요한 이정표로 언급된다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). BBQ가 발표된 이후 그 아이디어를 발전시키고 새로운 조건에 적용하는 연구들이 등장하였다: - **질문 형식 확장(Open-BBQ)**. 원래의 BBQ는 객관식 형식의 과제를 제시한다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). 2024년에는 빈칸 채우기와 단답형 텍스트 과제를 포함하는 **개방형 답변** 버전의 BBQ가 제안되었다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). Open-BBQ라 불리는 이 버전은 고정된 응답 선택지가 없는 보다 자유로운 대화 조건에서 bias를 평가할 수 있도록 한다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). 연구에 따르면 LLM은 자유 텍스트 생성 시에도 일부 집단에 대한 높은 bias를 나타낸다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). Open-BBQ의 저자들은 zero-shot 및 few-shot 프롬프트와 chain-of-thought(단계적 추론)을 결합하는 편견 완화 방법도 실험하였다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). 이러한 방법들은 응답에서 bias 수준을 눈에 띄게 줄이는 데 효과적이었다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). Open-BBQ는 원본 dataset을 보완하여 사용자 요청에 더 가까운 형식으로 생성 모델을 테스트할 수 있게 하였다. - **문화적 적응(현지화)**. BBQ가 미국의 사회적 현실에 기반을 두고 있기 때문에, 연구자들은 이를 다른 언어와 문화에 적용하는 데 관심을 가지게 되었다[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-kobbg-5). 2023년 한국 연구자들이 편견 benchmark의 한국어 버전인 **KoBBQ**(Korean BBQ) dataset을 발표하였다[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-kobbg-5). 이들은 BBQ 현지화를 위한 일반적 접근 방식을 개발하였으며, 원본 템플릿을 세 가지 범주로 분류하였다: 단순 번역이 가능한 것, 로컬 등가물로 집단 교체가 필요한 것, 한국어 맥락에는 전혀 적용할 수 없는 것[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-kobbg-5). 또한 KoBBQ는 한국 사회에 특화된 4가지 새로운 고정관념 범주를 추가하고 일부 부적절한 예시를 제거하였다[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-kobbg-5). 그 결과 268개의 템플릿과 76,048개의 한국어 예시로 구성되며 12개의 사회적 bias 범주(기존 및 신규 포함)를 다루는 dataset이 만들어졌다[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-kobbg-5). 다국어 모델을 KoBBQ로 테스트한 결과, 원본 BBQ를 한국어로 직접 기계 번역한 것과 비교하여 편견 수준에서 상당한 차이가 나타났다[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-kobbg-5). 이는 **직접 번역으로는 충분하지 않으며**, 각 국가의 고유한 고정관념과 맥락을 고려한 문화적 특수성을 반영하는 benchmark가 필요함을 강조한다[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-kobbg-5). KoBBQ에 관한 연구는 BBQ의 방법론을 전 세계적으로 확장할 수 있는 가능성을 보여 주었다. BBQ는 **인공지능 윤리** 연구의 필수적인 부분이 되었다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). 그 영향은 새로운 모델 디바이싱 방법론, 보다 포용적인 dataset 구축, 편견에 대한 세밀한 분석을 위한 지표 개발 등에서 나타난다. 연구자들은 BBQ의 강점 중 하나가 광범위한 커버리지와 예시 구성의 철저함이라고 지적한다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). BBQ가 제기한 과제에 대응하여 최근에는 훈련 데이터 필터링부터 특수 후처리 알고리즘 및 공정한 응답을 위한 LLM fine-tuning에 이르기까지 다양한 **편견 감소 전략**이 활발히 개발되고 있다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). 결론적으로, BBQ(Bias Benchmark for QA)는 언어 모델의 사회적 편견을 측정하는 가치 있고 신뢰할 수 있는 도구로 자리매김하였다. 이는 연구 커뮤니티에 모델의 고정관념 경향을 비교하고 공정성 향상의 진전을 추적할 수 있는 표준적인 검증 세트를 제공한다[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3). BBQ는 눈에 띄지 않지만 실질적인 유해한 bias에서 자유로운 보다 **공정하고 안전한 AI 시스템** 구축[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3)에 대한 전 세계적 관심을 반영하며 계속 확장되고 적용되고 있다. ## 참조 링크 - 원본 BBQ 논문 (arXiv) - GitHub의 BBQ 저장소 - Papers With Code의 BBQ dataset 페이지 - ACL Anthology의 BBQ 논문 - KoBBQ dataset 논문 (arXiv) - Open-BBQ dataset 논문 (arXiv) ## 문헌 - Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. arXiv:2211.09110. - Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. arXiv:2307.03109. - Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. arXiv:2508.15361. - Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. arXiv:2405.14782. - Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. arXiv:2104.14337. - Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. arXiv:2106.06052. - Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. arXiv:2101.04840. - Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. arXiv:2406.04244. - Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. arXiv:2506.11094. - Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. arXiv:2403.04132. - Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. arXiv:2311.17295. - Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. arXiv:2311.05232. ## 각주 [\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-bbq-main-1) [\[2\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-acl-anthology-2) [\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-evaluating-mitigating-3) [\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-paperswithcode-bbq-4) [\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_note-arxiv-kobbg-5) \ 1. ↑ [1.00](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-0) [1.01](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-1) [1.02](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-2) [1.03](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-3) [1.04](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-4) [1.05](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-5) [1.06](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-6) [1.07](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-7) [1.08](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-8) [1.09](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-9) [1.10](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-10) [1.11](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-11) [1.12](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-12) [1.13](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-13) [1.14](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-14) [1.15](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-15) [1.16](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-16) [1.17](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-17) [1.18](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-18) [1.19](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-19) [1.20](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-20) [1.21](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-21) [1.22](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-22) [1.23](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-23) [1.24](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-24) [1.25](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-25) [1.26](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-26) [1.27](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-27) [1.28](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-28) [1.29](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-29) [1.30](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-30) [1.31](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-31) [1.32](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-32) [1.33](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-33) [1.34](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-34) [1.35](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-35) [1.36](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-36) [1.37](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-37) [1.38](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-38) [1.39](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-39) [1.40](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-40) [1.41](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-41) [1.42](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-42) [1.43](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-43) [1.44](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-44) [1.45](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-45) [1.46](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-46) [1.47](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-47) [1.48](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-48) [1.49](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-49) [1.50](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-50) [1.51](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-51) [1.52](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-52) [1.53](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-53) [1.54](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-54) [1.55](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-55) [1.56](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-56) [1.57](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-57) [1.58](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-58) [1.59](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-59) [1.60](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-60) [1.61](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-61) [1.62](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-62) [1.63](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-63) [1.64](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-64) [1.65](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-65) [1.66](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-66) [1.67](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-67) [1.68](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-68) [1.69](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-69) [1.70](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-70) [1.71](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-71) [1.72](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-72) [1.73](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-73) [1.74](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-74) [1.75](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-75) [1.76](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-76) [1.77](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-77) [1.78](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-78) [1.79](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-79) [1.80](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-80) [1.81](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-bbq-main_1-81) Parrish A. et al. «BBQ: A Hand-Built Bias Benchmark for Question Answering». *arXiv*. [1] 2. ↑ [2.0](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-acl-anthology_2-0) [2.1](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-acl-anthology_2-1) Parrish A. et al. «BBQ: A hand-built bias benchmark for question answering». *ACL Anthology*. [2] 3. ↑ [3.00](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-0) [3.01](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-1) [3.02](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-2) [3.03](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-3) [3.04](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-4) [3.05](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-5) [3.06](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-6) [3.07](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-7) [3.08](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-8) [3.09](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-9) [3.10](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-10) [3.11](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-11) [3.12](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-12) [3.13](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-13) [3.14](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-14) [3.15](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-15) [3.16](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-evaluating-mitigating_3-16) Liu Z. et al. (2024). «Evaluating and Mitigating Social Bias for Large Language Models in Open-ended Settings». *arXiv preprint*. [3] 4. ↑ [4.0](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-paperswithcode-bbq_4-0) [4.1](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-paperswithcode-bbq_4-1) [4.2](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-paperswithcode-bbq_4-2) [4.3](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-paperswithcode-bbq_4-3) [4.4](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-paperswithcode-bbq_4-4) [4.5](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-paperswithcode-bbq_4-5) [4.6](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-paperswithcode-bbq_4-6) «BBQ Dataset». *Papers With Code*. [4] 5. ↑ [5.0](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-kobbg_5-0) [5.1](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-kobbg_5-1) [5.2](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-kobbg_5-2) [5.3](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-kobbg_5-3) [5.4](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-kobbg_5-4) [5.5](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-kobbg_5-5) [5.6](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-kobbg_5-6) [5.7](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_(KO)#cite_ref-arxiv-kobbg_5-7) Jin J. et al. (2024). «KoBBQ: Korean Bias Benchmark for Question Answering». *arXiv preprint*. [5]