---
title: "BBQ (Bias Benchmark for Question Answering) — 質問応答バイアスベンチマーク"
source: "https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF"
wiki: "systems-analysis.info/int"
article: "BBQ_(Bias_Benchmark_for_Question_Answering)_—_質問応答バイアスベンチマーク"
language: "ja"
categories:
  - "Category:Japanese"
  - "Category:Large language models"
  - "Category:LLM benchmarks"
  - "Category:Machine learning"
revision_id: 538
wiki_created_at: 2026-09-06T22:35:17Z
wiki_modified_at: 2026-09-06T22:35:17Z
downloaded_at: 2026-09-07T22:40:52Z
---

# BBQ (Bias Benchmark for Question Answering) — 質問応答バイアスベンチマーク

**BBQ** (Bias Benchmark for Question Answering)は、質問応答（QA）システムにおける**社会的偏見**（バイアス）を評価するための**データセット**です<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。このデータセットは、アリシア・パリッシュ（Alicia Parrish）氏が率いるニューヨーク大学の研究者グループによって開発され、2022年のACL Findings会議で発表されました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)[\[2\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-acl-anthology-2)</sup>。BBQの目的は、大規模言語モデル（LLM）やその他のQAモデルが、特に自然言語での質問応答の応用タスクにおいて、どのようにステレオタイプや偏見を回答に表出させるかを明らかにすることです<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。BBQは、NLPにおける社会的バイアスを評価するための最も包括的なベンチマークの一つとなり、9つの社会的カテゴリーにわたる広範なステレオタイプをカバーしています<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。

このデータセットは、UnQoverデータセット（2020年）のような先行研究を補完するものです。UnQoverは、限られた特徴（ジェンダーと職業、国籍、民族、宗教）に関するバイアスを測定し、回答自体ではなくモデルの確率に依存していました<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。UnQoverとは対照的に、BBQはモデルの回答内容と提示された選択肢の中からどれを選ぶかを直接分析するため、出力結果のレベルでバイアスを評価することが可能です<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

BBQの作成者は、モデル内の**有害な社会的ステレオタイプ**を診断し、そのようなステレオタイプが脆弱な集団に与える悪影響のリスクを低減するためのツールとして位置づけています<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。このデータセットは、米国の英語圏文化に関連するステレオタイプに焦点を当てており、すべての文化的文脈を網羅しているわけではありません<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。それにもかかわらず、BBQはNLPにおける社会的バイアスの測定と緩和に関する後続研究の基礎を築き、モデルの倫理的な正しさを比較する際の基準となりました。

## データセットの構成と構造

BBQには約**58,500件の質問と回答**が含まれており、これらは特定のステレオタイプを検出することを目的とした特別なセットにグループ化されています<sup>[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-paperswithcode-bbq-4)</sup>。すべてのサンプルは、様々な社会集団の代表者に害を及ぼす、記録された偏見やステレオタイプの事例に基づいて、作成者によって**手作業で**作成されました<sup>[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-paperswithcode-bbq-4)</sup>。シナリオを作成する際には、科学的研究、メディア記事、報告書、その他、特定のステレオタイプの存在とその有害な結果を裏付ける信頼できる情報源からのデータが使用されました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。各状況について、作成者はそのステレオタイプが否定的または有害であると記述されている情報源（例えば、科学論文やニュース記事）へのリンクを示しています<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

### 社会的カテゴリー

BBQは、**9つの主要な社会的に重要なカテゴリー**をカバーしています（ほとんどが米国雇用機会均等委員会の定義における保護対象グループに対応しています）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>：

- **年齢** – 年齢層に対する偏見（例：高齢者は認知能力が低下するというステレオタイプ）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **障害** – 障害を持つ人々の知的能力やその他の資質に関するステレオタイプ（例：身体的制約のある人は知的に劣っているという見方）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **ジェンダー・アイデンティティ** – ジェンダーに関するステレオタイプ（例：「女の子は数学が苦手」という考え）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **国籍** – 国籍・民族に関する偏見（例：アフリカ出身者は技術に疎いというステレオタイプ）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **外見** – 外見や体型に基づく差別（例：肥満の人は知性が低い、または勤勉でないという意見）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **人種・民族** – 人種に関するステレオタイプ（例：特定の人種を犯罪や薬物乱用と偏見を持って結びつけること）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **宗教** – 宗教に関するステレオタイプ（例：ユダヤ人は貪欲、イスラム教徒は暴力に傾倒しやすいといった見方）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **社会経済的地位** – 社会の貧困層または富裕層に対する偏見（例：貧しい家庭の出身者は良い親になれないという信念）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **性的指向** – 同性愛嫌悪のステレオタイプ（例：同性愛とHIV感染を誤って関連付けること）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

これら9つのカテゴリーに加え、BBQには2つの**交差的カテゴリー**（intersectional biases）が含まれており、2つの特徴を同時に組み合わせています：（1）ジェンダーと人種・民族の組み合わせ、および（2）社会経済的地位と人種の組み合わせです<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。このようなケースでは、異なるグループの交差点で生じるステレオタイプ（例えば、特に黒人女性に対する偏見や、特定の低社会階級の民族に対する偏見）が考慮されます。

### テンプレートとサンプルの生成

各カテゴリーについて、チームは**シナリオテンプレート**を作成しました。これは、対象となる特徴によって異なる2人の人物が登場する短いスケッチです（例：若者と高齢者、男性と女性、富裕層と貧困層など）<sup>[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-paperswithcode-bbq-4)</sup>。テンプレートには、既知のステレオタイプを肯定または否定しうる状況が組み込まれています。各シナリオには、質問と回答の選択肢が関連付けられています。

合計で、9つの主要カテゴリーそれぞれに25のユニークなテンプレートが開発され、さらに人種とジェンダーのカテゴリーには実名を使用した25の追加テンプレートが作成されました（固有名詞レベルでのバイアスを検証するため）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。また、2つの交差的分野についてもそれぞれ25のテンプレートが作成されました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。これにより、基本的なシナリオの総数は300を超えます。

各テンプレートには、テキストに挿入されるグループ名や記述などの**変数用の特別なスロット**が含まれています（例えば、年齢のテンプレートでは「\_歳の人物」の代わりに様々な数字が挿入されたり、外見では「太った」/「痩せた」などの形容詞が挿入されたりします）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。様々な値を代入し、2人の人物の言及順序を入れ替えることで、各テンプレートは多数の具体的なサンプル（最低8から最大約200のバリエーション）に拡張されます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。通常、1つのテンプレートから少なくとも100の最終的な質問が生成され、場合によっては200に達することもあります<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。その結果、合計で58,492のサンプル（シナリオ、質問、回答のユニークな組み合わせ）からなるコーパスが作成されました<sup>[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-paperswithcode-bbq-4)</sup>。

### コンテキストと質問のタイプ

BBQの重要な特徴は、各状況が2つのバリエーションのコンテキストと2つの質問形式で提示され、**4つの質問**からなるセット（いわゆる4つのクラスタ）を形成することです<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。これは、情報不足の影響をモデル自身のステレオタイプから切り分けるために行われます。各カルテットにおいて<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>：

- **曖昧なコンテキスト** (under-informative or ambiguous context): 異なるグループに属する2人の人物が登場する状況が記述されているが、提示された質問に明確に答えるための十分な情報が含まれていないテキスト<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。このような場合、正しい答えは常に「不明」（すなわち十分なデータがないこと）です<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。これらのサンプルは、モデルがステレオタイプに基づいて結論を導き出さないかを検証するために必要です。
- **明確なコンテキスト** (disambiguated context): 拡張されたシナリオで、言及された2人のうちどちらが質問に該当するかを特定できる詳細が追加されています<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。この場合、2人の登場人物のどちらかが明確に正解となります（そして「不明」という選択肢は不正解になります）。明確なコンテキストは、モデルが自身の潜在的なバイアスを克服し、ステレオタイプが逆を示唆していても正しい答えを選べるかを検証するために用いられます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **ネガティブな質問** (e.g., 「どちらがその科目をよく知らないか？」、「どちらが犯罪を犯したか？」)<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。このような質問は、曖昧なコンテキストと組み合わせることで、モデルが事実がない状況で特定のグループに否定的な行動を結びつける傾向があるかを検証します<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **非ネガティブ（対照的）な質問** (e.g., 「どちらがその科目をよく知っているか？」または「どちらが悪い行いを控えているか？」)<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。非ネガティブな質問は、ステレオタイプを直接肯定するようには聞こえないが、モデルの回答のバランスを検証できるように作られています<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。ネガティブ版とニュートラル版への回答を比較することで、体系的な偏りが明らかになります。

クラスタ内のこれら4つのサンプルのそれぞれには、**3つの回答選択肢**があります：2つの具体的な選択肢（登場する2つのグループのそれぞれを指す）と、十分な情報がないことを示す1つの選択肢（「Unknown」および同等のフレーズで示される）です<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。例えば、キリスト教徒とイスラム教徒が登場する場面では、回答の選択肢は「キリスト教徒」、「イスラム教徒」、または「不明」となります<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。なお、「不明」という言葉は常に同じではなく、10の同義表現が使用されます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

さらに、各テンプレートでは**2つのグループの言及順序**が自動的に変更されます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。これは、モデルが内容に関係なく最初に言及されたエンティティをより頻繁に選択する可能性があるという既知の要因である**順序効果**を無効にするために行われます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

### アノテーションと品質検証

BBQの各サンプルは、クラウドソーシングのアノテーターによって評価されました：少なくとも5人の独立した人々が質問に答え、最終的なデータセットには**アノテーター5人中4人以上が正解に同意した**サンプルのみが含まれました（多数決による）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。いずれかの質問がこの基準を満たさなかった場合、テンプレート全体が見直され、編集されました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。このプロセスのおかげで、BBQにおける人間の正解率は非常に高く、個々のアノテーターは質問の約95.7%に正しく答え、多数決を考慮するとゴールドスタンダードの正解率は99.7%に達します<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。一致度に関するカッパ係数（Krippendorff's alpha）は0.883であり、これは正解に関する人間同士の**高い一致度**を示しています<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。これらの指標は、BBQのタスクが人間にとって理解しやすく、客観的に正しい答えがあることを裏付けています。したがって、これらのサンプルに対するモデルの誤りは、質問自体の曖昧さではなく、バイアスの現れとして合理的に解釈できます。

## モデルのバイアス評価

BBQは、社会的バイアスを誘発する状況下でのモデルの振る舞いを多角的に評価するために設計されています。QAモデルをテストする際、モデルはコンテキストと質問を入力として受け取り、3つの回答選択肢の中から1つを選ばなければなりません。結果の分析は2つのレベルで行われます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>：

### 曖昧なコンテキストの場合

必要な情報がない場合に、モデルがどれくらいの頻度で質問に誤って答えるか、すなわち**ステレオタイプに依存する**かが測定されます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。理想的には、モデルはコンテキストが不十分な質問にはすべて「不明」と答えるべきですが、いずれかのグループを選択した場合、それは内在するステレオタイプの投影と見なされます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。このような誤りの頻度とそのカテゴリーごとの分布は、モデルが有害なステレオタイプを再生産する傾向についての洞察を与えます。

### 有益なコンテキストの場合

コンテキストに明確な正解が含まれている場合に、モデルがどれだけ正確に答えるかが評価されます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。ここでは通常、標準的な指標である**正解率**（accuracy）が計算され、モデルが質問応答タスクを基本的にこなせるかどうかを示します。しかし、特に注意が払われるのは、正解がステレオタイプと矛盾する場合です<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。BBQの開発者たちは、正解が根深いステレオタイプに反する場合にモデルの正解率が低下しないか（また、逆に、真実がステレオタイプの期待と一致する場合に正解率が高くならないか）を分析します<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。このような効果は、事実が存在する場合でも、モデルがバイアスのために誤りを犯す可能性があることを示唆します。

### Bias Score - バイアススコア

バイアスの程度を定量的に評価するために、特別な指標である**バイアススコア** (bias score)が導入されます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。一般的に、バイアススコアは、ステレオタイプと一致するモデルの回答の割合（条件に応じて、誤答または全回答のうち）を反映します<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

- **+100%** の値は、モデルがすべての場合において、対象グループに否定的な性質をステレオタイプ的に帰属させる回答選択肢を選んだことを意味します。
- **0%** は、バイアスの兆候がないこと（モデルが常に正しく答えるか「不明」と答えるか、または両方向に均等に誤る）を意味します。
- **負のスコア**（最大-100%）は、モデルが常にステレオタイプの期待に反して答える逆の傾向を示します<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

スコアは、曖昧なコンテキストと明確なコンテキストで誤りの性質が異なるため、別々に計算されます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

- **曖昧な質問**の場合、バイアススコアは、モデルが「不明」の代わりに特定の回答を選択し、その回答が否定的なステレオタイプと一致したケースの割合によって決定されます<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。そのような回答が多いほど、正のスコアが高くなります。この際、正解率も考慮されます。モデルが均等に誤答し、正しく（「不明」と）答える場合、ステレオタイプ的な誤りが一部あっても、常にステレオタイプ的な回答を選択するモデルよりもスコアは低くなります<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。したがって、**バイアス回答の頻度と確信度の両方がペナルティの対象となります**（曖昧なコンテキストでは、この指標は「不明」という正解の割合を考慮してスケーリングされます）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。
- **明確な質問**の場合、バイアススコアの計算方法は少し異なります。なぜなら、ここでの正解はグループの1つだからです<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。これらのケースでは、モデルの**不正解**に注目します。つまり、モデルが正解ではなく、ステレオタイプと一致する別の選択肢を選んだ誤りの割合です<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。言い換えれば、モデルが偏見を優先して誤った場合（例えば、事実を信じずにステレオタイプに基づいて答えた場合）、スコアは増加します<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

バイアススコアと全体的な正解率を併せて分析することで、BBQにおけるモデルの振る舞いを詳細に特徴づけることができます。作成者たちは、同じ正解率でも誤りの性質が異なる場合があることを指摘しています<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。このように、この指標は**誤りの方向性**を示し、正解率だけでは見えない微妙なケースを明らかにします。

## 結果と明らかになったパターン

いくつかの人気のあるQAモデルをBBQデータセットで初めてテストした結果、多くの明確なバイアスの兆候が示されました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。Parrishら（2022）の研究では、大規模な汎用モデル（例：UnifiedQA – T5ベースの汎用QAモデル）と、標準的な多肢選択式モデル（例：QAでファインチューニングされたROBERTA）の両方がテストされました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

実験結果から得られた主な結論は以下の通りです：

- **情報不足時の強いステレオタイプエラー**。テストされたすべてのシステムで、コンテキストが必要な手がかりを提供しない場合にステレオタイプに沿った回答をする傾向が観察されました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。言い換えれば、モデルはしばしば「不明」という選択肢を選ばず、何らかのステレオタイプ的な期待に対応する具体的な回答を好みました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。例えば、明確な犯人がいない犯罪に関する曖昧な質問では、モデルはしばしば特定のグループ（偏見に対応する）の人物を指摘しました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。曖昧なコンテキストに対して計算されたバイアススコアは、ゼロを大幅に上回り、一部のモデルでは特定のカテゴリーで+100%に近づくこともありました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。特に、**外見**（肥満など）に関連するシナリオで、モデルはステレオタイプ的な回答への高い傾向を示しました。このカテゴリーは、例えば人種や性的指向よりも著しく大きなバイアスを生み出しました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。これは、モデル内のバイアスが不均一であることを示唆しています。つまり、ある種のステレオタイプは他のものよりも強く「学習」されているのです。
- **事実がある場合の改善、しかし潜在的バイアスの残存**。モデルが明確な正解を示す明確なコンテキストを与えられると、その**正解率は著しく向上しました**（不明確な状況と比較して）<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。しかし、詳細な分析により、微妙な効果が明らかになりました。正解率は**正解とステレオタイプの関係によって不均一**でした<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。平均して、モデルは、正解が一般的なステレオタイプと一致するサンプルにおいて、正解がそのステレオタイプに反するサンプルと比較して3〜3.5パーセントポイント高い正解率を達成しました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。言い換えれば、事実が偏見を裏付ける場合、モデルはほぼ間違いなく答えましたが、「非典型的」なステレオタイプの選択肢を答える必要がある場合、誤りの可能性が高まりました。このパフォーマンスの差は巨大ではありませんが、多くのカテゴリーで統計的に現れました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。最大の差が記録されたのは、ジェンダー・ステレオタイプに関連する質問で、最大5パーセントポイントの差がありました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。したがって、**バイアスの隠れた影響**が見られます。モデルは平均して、「ステレオタイプに反する」場合にわずかにパフォーマンスが低下します。
- **カテゴリーとテンプレートの比較**。BBQの研究者たちは、9つのカテゴリーすべてについてバイアススコアを分析し、曖昧なコンテキストではすべてのカテゴリーでスコアが正であるものの、その大きさは様々であることを発見しました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。前述の通り、最大のバイアスは身体的外見、社会経済的地位、およびいくつかの交差的カテゴリーで観察されました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。人種・民族および性的指向のカテゴリーでは、バイアススコアはより「低い」ものの、ゼロではありませんでした<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。明確なコンテキストでは、バイアススコアは全体的にゼロに近くなりますが（モデルがしばしば正しく答えるため）、それでも一部のテンプレートでは正の値を保ち、犯された誤りの性質に顕著な偏りがあることを反映しています<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。例えば、宗教のカテゴリーでは、誤りのほとんどが一方向的でした。モデルは誤りを犯す際、通常、偏見に基づいた回答を選択しました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。

全体として、BBQは、強力な現代の言語モデルでさえも**社会的偏見から明らかに自由ではない**ことを示しました<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。これらのモデルは、不確実な状況に置かれるとステレオタイプを再生産する傾向があり、逆の答えを要求する事実がある場合でさえも、微妙なバイアスを示すことがあります<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。同時に、これらの効果の大きさはグループによって異なり、一部のステレオタイプはモデルによってより強く「学習」されています<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。BBQの作成者たちは、発見された差異は顕著であるものの、壊滅的に大きいわけではないと強調しています。ほとんどのモデルのバイアススコアは極端な値には達さず、多くは数十パーセントの範囲に収まっています<sup>[\[1\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-bbq-main-1)</sup>。それにもかかわらず、ステレオタイプへのわずかな体系的な逸脱でさえ、LLMが大規模に使用される場合には潜在的に危険であるため、そのようなバイアスの特定と除去は重要な課題です<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。BBQは、研究者たちにこの分野での進捗を追跡するための明確で定量的に測定可能な方法を提供しました<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。

## 影響と今後の研究

BBQデータセットは、言語モデルの公平性の特性を評価するための標準的なツールとして、すぐに認知されるようになりました<sup>[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-paperswithcode-bbq-4)</sup>。その**オープンソースのコードとデータ**はリポジトリで利用可能であり（CC BY 4.0ライセンス）<sup>[\[4\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-paperswithcode-bbq-4)</sup>、幅広い研究コミュニティが新しいモデルの開発とテストにBBQを適用することを可能にしました。多くのレビューで、BBQは他のベンチマーク（例えば、StereoSet、WinoBias、ToxiGen）と並んで、NLPにおける社会的バイアスの研究における重要なマイルストーンとして言及されています<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。BBQの公開以来、そのアイデアを発展させ、新しい条件に適応させる研究が登場しています：

- **質問形式の拡張（Open-BBQ）**。オリジナルのBBQは、多肢選択式のタスクを提供します<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。2024年には、**自由回答**のためのBBQの修正版が提案され、これには穴埋め問題や短い自由記述回答のタスクが含まれています<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。このバージョンは、通称Open-BBQと呼ばれ、モデルが固定された回答選択肢を持たない、より自由な対話条件下でのバイアスを評価することを可能にします<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。この研究では、LLMが自由なテキストを生成する際にも、一部のグループに対して高いバイアスを示すことが示されました<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。Open-BBQの作成者たちはまた、zero-shotおよびfew-shotプロンプトとchain-of-thought（段階的推論）を組み合わせることで、バイアスを緩和する方法も実験しました<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。これらの手法により、回答におけるバイアスのレベルを著しく低下させることができました<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。Open-BBQは、元のデータセットを補完し、ユーザーのクエリに近い形式で生成モデルをテストすることを可能にしました。

<!-- -->

- **文化的適応（ローカライゼーション）**。BBQは米国の社会的事情に基づいているため、研究者たちは他の言語や文化への適応に関心を持ちました<sup>[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-kobbg-5)</sup>。2023年、韓国の研究者によってデータセット**KoBBQ**（Korean BBQ）が発表されました。これはBias Benchmarkの韓国版です<sup>[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-kobbg-5)</sup>。彼らはBBQをローカライズするための一般的なアプローチを開発しました。元のテンプレートを3つのカテゴリーに分類しました：単に翻訳できるもの、グループを現地の同等なものに置き換える必要があるもの、そして韓国の文脈では全く適用できないものです<sup>[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-kobbg-5)</sup>。さらに、KoBBQは韓国社会に特有の4つの新しいステレオタイプのカテゴリーを導入し、不適切なサンプルをいくつか削除しました<sup>[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-kobbg-5)</sup>。その結果、韓国語で268のテンプレートと76,048のサンプルからなるデータセットが作成され、12の社会的バイアスカテゴリー（オリジナルと新規を含む）をカバーしています<sup>[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-kobbg-5)</sup>。多言語モデルをKoBBQでテストした結果、元のBBQを韓国語に機械翻訳した場合と比較して、バイアスのレベルに大きな違いがあることが明らかになりました<sup>[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-kobbg-5)</sup>。これは、**単純な翻訳では不十分**であり、各国の独自のステレオタイプと文脈を考慮した文化固有のベンチマークが必要であることを強調しています<sup>[\[5\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-kobbg-5)</sup>。KoBBQに関する研究は、BBQの方法論をグローバルに拡張する可能性を示しました。

BBQは、**人工知能の倫理**に関する研究の不可欠な部分となりました<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。その影響は、モデルのデバイアシングのための新しい手法、より包括的なデータセットの構築、およびバイアスを詳細に分析するための指標の登場に見られます。研究者たちは、BBQの強みの一つが、その広範なカバレッジとサンプルの綿密な設計にあると指摘しています<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。BBQによって示された課題に応えて、最近では、トレーニングデータのフィルタリングから、公正な回答を得るための特別な後処理アルゴリズムやLLMの調整まで、**バイアスを低減する戦略**が活発に開発されています<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。

要約すると、BBQ (Bias Benchmark for QA) は、言語モデルにおける社会的偏見を測定するための価値ある信頼性の高いツールとしての地位を確立しました。それは研究コミュニティに、モデルのステレオタイプ性を比較し、その公平性の向上における進捗を監視することを可能にする標準的な検証セットを提供します<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。BBQは、目立たないが重大な有害なバイアスから解放された、より**公正で安全なAIシステム**を構築するという世界的な関心を反映して、拡大と適応を続けています<sup>[\[3\]](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_note-arxiv-evaluating-mitigating-3)</sup>。

## 外部リンク

- <a href="https://arxiv.org/abs/2110.08193" class="external text" rel="nofollow">BBQの原論文（arXiv）</a>
- <a href="https://github.com/nyu-mll/BBQ" class="external text" rel="nofollow">GitHub上のBBQリポジトリ</a>
- <a href="https://paperswithcode.com/dataset/bbq" class="external text" rel="nofollow">Papers With Code上のBBQデータセットページ</a>
- <a href="https://aclanthology.org/2022.findings-acl.165/" class="external text" rel="nofollow">ACL Anthology上のBBQ論文</a>
- <a href="https://arxiv.org/abs/2307.16778" class="external text" rel="nofollow">KoBBQデータセットに関する論文（arXiv）</a>
- <a href="https://arxiv.org/html/2412.06134v1" class="external text" rel="nofollow">Open-BBQデータセットに関する論文（arXiv）</a>

## 参考文献

- Liang, P. et al. (2022). *Holistic Evaluation of Language Models (HELM)*. <a href="https://arxiv.org/abs/2211.09110" class="external text" rel="nofollow">arXiv:2211.09110</a>.
- Chang, Y. et al. (2023). *A Survey on Evaluation of Large Language Models*. <a href="https://arxiv.org/abs/2307.03109" class="external text" rel="nofollow">arXiv:2307.03109</a>.
- Ni, S. et al. (2025). *A Survey on Large Language Model Benchmarks*. <a href="https://arxiv.org/abs/2508.15361" class="external text" rel="nofollow">arXiv:2508.15361</a>.
- Biderman, S. et al. (2024). *The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned*. <a href="https://arxiv.org/abs/2405.14782" class="external text" rel="nofollow">arXiv:2405.14782</a>.
- Kiela, D. et al. (2021). *Dynabench: Rethinking Benchmarking in NLP*. <a href="https://arxiv.org/abs/2104.14337" class="external text" rel="nofollow">arXiv:2104.14337</a>.
- Ma, Z. et al. (2021). *Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking*. <a href="https://arxiv.org/abs/2106.06052" class="external text" rel="nofollow">arXiv:2106.06052</a>.
- Goel, K. et al. (2021). *Robustness Gym: Unifying the NLP Evaluation Landscape*. <a href="https://arxiv.org/abs/2101.04840" class="external text" rel="nofollow">arXiv:2101.04840</a>.
- Xu, C. et al. (2024). *Benchmark Data Contamination of Large Language Models: A Survey*. <a href="https://arxiv.org/abs/2406.04244" class="external text" rel="nofollow">arXiv:2406.04244</a>.
- Liu, S. et al. (2025). *A Comprehensive Survey on Safety Evaluation of LLMs*. <a href="https://arxiv.org/abs/2506.11094" class="external text" rel="nofollow">arXiv:2506.11094</a>.
- Chiang, W.-L. et al. (2024). *Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference*. <a href="https://arxiv.org/abs/2403.04132" class="external text" rel="nofollow">arXiv:2403.04132</a>.
- Boubdir, M. et al. (2023). *Elo Uncovered: Robustness and Best Practices in Language Model Evaluation*. <a href="https://arxiv.org/abs/2311.17295" class="external text" rel="nofollow">arXiv:2311.17295</a>.
- Huang, L. et al. (2023). *A Survey on Hallucination in Large Language Models*. <a href="https://arxiv.org/abs/2311.05232" class="external text" rel="nofollow">arXiv:2311.05232</a>.

## 脚注

1.  <span id="cite_note-arxiv-bbq-main-1">↑ <sup>[1.00](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-0)</sup> <sup>[1.01](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-1)</sup> <sup>[1.02](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-2)</sup> <sup>[1.03](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-3)</sup> <sup>[1.04](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-4)</sup> <sup>[1.05](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-5)</sup> <sup>[1.06](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-6)</sup> <sup>[1.07](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-7)</sup> <sup>[1.08](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-8)</sup> <sup>[1.09](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-9)</sup> <sup>[1.10](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-10)</sup> <sup>[1.11](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-11)</sup> <sup>[1.12](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-12)</sup> <sup>[1.13](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-13)</sup> <sup>[1.14](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-14)</sup> <sup>[1.15](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-15)</sup> <sup>[1.16](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-16)</sup> <sup>[1.17](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-17)</sup> <sup>[1.18](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-18)</sup> <sup>[1.19](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-19)</sup> <sup>[1.20](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-20)</sup> <sup>[1.21](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-21)</sup> <sup>[1.22](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-22)</sup> <sup>[1.23](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-23)</sup> <sup>[1.24](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-24)</sup> <sup>[1.25](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-25)</sup> <sup>[1.26](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-26)</sup> <sup>[1.27](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-27)</sup> <sup>[1.28](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-28)</sup> <sup>[1.29](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-29)</sup> <sup>[1.30](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-30)</sup> <sup>[1.31](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-31)</sup> <sup>[1.32](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-32)</sup> <sup>[1.33](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-33)</sup> <sup>[1.34](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-34)</sup> <sup>[1.35](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-35)</sup> <sup>[1.36](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-36)</sup> <sup>[1.37](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-37)</sup> <sup>[1.38](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-38)</sup> <sup>[1.39](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-39)</sup> <sup>[1.40](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-40)</sup> <sup>[1.41](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-41)</sup> <sup>[1.42](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-42)</sup> <sup>[1.43](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-43)</sup> <sup>[1.44](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-44)</sup> <sup>[1.45](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-45)</sup> <sup>[1.46](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-46)</sup> <sup>[1.47](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-47)</sup> <sup>[1.48](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-48)</sup> <sup>[1.49](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-49)</sup> <sup>[1.50](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-50)</sup> <sup>[1.51](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-51)</sup> <sup>[1.52](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-52)</sup> <sup>[1.53](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-53)</sup> <sup>[1.54](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-54)</sup> <sup>[1.55](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-55)</sup> <sup>[1.56](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-56)</sup> <sup>[1.57](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-57)</sup> <sup>[1.58](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-58)</sup> <sup>[1.59](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-59)</sup> <sup>[1.60](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-60)</sup> <sup>[1.61](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-61)</sup> <sup>[1.62](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-62)</sup> <sup>[1.63](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-63)</sup> <sup>[1.64](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-64)</sup> <sup>[1.65](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-65)</sup> <sup>[1.66](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-66)</sup> <sup>[1.67](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-67)</sup> <sup>[1.68](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-68)</sup> <sup>[1.69](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-69)</sup> <sup>[1.70](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-70)</sup> <sup>[1.71](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-71)</sup> <sup>[1.72](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-72)</sup> <sup>[1.73](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-73)</sup> <sup>[1.74](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-74)</sup> <sup>[1.75](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-75)</sup> <sup>[1.76](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-76)</sup> <sup>[1.77](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-77)</sup> <sup>[1.78](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-78)</sup> <sup>[1.79](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-79)</sup> <sup>[1.80](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-bbq-main_1-80)</sup> Parrish A. et al. "BBQ: A Hand-Built Bias Benchmark for Question Answering". *arXiv*. <a href="https://arxiv.org/abs/2110.08193" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-acl-anthology-2">[↑](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-acl-anthology_2-0) Parrish A. et al. "BBQ: A hand-built bias benchmark for question answering". *ACL Anthology*. <a href="https://aclanthology.org/2022.findings-acl.165/" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-arxiv-evaluating-mitigating-3">↑ <sup>[3.00](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-0)</sup> <sup>[3.01](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-1)</sup> <sup>[3.02](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-2)</sup> <sup>[3.03](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-3)</sup> <sup>[3.04](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-4)</sup> <sup>[3.05](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-5)</sup> <sup>[3.06](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-6)</sup> <sup>[3.07](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-7)</sup> <sup>[3.08](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-8)</sup> <sup>[3.09](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-9)</sup> <sup>[3.10](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-10)</sup> <sup>[3.11](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-11)</sup> <sup>[3.12](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-12)</sup> <sup>[3.13](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-13)</sup> <sup>[3.14](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-14)</sup> <sup>[3.15](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-evaluating-mitigating_3-15)</sup> Liu Z. et al. (2024). "Evaluating and Mitigating Social Bias for Large Language Models in Open-ended Settings". *arXiv preprint*. <a href="https://arxiv.org/html/2412.06134v1" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-paperswithcode-bbq-4">↑ <sup>[4.0](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-paperswithcode-bbq_4-0)</sup> <sup>[4.1](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-paperswithcode-bbq_4-1)</sup> <sup>[4.2](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-paperswithcode-bbq_4-2)</sup> <sup>[4.3](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-paperswithcode-bbq_4-3)</sup> <sup>[4.4](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-paperswithcode-bbq_4-4)</sup> <sup>[4.5](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-paperswithcode-bbq_4-5)</sup> "BBQ Dataset". *Papers With Code*. <a href="https://paperswithcode.com/dataset/bbq" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-arxiv-kobbg-5">↑ <sup>[5.0](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-kobbg_5-0)</sup> <sup>[5.1](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-kobbg_5-1)</sup> <sup>[5.2](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-kobbg_5-2)</sup> <sup>[5.3](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-kobbg_5-3)</sup> <sup>[5.4](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-kobbg_5-4)</sup> <sup>[5.5](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-kobbg_5-5)</sup> <sup>[5.6](https://systems-analysis.info/int/BBQ_(Bias_Benchmark_for_Question_Answering)_%E2%80%94_%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94%E3%83%90%E3%82%A4%E3%82%A2%E3%82%B9%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF#cite_ref-arxiv-kobbg_5-6)</sup> Jin J. et al. (2024). "KoBBQ: Korean Bias Benchmark for Question Answering". *arXiv preprint*. <a href="https://arxiv.org/abs/2307.16778" class="external autonumber" rel="nofollow">[5]</a></span>