BBQ (Bias Benchmark for Question Answering) (VI)

BBQ (Bias Benchmark for Question Answering) — là bộ dữ liệu dùng để đánh giá các định kiến xã hội (bias) trong các hệ thống hỏi đáp (QA). Bộ dữ liệu này được phát triển bởi nhóm các nhà nghiên cứu tại Đại học New York dưới sự dẫn dắt của Alicia Parrish và được công bố vào năm 2022 tại hội nghị ACL Findings. Mục tiêu của BBQ là xác định cách các mô hình ngôn ngữ lớn (LLM) và các mô hình QA khác thể hiện định kiến và thành kiến trong câu trả lời, đặc biệt trong các tác vụ hỏi đáp trên ngôn ngữ tự nhiên ứng dụng. BBQ đã trở thành một trong những benchmark toàn diện nhất để đánh giá social bias trong NLP, bao phủ một phổ rộng các định kiến trong chín danh mục xã hội.

Bộ dữ liệu này bổ sung cho các công trình trước đó, chẳng hạn như dataset UnQover (2020), vốn đo lường định kiến theo một số lượng hạn chế các đặc trưng (giới tính-nghề nghiệp, quốc tịch, dân tộc, tôn giáo) và dựa vào xác suất của mô hình thay vì chính các câu trả lời. Khác với UnQover, BBQ phân tích trực tiếp nội dung câu trả lời của mô hình và lựa chọn của mô hình giữa các phương án được đề xuất, cho phép đánh giá định kiến ngay ở cấp độ kết quả đầu ra.

Các tác giả BBQ định vị nó như một công cụ để chẩn đoán các định kiến xã hội có hại trong các mô hình và giảm thiểu nguy cơ ảnh hưởng tiêu cực của các định kiến đó lên các nhóm dân số dễ bị tổn thương. Bộ dữ liệu tập trung vào các định kiến phù hợp với văn hóa Mỹ nói tiếng Anh và không bao quát hết mọi bối cảnh văn hóa có thể có. Tuy nhiên, BBQ đã đặt nền móng cho các công trình tiếp theo về đo lường và giảm thiểu social bias trong NLP, đồng thời trở thành chuẩn mực khi so sánh các mô hình về tính đúng đắn về mặt đạo đức.

Thành phần và cấu trúc bộ dữ liệu

BBQ chứa khoảng 58,5 nghìn câu hỏi và câu trả lời, được nhóm lại thành các tập hợp đặc biệt nhằm phát hiện các định kiến cụ thể. Tất cả các ví dụ đều được các tác giả soạn thảo thủ công dựa trên các trường hợp định kiến và thành kiến đã được ghi nhận, gây hại cho đại diện của các nhóm xã hội khác nhau. Khi tạo các tình huống, dữ liệu từ các nghiên cứu khoa học, bài báo truyền thông, báo cáo và các nguồn đáng tin cậy khác đã được sử dụng để xác nhận sự tồn tại của một định kiến nhất định và những hậu quả có hại của nó. Với mỗi tình huống, các tác giả đều cung cấp tham chiếu đến nguồn mô tả định kiến đó là tiêu cực hoặc gây hại (ví dụ: bài báo khoa học hoặc tin tức).

Các danh mục xã hội

BBQ bao phủ chín danh mục có ý nghĩa xã hội chủ yếu (phần lớn tương ứng với các nhóm được bảo vệ theo định nghĩa của Ủy ban Cơ hội Việc làm Bình đẳng Hoa Kỳ):

• Tuổi tác – định kiến đối với các nhóm tuổi (ví dụ: định kiến về suy giảm năng lực nhận thức ở người cao tuổi).
• Khuyết tật – định kiến về năng lực trí tuệ hoặc các phẩm chất khác của người khuyết tật (ví dụ: quan niệm rằng người bị hạn chế về thể chất kém năng lực hơn về mặt trí tuệ).
• Bản dạng giới – định kiến về giới tính (ví dụ: quan niệm rằng «con gái kém môn toán»).
• Quốc tịch – định kiến quốc gia-dân tộc (ví dụ: định kiến về sự thiếu hiểu biết kỹ thuật của người gốc châu Phi).
• Ngoại hình – phân biệt đối xử dựa trên diện mạo, vóc dáng (ví dụ: quan điểm rằng người béo phì kém thông minh hơn hoặc lười biếng hơn).
• Chủng tộc/dân tộc – định kiến chủng tộc (ví dụ: liên hệ thiên kiến giữa một chủng tộc nhất định với tội phạm hoặc ma túy).
• Tôn giáo – định kiến tôn giáo (ví dụ: hình dung người Do Thái là tham lam, người Hồi giáo là có xu hướng bạo lực, v.v.).
• Địa vị kinh tế xã hội – định kiến đối với các tầng lớp nghèo hoặc giàu trong xã hội (ví dụ: niềm tin rằng người xuất thân từ gia đình nghèo sẽ là cha mẹ tệ).
• Khuynh hướng tình dục – định kiến kỳ thị đồng tính (ví dụ: liên hệ sai lầm giữa đồng tính luyến ái với nhiễm HIV).

Ngoài chín danh mục này, BBQ còn trình bày hai danh mục giao thoa (intersectional biases), kết hợp hai đặc trưng cùng lúc: (1) giới tính kết hợp với chủng tộc/dân tộc và (2) địa vị kinh tế xã hội kết hợp với chủng tộc. Những trường hợp này tính đến các định kiến ở giao điểm của các nhóm khác nhau (ví dụ: định kiến cụ thể chống lại phụ nữ da đen hoặc chống lại một số dân tộc nhất định thuộc tầng lớp xã hội thấp).

Các mẫu và tạo sinh ví dụ

Với mỗi danh mục, nhóm tác giả đã viết các mẫu tình huống — những đoạn mô tả ngắn gọn có sự tham gia của hai nhân vật khác nhau về đặc trưng mục tiêu (ví dụ: trẻ và già, nam và nữ, giàu và nghèo, v.v.). Mẫu tình huống chứa đựng một hoàn cảnh có thể xác nhận hoặc bác bỏ một định kiến đã biết. Với mỗi tình huống có các câu hỏi và các phương án trả lời đi kèm.

Tổng cộng đã phát triển 25 mẫu độc đáo cho mỗi trong chín danh mục chính, cộng thêm 25 mẫu bổ sung cho danh mục chủng tộc và giới tính sử dụng tên thật (để kiểm tra bias ở cấp độ tên riêng). Ngoài ra, 25 mẫu cũng được tạo cho hai hướng giao thoa. Như vậy, tổng số tình huống cơ sở vượt quá 300.

Mỗi mẫu chứa các ô chứa biến đặc biệt — tên nhóm hoặc mô tả — được điền vào văn bản (ví dụ: trong mẫu về tuổi tác, các con số khác nhau được điền vào chỗ «người _tuổi», hoặc trong ngoại hình — các tính từ «béo»/«gầy», v.v.). Nhờ việc thay thế các giá trị khác nhau và hoán đổi thứ tự đề cập của hai nhân vật, mỗi mẫu được mở rộng thành nhiều ví dụ cụ thể (tối thiểu 8 và lên đến khoảng 200 biến thể). Thông thường, từ một mẫu tạo ra không ít hơn 100 câu hỏi cuối cùng, và trong một số trường hợp — lên đến hai trăm. Tổng cộng đã tạo ra một kho ngữ liệu gồm 58.492 ví dụ (các tổ hợp độc đáo của tình huống, câu hỏi và câu trả lời).

Các ngữ cảnh và loại câu hỏi

Đặc điểm chính của BBQ là mỗi tình huống được trình bày theo hai biến thể ngữ cảnh và hai cách diễn đạt câu hỏi, tạo thành một bộ gồm bốn câu hỏi (gọi là cụm 4). Điều này được thực hiện để tách biệt ảnh hưởng của việc thiếu thông tin khỏi chính các định kiến của mô hình. Trong mỗi bộ tứ:

• Ngữ cảnh mơ hồ (under-informative or ambiguous context): văn bản mô tả một tình huống có sự tham gia của hai người từ các nhóm khác nhau, nhưng không chứa đủ thông tin để trả lời dứt khoát câu hỏi được đặt ra. Câu trả lời đúng trong những trường hợp như vậy luôn là phương án «không biết» (tức là thiếu dữ liệu đầy đủ). Những ví dụ này dùng để kiểm tra xem mô hình có đưa ra kết luận dựa trên định kiến hay không.
• Ngữ cảnh rõ ràng (disambiguated context): tình huống được mở rộng, trong đó thêm một chi tiết làm rõ cho phép xác định ai trong hai người được đề cập phù hợp với câu hỏi. Trong trường hợp này, một trong hai nhân vật chắc chắn là câu trả lời đúng (còn phương án «không biết» thì không đúng nữa). Ngữ cảnh rõ ràng dùng để kiểm tra xem mô hình có thể vượt qua định kiến tiềm ẩn của mình và chọn câu trả lời đúng hay không, dù định kiến gợi ý điều ngược lại.
• Câu hỏi tiêu cực (e.g., «Ai trong số họ không nắm vững môn học?», «Ai đã phạm tội?»). Câu hỏi như vậy kết hợp với ngữ cảnh mơ hồ kiểm tra xem mô hình có xu hướng gắn hành động tiêu cực với một nhóm nhất định khi không có cơ sở thực tế hay không.
• Câu hỏi không tiêu cực (tương phản) (e.g., «Ai trong số họ nắm vững môn học?» hoặc «Ai kiềm chế không thực hiện hành động xấu?»). Câu hỏi không tiêu cực được soạn thảo sao cho không nghe như sự tán đồng trực tiếp định kiến, nhưng vẫn cho phép kiểm tra sự cân bằng trong câu trả lời của mô hình. Việc so sánh câu trả lời cho phiên bản tiêu cực và trung tính phát hiện ra những lệch lạc có hệ thống.

Mỗi ví dụ trong số bốn ví dụ này trong cụm có ba phương án trả lời: hai phương án cụ thể (nêu tên mỗi nhóm trong hai nhóm xuất hiện) và một phương án chỉ ra sự thiếu thông tin đầy đủ (được đánh dấu là «Không biết» và các cụm từ tương đương). Ví dụ, trong tình huống có một người Thiên Chúa giáo và một người Hồi giáo, các phương án trả lời sẽ là: «người Thiên Chúa giáo», «người Hồi giáo» hoặc «không biết». Hơn nữa, từ «không biết» không phải lúc nào cũng giống nhau — có 10 cách diễn đạt đồng nghĩa được sử dụng.

Ngoài ra, trong mỗi mẫu, thứ tự đề cập hai nhóm tự động thay đổi. Điều này được thực hiện để triệt tiêu hiệu ứng thứ tự — yếu tố đã biết khiến các mô hình có thể thường xuyên chọn thực thể được đề cập đầu tiên bất kể nội dung.

Chú thích và kiểm soát chất lượng

Mỗi ví dụ trong BBQ đã được đánh giá bởi các chú thích viên crowdsourcing: ít nhất 5 người độc lập trả lời câu hỏi, và chỉ những ví dụ mà ít nhất 4 trong 5 chú thích viên đồng ý với câu trả lời đúng (theo biểu quyết) mới được đưa vào dataset cuối cùng. Nếu câu hỏi nào không đạt ngưỡng này, toàn bộ mẫu sẽ được xem xét lại và chỉnh sửa. Nhờ quá trình này, độ chính xác của con người trên BBQ khá cao: các chú thích viên cá nhân trả lời đúng khoảng 95,7% câu hỏi, còn tính theo đa số phiếu, độ chính xác của tiêu chuẩn vàng đạt 99,7%. Chỉ số đồng thuận Krippendorff's alpha là 0,883, cho thấy sự nhất quán cao giữa con người về các câu trả lời đúng. Những biện pháp này xác nhận rằng các nhiệm vụ BBQ dễ hiểu với con người và có câu trả lời đúng khách quan; do đó, các lỗi của mô hình trên những ví dụ này có thể được hợp lý giải thích là biểu hiện của bias, chứ không phải là sự mơ hồ của bản thân câu hỏi.

Đánh giá định kiến của mô hình

BBQ được thiết kế để đánh giá đa chiều hành vi của mô hình trong các điều kiện kích thích social bias. Khi kiểm tra, mô hình QA nhận ngữ cảnh và câu hỏi làm đầu vào, sau đó phải chọn một trong ba phương án trả lời. Phân tích kết quả được thực hiện ở hai cấp độ:

Trường hợp ngữ cảnh mơ hồ

Đo lường tần suất mô hình trả lời sai các câu hỏi khi thiếu thông tin cần thiết, tức là dựa vào định kiến. Lý tưởng nhất là mô hình nên trả lời «không biết» với mọi câu hỏi có ngữ cảnh không đầy đủ, nhưng nếu nó chọn một trong các nhóm, điều này được coi là sự chiếu định kiến đã được hấp thụ. Tần suất các lỗi như vậy và phân phối của chúng theo các danh mục cung cấp cái nhìn về xu hướng của mô hình trong việc tái tạo các định kiến có hại.

Trường hợp ngữ cảnh đầy đủ thông tin

Đánh giá mức độ chính xác của mô hình khi ngữ cảnh chứa đựng câu trả lời đúng rõ ràng. Ở đây thường tính toán chỉ số chuẩn accuracy (tỷ lệ phần trăm câu trả lời đúng) — cho thấy mô hình có xử lý được nhiệm vụ hỏi đáp về cơ bản hay không. Tuy nhiên, sự chú ý đặc biệt được dành cho những trường hợp câu trả lời đúng đi ngược lại định kiến. Các nhà phát triển BBQ phân tích xem độ chính xác của mô hình có giảm xuống hay không nếu câu trả lời đúng mâu thuẫn với định kiến đã ăn sâu (và ngược lại, liệu độ chính xác có cao hơn khi sự thật trùng khớp với kỳ vọng theo định kiến hay không). Hiệu ứng như vậy sẽ chỉ ra rằng ngay cả khi có bằng chứng thực tế, mô hình vẫn có thể mắc lỗi do bias.

Bias Score

Để định lượng mức độ định kiến, một chỉ số đặc biệt được đưa ra — điểm định kiến (bias score). Nhìn chung, bias score phản ánh tỷ lệ phần trăm câu trả lời của mô hình (trong số các câu sai hoặc tất cả, tùy điều kiện) trùng khớp với định kiến.

• Giá trị +100% có nghĩa là mô hình trong mọi trường hợp đã chọn phương án trả lời gán định kiến đặc tính tiêu cực cho nhóm mục tiêu.
• 0% — không có biểu hiện bias nào (mô hình hoặc luôn trả lời đúng/«không biết», hoặc mắc lỗi đều nhau theo cả hai hướng).
• Điểm âm (đến -100%) — xu hướng ngược lại, khi mô hình luôn trả lời trái với kỳ vọng theo định kiến.

Các chỉ số được tính riêng cho ngữ cảnh mơ hồ và ngữ cảnh rõ ràng, vì bản chất lỗi trong chúng khác nhau.

• Đối với các câu hỏi mơ hồ, bias score được xác định bằng tỷ lệ các trường hợp mô hình thay vì trả lời «không biết» lại chọn một câu trả lời cụ thể nào đó, và câu trả lời đó trùng khớp với định kiến tiêu cực. Càng nhiều câu trả lời như vậy, điểm dương càng cao. Đồng thời độ chính xác được tính đến: nếu mô hình mắc lỗi và trả lời đúng («không biết») đều nhau, thì dù có một phần lỗi theo định kiến, điểm vẫn thấp hơn so với mô hình luôn chọn câu trả lời theo định kiến. Như vậy, cả tần suất lẫn mức độ tự tin của các câu trả lời bias đều bị phạt (đối với ngữ cảnh mơ hồ, chỉ số được chia tỷ lệ tính đến tỷ lệ câu trả lời đúng «không biết»).
• Đối với các câu hỏi rõ ràng, bias score được tính hơi khác, vì ở đây câu trả lời đúng là một trong các nhóm. Trong những trường hợp này, người ta nhìn vào các câu trả lời sai của mô hình: tỷ lệ lỗi trong đó mô hình không chọn phương án đúng mà chọn phương án thay thế trùng khớp với định kiến. Nói cách khác, nếu mô hình mắc lỗi, ưu tiên cho định kiến (ví dụ: không tin vào bằng chứng thực tế và trả lời theo định kiến), điều đó làm tăng điểm.

Việc phân tích bias score cùng với độ chính xác tổng thể cho phép mô tả chi tiết hành vi của mô hình trên BBQ. Các tác giả chỉ ra rằng cùng một giá trị accuracy có thể che giấu các bản chất lỗi khác nhau. Như vậy, chỉ số này cho thấy hướng của các lỗi và phát hiện các trường hợp tinh tế không nhìn thấy được chỉ qua độ chính xác.

Kết quả và các mô hình được phát hiện

Việc kiểm tra ban đầu một số mô hình QA phổ biến trên bộ BBQ đã cho thấy một số biểu hiện bias rõ rệt. Trong nghiên cứu của Parrish và cộng sự (2022), cả các mô hình đa năng lớn (ví dụ: UnifiedQA — mô hình tổng quát hóa cho QA dựa trên T5) lẫn các mô hình multiple-choice chuẩn hóa (ví dụ: RoBERTa với fine-tuning cho QA) đều được kiểm tra.

Các kết luận chính từ kết quả thực nghiệm:

• Lỗi định kiến mạnh khi thiếu thông tin. Trong tất cả các hệ thống được kiểm tra, có xu hướng trả lời theo tinh thần định kiến khi ngữ cảnh không cung cấp đủ gợi ý. Nói cách khác, các mô hình thường không chọn phương án «không biết» mà ưu tiên một câu trả lời cụ thể tương ứng với một kỳ vọng định kiến nhất định. Ví dụ, trong các câu hỏi mơ hồ về tội phạm khi không có thủ phạm rõ ràng, các mô hình thường chỉ đến người thuộc một nhóm nhất định (tương ứng với định kiến). Bias score được tính toán cho các ngữ cảnh mơ hồ hóa ra cao hơn đáng kể so với 0, và đôi khi tiệm cận +100% ở một số danh mục đối với một số mô hình. Đặc biệt cao khuynh hướng trả lời theo định kiến được thể hiện bởi các mô hình trong các tình huống liên quan đến ngoại hình (béo phì, v.v.) — danh mục này có bias đáng kể hơn so với chủng tộc hay khuynh hướng tình dục chẳng hạn. Điều này nói lên sự không đồng nhất của bias trong một mô hình — một số loại định kiến được «hấp thụ» mạnh hơn các loại khác.
• Cải thiện khi có bằng chứng thực tế, nhưng bias tiềm ẩn vẫn tồn tại. Khi các mô hình nhận được ngữ cảnh rõ ràng với chỉ dẫn rõ ràng về câu trả lời đúng, độ chính xác của chúng tăng lên đáng kể (so với tình huống không chắc chắn). Tuy nhiên, phân tích chi tiết đã phát hiện một hiệu ứng tinh tế: độ chính xác hóa ra là không đồng đều tùy thuộc vào mối quan hệ giữa câu trả lời đúng và định kiến. Trung bình, các mô hình đạt độ chính xác cao hơn 3-3,5 điểm phần trăm trong các ví dụ mà câu trả lời đúng trùng khớp với định kiến phổ biến, so với các ví dụ mà câu trả lời đúng mâu thuẫn với định kiến đó. Nói cách khác, khi bằng chứng thực tế xác nhận định kiến, các mô hình hầu như không mắc lỗi; nhưng nếu cần nêu ra phương án «không điển hình» theo định kiến, xác suất mắc lỗi tăng lên. Khoảng cách trong hiệu suất này, dù không quá lớn, đã biểu hiện về mặt thống kê trong nhiều danh mục. Sự chênh lệch lớn nhất được ghi nhận đối với các câu hỏi liên quan đến định kiến giới tính: lên đến 5 điểm phần trăm. Như vậy, ảnh hưởng tiềm ẩn của bias vẫn có thể thấy được: trung bình các mô hình hoạt động kém hơn một chút khi «đi ngược lại định kiến».
• So sánh các danh mục và mẫu. Các nhà nghiên cứu BBQ đã phân tích bias score theo tất cả chín danh mục và phát hiện ra rằng trong các ngữ cảnh mơ hồ, chỉ số dương trong tất cả các danh mục, nhưng độ lớn thay đổi. Như đã đề cập, bias tối đa được ghi nhận trong các danh mục ngoại hình vật lý, địa vị kinh tế xã hội và một số danh mục giao thoa. Bias score «thấp hơn», dù vẫn khác 0, thuộc về các danh mục chủng tộc/dân tộc và khuynh hướng tình dục. Trong các ngữ cảnh rõ ràng, bias score nhìn chung gần 0 hơn (vì mô hình thường trả lời đúng), nhưng vẫn dương đối với một số mẫu, phản ánh sự lệch rõ rệt trong bản chất các lỗi đã mắc. Ví dụ, trong danh mục tôn giáo, phần lớn lỗi đều theo một hướng — các mô hình, khi mắc lỗi, thường chọn câu trả lời dựa trên định kiến.

Nhìn chung, BBQ đã chứng minh rằng ngay cả các mô hình ngôn ngữ hiện đại mạnh mẽ rõ ràng không thoát khỏi các định kiến xã hội. Chúng có xu hướng tái tạo các định kiến khi bị đặt vào điều kiện bất định, và có thể thể hiện bias tinh tế ngay cả khi có bằng chứng thực tế đòi hỏi câu trả lời ngược lại. Đồng thời, độ lớn của các hiệu ứng này không giống nhau đối với các nhóm khác nhau: một số định kiến được mô hình «hấp thụ» mạnh hơn. Các tác giả BBQ nhấn mạnh rằng những khác biệt được phát hiện, dù đáng chú ý, nhưng không ở mức thảm khốc — bias score của hầu hết các mô hình không đạt giá trị cực đoan, và thường nằm trong khoảng vài chục phần trăm. Tuy nhiên, ngay cả những lệch lạc có hệ thống nhỏ theo hướng định kiến cũng tiềm ẩn nguy hiểm khi sử dụng LLM ở quy mô lớn, vì vậy việc phát hiện và loại bỏ các bias đó là nhiệm vụ quan trọng. BBQ đã cung cấp cho các nhà nghiên cứu một cách rõ ràng và đo lường được về mặt định lượng để theo dõi tiến trình trong lĩnh vực này.

Ảnh hưởng và các nghiên cứu tiếp theo

Bộ dữ liệu BBQ nhanh chóng được công nhận như một công cụ tiêu chuẩn để đánh giá các đặc tính fairness của các mô hình ngôn ngữ. Mã nguồn mở và dữ liệu của nó có sẵn trong kho lưu trữ (giấy phép CC BY 4.0), cho phép cộng đồng nghiên cứu rộng lớn áp dụng BBQ khi phát triển và kiểm tra các mô hình mới. Trong một số bài tổng quan, BBQ được đề cập cùng với các benchmark khác (ví dụ: StereoSet, WinoBias, ToxiGen) như một cột mốc quan trọng trong nghiên cứu social bias trong NLP. Kể từ khi BBQ được công bố, đã xuất hiện các công trình phát triển ý tưởng của nó và điều chỉnh cho phù hợp với các điều kiện mới:

• Mở rộng định dạng câu hỏi (Open-BBQ). BBQ gốc đề xuất các nhiệm vụ ở định dạng multiple-choice. Năm 2024, một phiên bản sửa đổi của BBQ dành cho câu trả lời mở đã được đề xuất, bao gồm các nhiệm vụ điền vào chỗ trống và văn bản trả lời ngắn. Phiên bản này, được gọi một cách quy ước là Open-BBQ, cho phép đánh giá bias trong các điều kiện đối thoại tự do hơn, nơi mô hình không có các phương án trả lời cố định. Nghiên cứu cho thấy rằng LLM khi tạo sinh văn bản tự do cũng thể hiện bias gia tăng chống lại một số nhóm. Các tác giả Open-BBQ cũng thực nghiệm với các phương pháp giảm thiểu định kiến, kết hợp các gợi ý zero-shot và few-shot cùng với chain-of-thought (lý luận từng bước). Các phương pháp này đã giúp giảm đáng kể mức độ bias trong câu trả lời. Open-BBQ bổ sung cho bộ gốc, cho phép kiểm tra các mô hình sinh tạo trong các định dạng gần hơn với các yêu cầu của người dùng.

• Điều chỉnh văn hóa (bản địa hóa). Vì BBQ gắn liền với thực tế xã hội của Hoa Kỳ, các nhà nghiên cứu quan tâm đến việc điều chỉnh nó cho các ngôn ngữ và văn hóa khác. Năm 2023, các nhà khoa học Hàn Quốc đã trình bày dataset KoBBQ (Korean BBQ) — phiên bản tương đương của Bias Benchmark theo tiếng Hàn. Họ đã phát triển một cách tiếp cận chung để bản địa hóa BBQ: phân loại các mẫu gốc thành ba nhóm — những mẫu có thể dịch đơn giản, những mẫu cần thay thế các nhóm bằng các tương đương địa phương, và những mẫu hoàn toàn không áp dụng được trong bối cảnh Hàn Quốc. Ngoài ra, KoBBQ đã giới thiệu 4 danh mục định kiến mới đặc thù cho xã hội Hàn Quốc và loại bỏ một số ví dụ không phù hợp. Kết quả thu được là một bộ gồm 268 mẫu và 76.048 ví dụ bằng tiếng Hàn, bao phủ 12 danh mục social bias (bao gồm cả các danh mục gốc và mới). Việc kiểm tra các mô hình đa ngôn ngữ trên KoBBQ đã phát hiện sự khác biệt đáng kể về mức độ định kiến so với bản dịch máy trực tiếp của BBQ gốc sang tiếng Hàn. Điều này nhấn mạnh rằng dịch thuật trực tiếp là không đủ — cần có các benchmark đặc thù theo văn hóa, tính đến các định kiến và bối cảnh độc đáo của từng quốc gia. Công trình về KoBBQ đã chứng minh khả năng mở rộng phương pháp luận BBQ trên toàn cầu.

BBQ đã trở thành một phần không thể thiếu trong nghiên cứu về đạo đức của trí tuệ nhân tạo. Ảnh hưởng của nó thể hiện qua sự xuất hiện của các phương pháp luận mới để debiasing mô hình, xây dựng các dataset bao trùm hơn và các chỉ số để phân tích tinh tế bias. Các nhà nghiên cứu lưu ý rằng một trong những điểm mạnh của BBQ là phạm vi bao phủ rộng và sự tỉ mỉ trong việc xây dựng các ví dụ. Để đáp lại những thách thức được BBQ xác định, gần đây các chiến lược giảm thiểu bias đang được phát triển tích cực, từ lọc dữ liệu huấn luyện đến các thuật toán xử lý hậu kỳ đặc biệt và điều chỉnh LLM để đưa ra câu trả lời công bằng.

Tóm lại, BBQ (Bias Benchmark for QA) đã chứng tỏ là một công cụ có giá trị và đáng tin cậy để đo lường các định kiến xã hội trong các mô hình ngôn ngữ. Nó cung cấp cho cộng đồng nghiên cứu một bộ kiểm tra chuẩn, cho phép so sánh các mô hình về mức độ định kiến và theo dõi tiến trình trong việc cải thiện tính công bằng của chúng. BBQ tiếp tục được mở rộng và điều chỉnh, phản ánh sự quan tâm toàn cầu đến việc tạo ra các hệ thống AI công bằng và an toàn hơn, không có các bias có hại tinh tế nhưng đáng kể.

Tham khảo

• Bài báo gốc BBQ (arXiv)
• Kho lưu trữ BBQ trên GitHub
• Trang dataset BBQ trên Papers With Code
• Bài báo BBQ trên ACL Anthology
• Bài báo về dataset KoBBQ (arXiv)
• Bài báo về dataset Open-BBQ (arXiv)

Tài liệu

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Chú thích

</references>