Generation bias (LLM) (KO)

From Systems analysis Wiki
Jump to navigation Jump to search

대형 언어 모델(LLM)에서의 편향성(Bias) — 모델이 젠더, 인종, 문화, 정치적 견해 및 기타 사회적 범주와 관련된 사회적 고정관념과 편견을 반영하거나 강화하는 방식으로 생성 텍스트가 체계적으로 왜곡되는 현상이다. 이 현상은 LLM이 편향된 정보를 필연적으로 포함하는 방대한 인간 데이터로 학습되기 때문에 발생한다[1].

편향성은 차별을 초래하고, 허위 정보를 확산시키며, 기술에 대한 신뢰를 훼손할 수 있기 때문에 AI 개발에서 핵심적인 윤리적·기술적 문제 중 하나이다.

LLM에서의 편향성 유형

LLM에서 편향성은 다양한 형태로 나타날 수 있다.

젠더 편향성

모델은 특정 성별과 직업 및 특성을 연관 짓는 전통적인 젠더 고정관념을 재현하는 경향이 있다.

  • 2024년 유네스코 연구에 따르면 LLM은 남성보다 여성을 가사 역할(「집」, 「가족」, 「아이들」)과 연관 짓는 빈도가 네 배 높으며, 남성은 「비즈니스」와 「경력」의 개념과 연결된다[2].
  • Nature Scientific Reports에 발표된 연구는 ChatGPT와 LLaMA를 포함한 7개의 주요 LLM이 생성하는 콘텐츠에서 상당한 젠더 및 인종적 편향성을 발견했다[3].
  • 러시아어 맥락에서는 모델이 중립적인 역할(예: 「의사」, 「이사」)에 기본값으로 남성형을 사용하는 경향이 있으며, 여성형 명칭을 생성하는 데 어려움을 겪는다[4].

인종 및 민족 편향성

LLM은 다양한 민족 집단에 대해 잠재적인 차별을 드러낼 수 있다.

  • Bloomberg 연구에 따르면 ChatGPT 3.5는 흑인 지원자보다 아시아계 지원자의 이력서를 선호하는 경향을 보였다[5].
  • 러시아어 맥락에서는 RuBia dataset이 학습 코퍼스에 반유대주의적·반이민자적 고정관념(예: 「이민자는 게으르다」는 주장에 동의하는 것)이 존재할 경우 모델이 이를 재현할 수 있음을 확인했다[6].

정치적·이념적 편향성

중립성을 표방함에도 불구하고 많은 LLM은 특정 정치적 스펙트럼으로의 편향을 드러낸다.

  • Centre for Policy Studies 연구에서는 테스트된 24개의 LLM 중 23개에서 좌파-자유주의적 편향성이 발견되었다[7].
  • 워싱턴대학교와 카네기멜론대학교의 테스트 결과, ChatGPT와 GPT-4가 가장 좌파-자유주의적 성향을 보인 반면, Meta의 LLaMA는 가장 우파-권위주의적 성향을 보였다[8].

편향성 발생 메커니즘

  • 학습 데이터: 주된 원인. LLM은 인터넷에서 수집한 방대한 텍스트 코퍼스로 학습되며, 이 코퍼스는 사회의 모든 고정관념을 담은 「거울」이다[9].
  • 아키텍처 및 학습 알고리즘: transformer 아키텍처 자체가 데이터 내의 기존 상관관계를 강화할 수 있다.
  • Fine-tuning 및 RLHF: 인간 피드백을 활용한 강화 학습(RLHF) 단계도 편향성을 도입할 수 있는데, 이는 인간 평가자가 필연적으로 자신의 관점에 따라 판단하기 때문이다.

탐지 및 완화 방법

편향성 탐지

  • 고정관념 테스트 세트: 다음과 같은 특화된 dataset이 사용된다:
    • CrowS-Pairs: 인종, 종교, 나이를 포함한 아홉 가지 유형의 편향성을 포괄한다[10].
    • StereoSet: 젠더, 직업, 인종, 종교 네 가지 도메인에서 고정관념적 편향성을 측정한다[11].
    • RuBia: 러시아어 모델의 편향성 탐지를 위한 특화 dataset[12].
    • 다국어 리소스: French CrowS-Pairs[13] 및 Chinese Bias Benchmark (CBBQ)[14]와 같은 변형 버전.
    • 특정 분야 분석: 채용[15], 의료[16] 및 기타 분야에서의 편향성 연구.

편향성 완화

  • 데이터 수준(Pre-processing): 학습 코퍼스의 정제, 필터링 및 재균형화. 방법론은 Holistic AI 문서[17]에 기술되어 있다.
  • 학습 수준(In-processing): 공정성을 고려한 학습 알고리즘 수정.
  • 출력 수준(Post-processing): 이미 생성된 응답의 필터링 및 검토.

법적·윤리적 결과

AI에서의 편향성은 중요한 분야에서의 차별과 허위 정보 확산을 포함한 심각한 결과를 초래한다.

  • 규제: 전 세계 정부들이 AI 통제를 위한 규범 도입을 시작하고 있다.
  • 유럽에서는 2024년 8월 1일부터 단계적으로 시행되는 AI Act가 채택되었다. 이 법령은 편향성 평가 의무를 포함한 고위험 시스템에 대한 엄격한 요건을 도입하며, 기업 전 세계 매출의 최대 7%에 달하는 벌금을 규정하고 있다[18].
  • 러시아에서는 2021년 주요 기술 기업들이 차별 최소화를 약속하는 자발적인 AI 분야 윤리 강령에 서명했다. 2021년 말까지 100개 이상의 기관이 이에 서명했다[19].

편향성과의 싸움은 끊임없는 균형의 문제이다. 지나치게 공격적인 필터링은 모델이 민감한 주제 논의를 일절 거부하는 「과도한 정치적 올바름」으로 이어질 수 있다. 따라서 개발자들은 모델의 안전성, 객관성, 정보 제공 능력 사이의 균형을 모색하고 있다.

참고 문헌

  • Guo, Y. et al. (2024). Bias in Large Language Models: Origin, Evaluation, and Mitigation. arXiv:2411.10915.
  • Gallegos, I. O. et al. (2023). Bias and Fairness in Large Language Models: A Survey. arXiv:2309.00770.
  • Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. doi:10.1145/3442188.3445922.
  • Nadeem, M. et al. (2020). StereoSet: Measuring Stereotypical Bias in Pretrained Language Models. arXiv:2004.09456.
  • Nangia, N. et al. (2020). CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models. ACL 2020.
  • Bai, X. et al. (2024). Measuring Implicit Bias in Explicitly Unbiased Large Language Models. arXiv:2402.04105.
  • Hofmann, V. et al. (2024). AI Generates Covertly Racist Decisions about People Based on Their Dialect. Nature, 633, 147-154. Full text.
  • Fang, X. et al. (2024). Bias of AI-Generated Content: An Examination of News Produced by Large Language Models. Scientific Reports, 14, 5224. Full text.
  • Grigoreva, V. et al. (2024). RuBia: A Russian Language Bias Detection Dataset. arXiv:2403.17553.
  • Du, L. et al. (2024). Causal-Guided Active Learning for Debiasing Large Language Models. arXiv:2408.12942.
  • Ayaz, A. et al. (2023). Taught by the Internet: Exploring Bias in OpenAI's GPT-3. arXiv:2306.02428.

같이 보기

  • 대형 언어 모델

각주

  1. ↑ «Bias in Large Language Models: Origin, Evaluation, and Mitigation». arXiv. [1]
  2. ↑ «Generative AI: UNESCO study reveals alarming evidence of regressive gender stereotypes». UNESCO. [2]
  3. ↑ «Gender and race stereotypes in Large Language Models». Nature Scientific Reports. [3]
  4. ↑ «Предвзятость русскоязычных LLM: кого машина считает «обычным человеком»?». Хабр. [4]
  5. ↑ «ChatGPT’s Racial Bias in Hiring Decisions». Business Insider. [5]
  6. ↑ «RuBia: A Russian-language Bias Detection Dataset». The Moonlight. [6]
  7. ↑ «Left-leaning bias commonplace in AI-powered chatbots, shows new report». Centre for Policy Studies. [7]
  8. ↑ «AI language models are rife with political biases». MIT Technology Review. [8]
  9. ↑ «Языковые модели: как преодолеть предвзятость и обеспечить безопасность». РБК Тренды. [9]
  10. ↑ «CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models». ACL Anthology. [10]
  11. ↑ «StereoSet: Measuring stereotypical bias in pretrained language models». arXiv. [11]
  12. ↑ «RuBia: A Russian Language Bias Detection Dataset». arXiv. [12]
  13. ↑ «French CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in French Language Models». ACL Anthology. [13]
  14. ↑ «CBBQ: A Chinese Bias Benchmark for Large Language Models». arXiv. [14]
  15. ↑ «Bias in Large Language Models and Who Should Be Held Accountable». Stanford Law School. [15]
  16. ↑ «Racial bias in psychiatric diagnosis and treatment with large language models». Nature Digital Medicine. [16]
  17. ↑ «Preprocessing Bias Mitigation». Holistic AI Documentation. [17]
  18. ↑ «EU AI Act: First Rules Take Effect on Prohibited AI Systems». Jones Day. [18]
  19. ↑ «Over 100 organizations signed up for Code of Ethics in AI by end of 2021». TASS. [19]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generation_bias_(LLM)_(KO)&oldid=2615"