Generation bias (LLM) (SV)

From Systems analysis Wiki
Jump to navigation Jump to search

Fördomsfullhet i stora språkmodeller (LLM) — är en systematisk snedvridning av genererade texter, där modellen återspeglar eller förstärker befintliga samhälleliga stereotyper och fördomar kopplade till kön, ras, kultur, politiska åsikter och andra sociala kategorier. Detta fenomen uppstår eftersom LLM tränas på enorma mängder mänsklig data som oundvikligen innehåller fördomsfull information[1].

Fördomsfullhet är ett av de centrala etiska och tekniska problemen inom AI-utveckling, eftersom det kan leda till diskriminering, spridning av desinformation och undergrävning av förtroendet för teknologin.

Typer av fördomsfullhet i LLM

Fördomsfullhet i LLM kan ta sig uttryck i olika former.

Könsbaserad fördomsfullhet

Modeller tenderar att reproducera traditionella könsstereotyper och associera yrken och egenskaper med ett visst kön.

  • En UNESCO-studie från 2024 visade att LLM fyra gånger oftare beskriver kvinnor i hemrelaterade roller («hem», «familj», «barn») än män, medan män förknippas med begreppen «affärer» och «karriär»[2].
  • En studie i Nature Scientific Reports påvisade betydande köns- och rasbaserad fördomsfullhet i innehåll genererat av sju ledande LLM, inklusive ChatGPT och LLaMA[3].
  • I ryskspråkiga sammanhang använder modeller ofta maskulinum som standard för neutrala roller (till exempel «läkare», «direktör») och har svårt att generera feminina yrkesformer[4].

Rasbaserad och etnisk fördomsfullhet

LLM kan uppvisa dold diskriminering mot olika etniska grupper.

  • En Bloomberg-studie visade att ChatGPT 3.5 föredrog meritförteckningar från kandidater av asiatiskt ursprung framför svarta kandidater[5].
  • I ryskspråkiga sammanhang visade datasetet RuBia att modeller kan reproducera antisemitiska och antiinvandringstereotyper (exempelvis genom att hålla med om påståendet «invandrare är lata»), om dessa förekommer i träningskorpusen[6].

Politisk och ideologisk fördomsfullhet

Trots påståenden om neutralitet uppvisar många LLM en tendens mot ett visst politiskt spektrum.

  • En studie från Centre for Policy Studies påvisade vänster-liberal fördomsfullhet hos 23 av 24 testade LLM[7].
  • Tester genomförda av University of Washington och Carnegie Mellon visade att ChatGPT och GPT-4 var mest vänster-libertarianska, medan LLaMA från Meta var mest höger-auktoritär[8].

Mekanismer bakom uppkomsten av fördomsfullhet

  • Träningsdata: Den huvudsakliga källan. LLM tränas på enorma textkorpusar från internet, som fungerar som en «spegel» av samhället med alla dess stereotyper[9].
  • Arkitektur och träningsalgoritmer: Själva transformer-arkitekturen kan förstärka befintliga korrelationer i data.
  • Fine-tuning och RLHF: Fasen med Reinforcement Learning from Human Feedback (RLHF) kan också introducera fördomsfullhet, eftersom mänskliga bedömare oundvikligen styrs av sina egna åsikter.

Metoder för detektering och minskning

Detektering av fördomsfullhet

  • Testdataset med stereotyper: Specialiserade dataset används, till exempel:
    • CrowS-Pairs: Täcker nio typer av fördomsfullhet, inklusive ras, religion och ålder[10].
    • StereoSet: Mäter stereotypbaserad fördomsfullhet inom fyra domäner: kön, yrke, ras och religion[11].
    • RuBia: Ett specialiserat dataset för att identifiera fördomsfullhet i ryskspråkiga modeller[12].
    • Flerspråkiga resurser: Anpassningar som French CrowS-Pairs[13] och Chinese Bias Benchmark (CBBQ)[14].
    • Analys inom specifika områden: Studier av fördomsfullhet inom rekrytering[15], medicin[16] och andra sektorer.

Minskning av fördomsfullhet

  • På datanivå (Pre-processing): Rensning, filtrering och ombalansering av träningskorpusar. Metoder beskrivs i dokumentationen för Holistic AI[17].
  • På träningsnivå (In-processing): Modifiering av träningsalgoritmer för att beakta rättvisa.
  • På utdatanivå (Post-processing): Filtrering och moderering av redan genererade svar.

Juridiska och etiska konsekvenser

Fördomsfullhet i AI får allvarliga konsekvenser, däribland diskriminering inom kritiska områden och spridning av desinformation.

  • Reglering: Regeringar runt om i världen börjar införa normer för styrning av AI.
  • I Europa har AI Act antagits, som träder i kraft stegvis från och med den 1 augusti 2024. Den inför strikta krav för högriskssystem, inklusive obligatorisk utvärdering av fördomsfullhet, och föreskriver böter på upp till 7 % av företagets globala omsättning[18].
  • I Ryssland undertecknade ledande teknikföretag 2021 en frivillig Etikkod för AI-området, med åtagande att minimera diskriminering. I slutet av 2021 hade mer än 100 organisationer undertecknat den[19].

Kampen mot fördomsfullhet innebär ständiga avvägningar. En alltför aggressiv filtrering kan leda till «överdriven politisk korrekthet», där modellen vägrar att diskutera känsliga ämnen överhuvudtaget. Därför söker utvecklare en balans mellan säkerhet, objektivitet och modellens informationsvärde.

Litteratur

  • Guo, Y. et al. (2024). Bias in Large Language Models: Origin, Evaluation, and Mitigation. arXiv:2411.10915.
  • Gallegos, I. O. et al. (2023). Bias and Fairness in Large Language Models: A Survey. arXiv:2309.00770.
  • Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. doi:10.1145/3442188.3445922.
  • Nadeem, M. et al. (2020). StereoSet: Measuring Stereotypical Bias in Pretrained Language Models. arXiv:2004.09456.
  • Nangia, N. et al. (2020). CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models. ACL 2020.
  • Bai, X. et al. (2024). Measuring Implicit Bias in Explicitly Unbiased Large Language Models. arXiv:2402.04105.
  • Hofmann, V. et al. (2024). AI Generates Covertly Racist Decisions about People Based on Their Dialect. Nature, 633, 147-154. Full text.
  • Fang, X. et al. (2024). Bias of AI-Generated Content: An Examination of News Produced by Large Language Models. Scientific Reports, 14, 5224. Full text.
  • Grigoreva, V. et al. (2024). RuBia: A Russian Language Bias Detection Dataset. arXiv:2403.17553.
  • Du, L. et al. (2024). Causal-Guided Active Learning for Debiasing Large Language Models. arXiv:2408.12942.
  • Ayaz, A. et al. (2023). Taught by the Internet: Exploring Bias in OpenAI's GPT-3. arXiv:2306.02428.

Se även

  • Stora språkmodeller

Referenser

  1. ↑ «Bias in Large Language Models: Origin, Evaluation, and Mitigation». arXiv. [1]
  2. ↑ «Generative AI: UNESCO study reveals alarming evidence of regressive gender stereotypes». UNESCO. [2]
  3. ↑ «Gender and race stereotypes in Large Language Models». Nature Scientific Reports. [3]
  4. ↑ «Предвзятость русскоязычных LLM: кого машина считает «обычным человеком»?». Хабр. [4]
  5. ↑ «ChatGPT’s Racial Bias in Hiring Decisions». Business Insider. [5]
  6. ↑ «RuBia: A Russian-language Bias Detection Dataset». The Moonlight. [6]
  7. ↑ «Left-leaning bias commonplace in AI-powered chatbots, shows new report». Centre for Policy Studies. [7]
  8. ↑ «AI language models are rife with political biases». MIT Technology Review. [8]
  9. ↑ «Языковые модели: как преодолеть предвзятость и обеспечить безопасность». РБК Тренды. [9]
  10. ↑ «CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models». ACL Anthology. [10]
  11. ↑ «StereoSet: Measuring stereotypical bias in pretrained language models». arXiv. [11]
  12. ↑ «RuBia: A Russian Language Bias Detection Dataset». arXiv. [12]
  13. ↑ «French CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in French Language Models». ACL Anthology. [13]
  14. ↑ «CBBQ: A Chinese Bias Benchmark for Large Language Models». arXiv. [14]
  15. ↑ «Bias in Large Language Models and Who Should Be Held Accountable». Stanford Law School. [15]
  16. ↑ «Racial bias in psychiatric diagnosis and treatment with large language models». Nature Digital Medicine. [16]
  17. ↑ «Preprocessing Bias Mitigation». Holistic AI Documentation. [17]
  18. ↑ «EU AI Act: First Rules Take Effect on Prohibited AI Systems». Jones Day. [18]
  19. ↑ «Over 100 organizations signed up for Code of Ethics in AI by end of 2021». TASS. [19]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generation_bias_(LLM)_(SV)&oldid=2619"