Generation bias (LLM) (NL)

From Systems analysis Wiki
Jump to navigation Jump to search

Vooringenomenheid in grote taalmodellen (LLM) — dit is een systematische vertekening van gegenereerde teksten, waarbij het model bestaande maatschappelijke stereotypen en vooroordelen met betrekking tot gender, ras, cultuur, politieke opvattingen en andere sociale categorieën weerspiegelt of versterkt. Dit verschijnsel ontstaat doordat LLM's worden getraind op enorme hoeveelheden menselijke data, die onvermijdelijk bevooroordeelde informatie bevatten[1].

Vooringenomenheid is een van de belangrijkste ethische en technische problemen bij de ontwikkeling van AI, omdat het kan leiden tot discriminatie, verspreiding van desinformatie en ondermijning van het vertrouwen in technologie.

Soorten vooringenomenheid in LLM

Vooringenomenheid in LLM kan zich in verschillende vormen manifesteren.

Gendervooringenomenheid

Modellen zijn geneigd traditionele genderstereotypen te reproduceren door beroepen en eigenschappen te associëren met een bepaald geslacht.

  • Onderzoek van UNESCO uit 2024 toonde aan dat LLM's vrouwen vier keer vaker beschrijven in huiselijke rollen ("thuis", "gezin", "kinderen") dan mannen, terwijl mannen worden geassocieerd met begrippen als "zakenleven" en "carrière"[2].
  • Onderzoek in Nature Scientific Reports bracht significante gender- en raciale vooringenomenheid aan het licht in content die wordt gegenereerd door zeven toonaangevende LLM's, waaronder ChatGPT en LLaMA[3].
  • In Nederlandstalige contexten gebruiken modellen standaard vaak de mannelijke vorm voor neutrale rollen (zoals "arts", "directeur") en hebben ze moeite met het genereren van vrouwelijke varianten[4].

Raciale en etnische vooringenomenheid

LLM's kunnen verborgen discriminatie vertonen ten aanzien van verschillende etnische groepen.

  • Onderzoek van Bloomberg toonde aan dat ChatGPT 3.5 de voorkeur gaf aan cv's van kandidaten met een Aziatische achtergrond boven die van Zwarte kandidaten[5].
  • In Russischtalige contexten heeft de dataset RuBia aangetoond dat modellen antisemitische en anti-immigrantenstereotypen kunnen reproduceren (zoals instemmen met de bewering "immigranten zijn lui") als deze aanwezig zijn in het trainingscorpus[6].

Politieke en ideologische vooringenomenheid

Ondanks beweringen van neutraliteit vertonen veel LLM's een neiging naar een bepaald politiek spectrum.

  • Onderzoek van het Centre for Policy Studies constateerde een links-liberale vooringenomenheid bij 23 van de 24 geteste LLM's[7].
  • Tests van de Universiteit van Washington en Carnegie Mellon toonden aan dat ChatGPT en GPT-4 het meest links-libertair waren, terwijl LLaMA van Meta het meest rechts-autoritair was[8].

Mechanismen van het ontstaan van vooringenomenheid

  • Trainingsdata: De belangrijkste bron. LLM's worden getraind op enorme corpora van internetteksten, die een "spiegel" vormen van de samenleving met al haar stereotypen[9].
  • Architectuur en trainingsalgoritmen: De transformer-architectuur zelf kan bestaande correlaties in de data versterken.
  • Fine-tuning en RLHF: De fase van Reinforcement Learning from Human Feedback (RLHF) kan ook vooringenomenheid introduceren, omdat menselijke beoordelaars onvermijdelijk worden geleid door hun eigen opvattingen.

Methoden voor detectie en beperking

Detectie van vooringenomenheid

  • Testsets voor stereotypen: Er worden gespecialiseerde datasets gebruikt, zoals:
    • CrowS-Pairs: Bestrijkt negen soorten vooringenomenheid, waaronder ras, religie en leeftijd[10].
    • StereoSet: Meet stereotypische vooringenomenheid op vier domeinen: gender, beroep, ras en religie[11].
    • RuBia: Een gespecialiseerde dataset voor het opsporen van vooringenomenheid in Russischtalige modellen[12].
    • Meertalige bronnen: Aanpassingen zoals French CrowS-Pairs[13] en Chinese Bias Benchmark (CBBQ)[14].
    • Analyse in specifieke domeinen: Onderzoek naar vooringenomenheid bij werving[15], in de geneeskunde[16] en in andere sectoren.

Beperking van vooringenomenheid

  • Op dataniveau (Pre-processing): Opschoning, filtering en herbalancering van trainingscorpora. Methoden worden beschreven in de documentatie van Holistic AI[17].
  • Op trainingsniveau (In-processing): Aanpassing van trainingsalgoritmen om rekening te houden met eerlijkheid.
  • Op uitvoerniveau (Post-processing): Filtering en moderatie van reeds gegenereerde antwoorden.

Juridische en ethische gevolgen

Vooringenomenheid in AI heeft ernstige gevolgen, waaronder discriminatie op kritieke gebieden en verspreiding van desinformatie.

  • Regulering: Overheden wereldwijd beginnen normen in te voeren voor toezicht op AI.
  • In Europa is de AI Act aangenomen, die gefaseerd in werking treedt vanaf 1 augustus 2024. Deze stelt strenge eisen aan hoog-risicosystemen, waaronder verplichte beoordeling op vooringenomenheid, en voorziet in boetes tot 7% van de wereldwijde omzet van een bedrijf[18].
  • In Rusland ondertekenden toonaangevende technologiebedrijven in 2021 vrijwillig de Ethische Gedragscode voor AI, met de verplichting om discriminatie te minimaliseren. Eind 2021 hadden meer dan 100 organisaties de code ondertekend[19].

De strijd tegen vooringenomenheid is een voortdurend compromis. Een te agressieve filtering kan leiden tot "overdreven politieke correctheid", waarbij het model weigert om welk gevoelig onderwerp dan ook te bespreken. Daarom zoeken ontwikkelaars naar een balans tussen veiligheid, objectiviteit en informatiewaarde van het model.

Literatuur

  • Guo, Y. et al. (2024). Bias in Large Language Models: Origin, Evaluation, and Mitigation. arXiv:2411.10915.
  • Gallegos, I. O. et al. (2023). Bias and Fairness in Large Language Models: A Survey. arXiv:2309.00770.
  • Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. doi:10.1145/3442188.3445922.
  • Nadeem, M. et al. (2020). StereoSet: Measuring Stereotypical Bias in Pretrained Language Models. arXiv:2004.09456.
  • Nangia, N. et al. (2020). CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models. ACL 2020.
  • Bai, X. et al. (2024). Measuring Implicit Bias in Explicitly Unbiased Large Language Models. arXiv:2402.04105.
  • Hofmann, V. et al. (2024). AI Generates Covertly Racist Decisions about People Based on Their Dialect. Nature, 633, 147-154. Full text.
  • Fang, X. et al. (2024). Bias of AI-Generated Content: An Examination of News Produced by Large Language Models. Scientific Reports, 14, 5224. Full text.
  • Grigoreva, V. et al. (2024). RuBia: A Russian Language Bias Detection Dataset. arXiv:2403.17553.
  • Du, L. et al. (2024). Causal-Guided Active Learning for Debiasing Large Language Models. arXiv:2408.12942.
  • Ayaz, A. et al. (2023). Taught by the Internet: Exploring Bias in OpenAI's GPT-3. arXiv:2306.02428.

Zie ook

  • Grote taalmodellen

Noten

  1. ↑ «Bias in Large Language Models: Origin, Evaluation, and Mitigation». arXiv. [1]
  2. ↑ «Generative AI: UNESCO study reveals alarming evidence of regressive gender stereotypes». UNESCO. [2]
  3. ↑ «Gender and race stereotypes in Large Language Models». Nature Scientific Reports. [3]
  4. ↑ «Предвзятость русскоязычных LLM: кого машина считает «обычным человеком»?». Хабр. [4]
  5. ↑ «ChatGPT’s Racial Bias in Hiring Decisions». Business Insider. [5]
  6. ↑ «RuBia: A Russian-language Bias Detection Dataset». The Moonlight. [6]
  7. ↑ «Left-leaning bias commonplace in AI-powered chatbots, shows new report». Centre for Policy Studies. [7]
  8. ↑ «AI language models are rife with political biases». MIT Technology Review. [8]
  9. ↑ «Языковые модели: как преодолеть предвзятость и обеспечить безопасность». РБК Тренды. [9]
  10. ↑ «CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models». ACL Anthology. [10]
  11. ↑ «StereoSet: Measuring stereotypical bias in pretrained language models». arXiv. [11]
  12. ↑ «RuBia: A Russian Language Bias Detection Dataset». arXiv. [12]
  13. ↑ «French CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in French Language Models». ACL Anthology. [13]
  14. ↑ «CBBQ: A Chinese Bias Benchmark for Large Language Models». arXiv. [14]
  15. ↑ «Bias in Large Language Models and Who Should Be Held Accountable». Stanford Law School. [15]
  16. ↑ «Racial bias in psychiatric diagnosis and treatment with large language models». Nature Digital Medicine. [16]
  17. ↑ «Preprocessing Bias Mitigation». Holistic AI Documentation. [17]
  18. ↑ «EU AI Act: First Rules Take Effect on Prohibited AI Systems». Jones Day. [18]
  19. ↑ «Over 100 organizations signed up for Code of Ethics in AI by end of 2021». TASS. [19]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generation_bias_(LLM)_(NL)&oldid=2616"