Generation bias (LLM) (HI)

From Systems analysis Wiki
Jump to navigation Jump to search

बड़े भाषा मॉडलों (LLM) में पूर्वाग्रह — यह जनरेट किए गए पाठों का एक व्यवस्थित विकृतीकरण है, जिसमें मॉडल लिंग, जाति, संस्कृति, राजनीतिक विचारों और अन्य सामाजिक श्रेणियों से संबंधित समाज में विद्यमान रूढ़िवादिता और पूर्वाग्रहों को प्रतिबिंबित या प्रवर्धित करता है। यह घटना इसलिए उत्पन्न होती है क्योंकि LLM को मानव डेटा के विशाल संग्रहों पर प्रशिक्षित किया जाता है, जिनमें अनिवार्य रूप से पूर्वाग्रहपूर्ण जानकारी होती है[1]।

पूर्वाग्रह AI विकास की प्रमुख नैतिक और तकनीकी समस्याओं में से एक है, क्योंकि यह भेदभाव, गलत सूचना के प्रसार और प्रौद्योगिकी में विश्वास को कमज़ोर करने का कारण बन सकता है।

LLM में पूर्वाग्रह के प्रकार

LLM में पूर्वाग्रह विभिन्न रूपों में प्रकट हो सकता है।

लैंगिक पूर्वाग्रह

मॉडल पारंपरिक लैंगिक रूढ़िवादिताओं को पुनः उत्पन्न करने की प्रवृत्ति रखते हैं, जो पेशों और विशेषताओं को एक निश्चित लिंग से जोड़ते हैं।

  • यूनेस्को के 2024 के अध्ययन से पता चला कि LLM महिलाओं को घरेलू भूमिकाओं («घर», «परिवार», «बच्चे») में पुरुषों की तुलना में चार गुना अधिक बार वर्णित करते हैं, जबकि पुरुषों को «व्यवसाय» और «करियर» की अवधारणाओं से जोड़ते हैं[2]।
  • Nature Scientific Reports में प्रकाशित एक अध्ययन ने ChatGPT और LLaMA सहित सात प्रमुख LLM द्वारा जनरेट की गई सामग्री में महत्वपूर्ण लैंगिक और नस्लीय पूर्वाग्रह की पहचान की[3]।
  • रूसी भाषा के संदर्भ में, मॉडल अक्सर तटस्थ भूमिकाओं (जैसे «डॉक्टर», «निदेशक») के लिए डिफ़ॉल्ट रूप से पुल्लिंग का उपयोग करते हैं और स्त्रीलिंग रूप जनरेट करने में कठिनाई होती है[4]।

नस्लीय और जातीय पूर्वाग्रह

LLM विभिन्न जातीय समूहों के प्रति छुपा हुआ भेदभाव प्रदर्शित कर सकते हैं।

  • Bloomberg के एक अध्ययन से पता चला कि ChatGPT 3.5 ने अश्वेत उम्मीदवारों की तुलना में एशियाई मूल के उम्मीदवारों के रेज़्यूमे को प्राथमिकता दी[5]।
  • रूसी भाषा के संदर्भ में, dataset RuBia ने पाया कि यदि यहूदी-विरोधी और अप्रवासी-विरोधी रूढ़िवादिताएं प्रशिक्षण डेटा में मौजूद हों (जैसे «अप्रवासी आलसी होते हैं» कथन से सहमति), तो मॉडल उन्हें पुनः उत्पन्न कर सकते हैं[6]।

राजनीतिक और वैचारिक पूर्वाग्रह

तटस्थता के दावों के बावजूद, कई LLM एक निश्चित राजनीतिक स्पेक्ट्रम की ओर झुकाव प्रदर्शित करते हैं।

  • Centre for Policy Studies के अध्ययन ने 24 में से 23 परीक्षित LLM में वाम-उदारवादी पूर्वाग्रह पाया[7]।
  • वाशिंगटन विश्वविद्यालय और Carnegie Mellon के परीक्षण से पता चला कि ChatGPT और GPT-4 सबसे अधिक वाम-स्वतंत्रतावादी थे, जबकि Meta का LLaMA सबसे अधिक दक्षिण-सत्तावादी था[8]।

पूर्वाग्रह उत्पन्न होने के तंत्र

  • प्रशिक्षण डेटा: मुख्य स्रोत। LLM को इंटरनेट से लिए गए विशाल पाठ संग्रहों पर प्रशिक्षित किया जाता है, जो समाज का «दर्पण» हैं और उसकी सभी रूढ़िवादिताओं को समेटे हुए हैं[9]।
  • आर्किटेक्चर और प्रशिक्षण एल्गोरिदम: transformer का आर्किटेक्चर स्वयं डेटा में विद्यमान सहसंबंधों को प्रवर्धित कर सकता है।
  • Fine-tuning और RLHF: मानव से Reinforcement Learning (RLHF) के प्रशिक्षण चरण में भी पूर्वाग्रह आ सकता है, क्योंकि मूल्यांकनकर्ता अनिवार्य रूप से अपने स्वयं के विचारों से निर्देशित होते हैं।

पहचान और शमन के तरीके

पूर्वाग्रह की पहचान

  • रूढ़िवादिता के परीक्षण dataset: विशेष dataset का उपयोग किया जाता है, जैसे:
    • CrowS-Pairs: जाति, धर्म और आयु सहित नौ प्रकार के पूर्वाग्रहों को कवर करता है[10]।
    • StereoSet: चार डोमेन में रूढ़िवादी पूर्वाग्रह मापता है: लिंग, पेशा, जाति और धर्म[11]।
    • RuBia: रूसी भाषा के मॉडलों में पूर्वाग्रह की पहचान के लिए विशेष dataset[12]।
    • बहुभाषी संसाधन: अनुकूलन जैसे French CrowS-Pairs[13] और Chinese Bias Benchmark (CBBQ)[14]।
    • विशिष्ट क्षेत्रों में विश्लेषण: भर्ती[15], चिकित्सा[16] और अन्य क्षेत्रों में पूर्वाग्रह पर शोध।

पूर्वाग्रह का शमन

  • डेटा स्तर पर (Pre-processing): प्रशिक्षण संग्रहों की सफाई, फ़िल्टरिंग और पुनः संतुलन। विधियाँ Holistic AI के दस्तावेज़ीकरण में वर्णित हैं[17]।
  • प्रशिक्षण स्तर पर (In-processing): निष्पक्षता को ध्यान में रखते हुए प्रशिक्षण एल्गोरिदम का संशोधन।
  • आउटपुट स्तर पर (Post-processing): पहले से जनरेट किए गए उत्तरों की फ़िल्टरिंग और मॉडरेशन।

कानूनी और नैतिक परिणाम

AI में पूर्वाग्रह के गंभीर परिणाम हैं, जिनमें महत्वपूर्ण क्षेत्रों में भेदभाव और गलत सूचना का प्रसार शामिल है।

  • विनियमन: दुनिया भर की सरकारें AI पर नियंत्रण के लिए मानदंड लागू करना शुरू कर रही हैं।
  • यूरोप में AI Act पारित हुआ है, जो 1 अगस्त 2024 से चरणबद्ध रूप से लागू हो रहा है। यह उच्च जोखिम वाली प्रणालियों के लिए सख्त आवश्यकताएं लागू करता है, जिनमें पूर्वाग्रह के लिए अनिवार्य मूल्यांकन शामिल है, और कंपनी के वैश्विक कारोबार के 7% तक के जुर्माने का प्रावधान है[18]।
  • रूस में 2021 में प्रमुख तकनीकी कंपनियों ने स्वैच्छिक AI के क्षेत्र में आचार संहिता पर हस्ताक्षर किए, जिसमें भेदभाव को कम करने का संकल्प लिया गया। 2021 के अंत तक इस पर 100 से अधिक संगठनों ने हस्ताक्षर किए[19]।

पूर्वाग्रह से लड़ना एक सतत समझौते की प्रक्रिया है। अत्यधिक आक्रामक फ़िल्टरिंग «अत्यधिक राजनीतिक शुद्धता» की स्थिति पैदा कर सकती है, जब मॉडल किसी भी संवेदनशील विषय पर चर्चा करने से इनकार कर देता है। इसलिए डेवलपर मॉडल की सुरक्षा, वस्तुनिष्ठता और सूचनात्मकता के बीच संतुलन की तलाश करते हैं।

साहित्य

  • Guo, Y. et al. (2024). Bias in Large Language Models: Origin, Evaluation, and Mitigation. arXiv:2411.10915.
  • Gallegos, I. O. et al. (2023). Bias and Fairness in Large Language Models: A Survey. arXiv:2309.00770.
  • Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. doi:10.1145/3442188.3445922.
  • Nadeem, M. et al. (2020). StereoSet: Measuring Stereotypical Bias in Pretrained Language Models. arXiv:2004.09456.
  • Nangia, N. et al. (2020). CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models. ACL 2020.
  • Bai, X. et al. (2024). Measuring Implicit Bias in Explicitly Unbiased Large Language Models. arXiv:2402.04105.
  • Hofmann, V. et al. (2024). AI Generates Covertly Racist Decisions about People Based on Their Dialect. Nature, 633, 147-154. Full text.
  • Fang, X. et al. (2024). Bias of AI-Generated Content: An Examination of News Produced by Large Language Models. Scientific Reports, 14, 5224. Full text.
  • Grigoreva, V. et al. (2024). RuBia: A Russian Language Bias Detection Dataset. arXiv:2403.17553.
  • Du, L. et al. (2024). Causal-Guided Active Learning for Debiasing Large Language Models. arXiv:2408.12942.
  • Ayaz, A. et al. (2023). Taught by the Internet: Exploring Bias in OpenAI's GPT-3. arXiv:2306.02428.

यह भी देखें

  • बड़े भाषा मॉडल

टिप्पणियाँ

  1. ↑ «Bias in Large Language Models: Origin, Evaluation, and Mitigation». arXiv. [१]
  2. ↑ «Generative AI: UNESCO study reveals alarming evidence of regressive gender stereotypes». UNESCO. [२]
  3. ↑ «Gender and race stereotypes in Large Language Models». Nature Scientific Reports. [३]
  4. ↑ «Предвзятость русскоязычных LLM: кого машина считает «обычным человеком»?». Хабр. [४]
  5. ↑ «ChatGPT’s Racial Bias in Hiring Decisions». Business Insider. [५]
  6. ↑ «RuBia: A Russian-language Bias Detection Dataset». The Moonlight. [६]
  7. ↑ «Left-leaning bias commonplace in AI-powered chatbots, shows new report». Centre for Policy Studies. [७]
  8. ↑ «AI language models are rife with political biases». MIT Technology Review. [८]
  9. ↑ «Языковые модели: как преодолеть предвзятость и обеспечить безопасность». РБК Тренды. [९]
  10. ↑ «CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models». ACL Anthology. [१०]
  11. ↑ «StereoSet: Measuring stereotypical bias in pretrained language models». arXiv. [११]
  12. ↑ «RuBia: A Russian Language Bias Detection Dataset». arXiv. [१२]
  13. ↑ «French CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in French Language Models». ACL Anthology. [१३]
  14. ↑ «CBBQ: A Chinese Bias Benchmark for Large Language Models». arXiv. [१४]
  15. ↑ «Bias in Large Language Models and Who Should Be Held Accountable». Stanford Law School. [१५]
  16. ↑ «Racial bias in psychiatric diagnosis and treatment with large language models». Nature Digital Medicine. [१६]
  17. ↑ «Preprocessing Bias Mitigation». Holistic AI Documentation. [१७]
  18. ↑ «EU AI Act: First Rules Take Effect on Prohibited AI Systems». Jones Day. [१८]
  19. ↑ «Over 100 organizations signed up for Code of Ethics in AI by end of 2021». TASS. [१९]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generation_bias_(LLM)_(HI)&oldid=2611"