Generation bias (LLM) (BN)

From Systems analysis Wiki
Jump to navigation Jump to search

বৃহৎ ভাষা মডেলে (LLM) পক্ষপাত — এটি হলো জেনারেট করা টেক্সটের একটি পদ্ধতিগত বিকৃতি, যেখানে মডেলটি লিঙ্গ, বর্ণ, সংস্কৃতি, রাজনৈতিক দৃষ্টিভঙ্গি এবং অন্যান্য সামাজিক বিভাগ সম্পর্কিত সমাজে বিদ্যমান স্টেরিওটাইপ ও কুসংস্কারগুলি প্রতিফলিত বা শক্তিশালী করে। এই ঘটনাটি ঘটে কারণ LLM বিশাল পরিমাণ মানবিক তথ্য দিয়ে প্রশিক্ষিত হয়, যেগুলোতে অনিবার্যভাবে পক্ষপাতদুষ্ট তথ্য থাকে[1]।

পক্ষপাত হলো AI উন্নয়নের অন্যতম প্রধান নৈতিক ও প্রযুক্তিগত সমস্যা, কারণ এটি বৈষম্য, ভুল তথ্যের প্রসার এবং প্রযুক্তির প্রতি আস্থা নষ্ট করতে পারে।

LLM-এ পক্ষপাতের প্রকারভেদ

LLM-এ পক্ষপাত বিভিন্ন রূপে প্রকাশ পেতে পারে।

লিঙ্গ পক্ষপাত

মডেলগুলি ঐতিহ্যগত লিঙ্গ স্টেরিওটাইপ পুনরুৎপাদন করার প্রবণতা দেখায়, পেশা এবং বৈশিষ্ট্যগুলিকে নির্দিষ্ট লিঙ্গের সাথে যুক্ত করে।

  • ইউনেস্কোর ২০২৪ সালের গবেষণায় দেখা গেছে যে LLM পুরুষদের তুলনায় চারগুণ বেশি মহিলাদের গৃহস্থালির ভূমিকায় («বাড়ি», «পরিবার», «সন্তান») বর্ণনা করে, আর পুরুষদের «ব্যবসা» ও «ক্যারিয়ার» ধারণার সাথে যুক্ত করে[2]।
  • Nature Scientific Reports-এ প্রকাশিত একটি গবেষণায় ChatGPT এবং LLaMA সহ সাতটি শীর্ষস্থানীয় LLM-এর জেনারেট করা বিষয়বস্তুতে উল্লেখযোগ্য লিঙ্গ ও বর্ণ পক্ষপাত চিহ্নিত করা হয়েছে[3]।
  • রুশ ভাষার প্রসঙ্গে, মডেলগুলি প্রায়ই নিরপেক্ষ ভূমিকার জন্য (যেমন «চিকিৎসক», «পরিচালক») ডিফল্টভাবে পুংলিঙ্গ ব্যবহার করে এবং স্ত্রীলিঙ্গ পেশাবাচক শব্দ জেনারেট করতে অসুবিধায় পড়ে[4]।

বর্ণগত ও জাতিগত পক্ষপাত

LLM বিভিন্ন জাতিগত গোষ্ঠীর প্রতি সুপ্ত বৈষম্য প্রকাশ করতে পারে।

  • Bloomberg-এর গবেষণায় দেখা গেছে যে ChatGPT 3.5 কৃষ্ণাঙ্গ প্রার্থীদের তুলনায় এশিয়ান বংশোদ্ভূত প্রার্থীদের জীবনবৃত্তান্তকে প্রাধান্য দিয়েছে[5]।
  • রুশ ভাষার প্রসঙ্গে, RuBia dataset প্রকাশ করেছে যে মডেলগুলি ইহুদি-বিরোধী এবং অভিবাসন-বিরোধী স্টেরিওটাইপ পুনরুৎপাদন করতে পারে (যেমন «অভিবাসীরা অলস» — এই দাবিতে সম্মতি দিয়ে), যদি সেগুলো প্রশিক্ষণ কর্পাসে উপস্থিত থাকে[6]।

রাজনৈতিক ও আদর্শগত পক্ষপাত

নিরপেক্ষতার দাবি সত্ত্বেও, অনেক LLM একটি নির্দিষ্ট রাজনৈতিক দিকে ঝোঁক প্রদর্শন করে।

  • Centre for Policy Studies-এর গবেষণায় পরীক্ষিত ২৪টি LLM-এর মধ্যে ২৩টিতে বাম-উদারনৈতিক পক্ষপাত চিহ্নিত হয়েছে[7]।
  • ওয়াশিংটন বিশ্ববিদ্যালয় ও কার্নেগি মেলনের পরীক্ষায় দেখা গেছে যে ChatGPT এবং GPT-4 সবচেয়ে বেশি বাম-স্বাধীনতাবাদী ছিল, যেখানে Meta-র LLaMA সবচেয়ে বেশি ডান-কর্তৃত্ববাদী ছিল[8]।

পক্ষপাত সৃষ্টির প্রক্রিয়া

  • প্রশিক্ষণ ডেটা: প্রধান উৎস। LLM ইন্টারনেট থেকে বিশাল টেক্সট কর্পাসে প্রশিক্ষিত হয়, যা সমাজের সমস্ত স্টেরিওটাইপ সহ একটি «দর্পণ»[9]।
  • আর্কিটেকচার ও প্রশিক্ষণ অ্যালগরিদম: transformer আর্কিটেকচার নিজেই ডেটায় বিদ্যমান পারস্পরিক সম্পর্কগুলিকে শক্তিশালী করতে পারে।
  • Fine-tuning ও RLHF: মানুষের কাছ থেকে Reinforcement Learning (RLHF) পর্যায়টিও পক্ষপাত যোগ করতে পারে, কারণ মানব মূল্যায়নকারীরা অনিবার্যভাবে তাদের নিজস্ব দৃষ্টিভঙ্গি দ্বারা পরিচালিত হন।

সনাক্তকরণ ও প্রশমনের পদ্ধতি

পক্ষপাত সনাক্তকরণ

  • স্টেরিওটাইপ পরীক্ষার সেট: বিশেষায়িত dataset ব্যবহার করা হয়, যেমন:
    • CrowS-Pairs: বর্ণ, ধর্ম ও বয়স সহ নয় ধরনের পক্ষপাত অন্তর্ভুক্ত করে[10]।
    • StereoSet: চারটি ডোমেনে স্টেরিওটাইপিক্যাল পক্ষপাত পরিমাপ করে: লিঙ্গ, পেশা, বর্ণ ও ধর্ম[11]।
    • RuBia: রুশ ভাষার মডেলে পক্ষপাত সনাক্তকরণের জন্য বিশেষায়িত dataset[12]।
    • বহুভাষিক সম্পদ: অভিযোজন যেমন French CrowS-Pairs[13] এবং Chinese Bias Benchmark (CBBQ)[14]।
    • নির্দিষ্ট ক্ষেত্রে বিশ্লেষণ: নিয়োগ[15], চিকিৎসা[16] এবং অন্যান্য ক্ষেত্রে পক্ষপাতের গবেষণা।

পক্ষপাত প্রশমন

  • ডেটা স্তরে (Pre-processing): প্রশিক্ষণ কর্পাস পরিষ্কার, ফিল্টার এবং পুনর্ভারসাম্য। পদ্ধতিগুলি Holistic AI-এর ডকুমেন্টেশনে বর্ণিত হয়েছে[17]।
  • প্রশিক্ষণ স্তরে (In-processing): ন্যায্যতার কথা মাথায় রেখে প্রশিক্ষণ অ্যালগরিদম পরিবর্তন।
  • আউটপুট স্তরে (Post-processing): ইতিমধ্যে জেনারেট করা উত্তরগুলির ফিল্টারিং ও মডারেশন।

আইনি ও নৈতিক পরিণতি

AI-তে পক্ষপাতের গুরুতর পরিণতি রয়েছে, যার মধ্যে গুরুত্বপূর্ণ ক্ষেত্রে বৈষম্য এবং ভুল তথ্যের প্রসার অন্তর্ভুক্ত।

  • নিয়ন্ত্রণ: বিশ্বজুড়ে সরকারগুলি AI নিয়ন্ত্রণের জন্য বিধি প্রণয়ন শুরু করছে।
  • ইউরোপে AI Act গৃহীত হয়েছে, যা ২০২৪ সালের ১ আগস্ট থেকে পর্যায়ক্রমে কার্যকর হচ্ছে। এটি উচ্চ-ঝুঁকির সিস্টেমের জন্য কঠোর প্রয়োজনীয়তা প্রবর্তন করে, যার মধ্যে পক্ষপাতের বাধ্যতামূলক মূল্যায়ন অন্তর্ভুক্ত এবং কোম্পানির বৈশ্বিক টার্নওভারের ৭% পর্যন্ত জরিমানার বিধান রয়েছে[18]।
  • রাশিয়ায় ২০২১ সালে শীর্ষস্থানীয় প্রযুক্তি কোম্পানিগুলি AI ক্ষেত্রে নৈতিকতার স্বেচ্ছাসেবী কোড স্বাক্ষর করেছে, বৈষম্য হ্রাস করার প্রতিশ্রুতি দিয়েছে। ২০২১ সালের শেষ নাগাদ ১০০-এরও বেশি সংস্থা এটি স্বাক্ষর করেছে[19]।

পক্ষপাতের বিরুদ্ধে লড়াই একটি ক্রমাগত আপস। অতিরিক্ত আক্রমণাত্মক ফিল্টারিং «অতিরিক্ত রাজনৈতিক সংশোধনবাদ»-এর দিকে নিয়ে যেতে পারে, যেখানে মডেলটি যেকোনো সংবেদনশীল বিষয় নিয়ে আলোচনা করতে অস্বীকার করে। তাই ডেভেলপাররা মডেলের নিরাপত্তা, বস্তুনিষ্ঠতা এবং তথ্যসমৃদ্ধতার মধ্যে ভারসাম্য খুঁজে বেড়াচ্ছেন।

সাহিত্য

  • Guo, Y. et al. (2024). Bias in Large Language Models: Origin, Evaluation, and Mitigation. arXiv:2411.10915.
  • Gallegos, I. O. et al. (2023). Bias and Fairness in Large Language Models: A Survey. arXiv:2309.00770.
  • Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. doi:10.1145/3442188.3445922.
  • Nadeem, M. et al. (2020). StereoSet: Measuring Stereotypical Bias in Pretrained Language Models. arXiv:2004.09456.
  • Nangia, N. et al. (2020). CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models. ACL 2020.
  • Bai, X. et al. (2024). Measuring Implicit Bias in Explicitly Unbiased Large Language Models. arXiv:2402.04105.
  • Hofmann, V. et al. (2024). AI Generates Covertly Racist Decisions about People Based on Their Dialect. Nature, 633, 147-154. Full text.
  • Fang, X. et al. (2024). Bias of AI-Generated Content: An Examination of News Produced by Large Language Models. Scientific Reports, 14, 5224. Full text.
  • Grigoreva, V. et al. (2024). RuBia: A Russian Language Bias Detection Dataset. arXiv:2403.17553.
  • Du, L. et al. (2024). Causal-Guided Active Learning for Debiasing Large Language Models. arXiv:2408.12942.
  • Ayaz, A. et al. (2023). Taught by the Internet: Exploring Bias in OpenAI's GPT-3. arXiv:2306.02428.

আরও দেখুন

  • বৃহৎ ভাষা মডেল

তথ্যসূত্র

  1. ↑ «Bias in Large Language Models: Origin, Evaluation, and Mitigation». arXiv. [১]
  2. ↑ «Generative AI: UNESCO study reveals alarming evidence of regressive gender stereotypes». UNESCO. [২]
  3. ↑ «Gender and race stereotypes in Large Language Models». Nature Scientific Reports. [৩]
  4. ↑ «Предвзятость русскоязычных LLM: кого машина считает «обычным человеком»?». Хабр. [৪]
  5. ↑ «ChatGPT’s Racial Bias in Hiring Decisions». Business Insider. [৫]
  6. ↑ «RuBia: A Russian-language Bias Detection Dataset». The Moonlight. [৬]
  7. ↑ «Left-leaning bias commonplace in AI-powered chatbots, shows new report». Centre for Policy Studies. [৭]
  8. ↑ «AI language models are rife with political biases». MIT Technology Review. [৮]
  9. ↑ «Языковые модели: как преодолеть предвзятость и обеспечить безопасность». РБК Тренды. [৯]
  10. ↑ «CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models». ACL Anthology. [১০]
  11. ↑ «StereoSet: Measuring stereotypical bias in pretrained language models». arXiv. [১১]
  12. ↑ «RuBia: A Russian Language Bias Detection Dataset». arXiv. [১২]
  13. ↑ «French CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in French Language Models». ACL Anthology. [১৩]
  14. ↑ «CBBQ: A Chinese Bias Benchmark for Large Language Models». arXiv. [১৪]
  15. ↑ «Bias in Large Language Models and Who Should Be Held Accountable». Stanford Law School. [১৫]
  16. ↑ «Racial bias in psychiatric diagnosis and treatment with large language models». Nature Digital Medicine. [১৬]
  17. ↑ «Preprocessing Bias Mitigation». Holistic AI Documentation. [১৭]
  18. ↑ «EU AI Act: First Rules Take Effect on Prohibited AI Systems». Jones Day. [১৮]
  19. ↑ «Over 100 organizations signed up for Code of Ethics in AI by end of 2021». TASS. [১৯]
Retrieved from "https://systems-analysis.info/int/index.php?title=Generation_bias_(LLM)_(BN)&oldid=2606"