Stochastic parrot — স্টোকাস্টিক প্যারট
স্টোকাস্টিক প্যারট (ইং. Stochastic parrot) — এটি কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রে ব্যবহৃত একটি রূপক, যা বৃহৎ ভাষা মডেল (LLM)-কে এমন সিস্টেম হিসেবে বর্ণনা করে যেগুলো পরিসংখ্যানগতভাবে বিশ্বাসযোগ্যভাবে ভাষাগত রূপ একত্রিত করতে পারে, কিন্তু সেগুলোর প্রকৃত অর্থ বোঝার ক্ষমতা থেকে বঞ্চিত[1]।
পদটি ২০২১ সালের মার্চ মাসে একটি বৈজ্ঞানিক প্রবন্ধে প্রবর্তিত হয়েছিল — «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» — যা FAccT সম্মেলনে প্রকাশিত হয়েছিল। লেখকরা হলেন এমিলি এম. বেন্ডার, টিমনিট গেব্রু, অ্যাঞ্জেলিনা ম্যাকমিলান-মেজর এবং মার্গারেট মিচেল[2]।
সংজ্ঞা এবং ধারণা
প্রবন্ধের লেখকদের মতে, স্টোকাস্টিক প্যারট হলো «এমন একটি সিস্টেম যা তার বিশাল প্রশিক্ষণ ডেটায় পর্যবেক্ষিত ভাষাগত রূপের ক্রমগুলো এলোমেলোভাবে সংযুক্ত করে, সেগুলো কীভাবে একত্রিত হয় সে সম্পর্কিত সম্ভাব্যতামূলক তথ্যের ভিত্তিতে, কিন্তু অর্থের সাথে কোনো সংযোগ ছাড়াই»[2]।
পদটি দুটি অংশ নিয়ে গঠিত:
- স্টোকাস্টিক — প্রাচীন গ্রিক στοχαστικός («অনুমান-ভিত্তিক») থেকে এসেছে, আধুনিক গণিতে এটি এমন একটি প্রক্রিয়া বোঝায় যা এলোমেলো সম্ভাব্যতা বিতরণ দ্বারা নির্ধারিত হয়[1]।
- প্যারট — তোতাপাখির মানুষের বাক্য অনুকরণ করার ক্ষমতার প্রতি ইঙ্গিত, যদিও তারা সেটির অর্থ বোঝে না[1]।
ধারণাটি দাবি করে যে LLM, যেগুলো একটি ক্রমানুসারে পরবর্তী শব্দ পূর্বাভাস দেওয়ার জন্য প্রশিক্ষিত, সেগুলো মূলত জটিল অটোকমপ্লিশন সিস্টেম যা প্রতীকগুলোকে তাদের অর্থে প্রবেশাধিকার ছাড়াই পরিচালনা করে।
«On the Dangers of Stochastic Parrots» প্রবন্ধের মূল যুক্তি
কাজটিতে অতিরিক্ত বৃহৎ ভাষা মডেল তৈরির সাথে সম্পর্কিত চারটি প্রধান ঝুঁকির বিভাগ চিহ্নিত করা হয়েছে।
১. অজ্ঞাতনামা প্রশিক্ষণ ডেটা
LLM ইন্টারনেট থেকে সংগৃহীত বিশাল, অটীকাকৃত dataset-এ প্রশিক্ষিত হয় (যেমন Common Crawl)। এই ধরনের dataset-গুলো অনিবার্যভাবে পক্ষপাত, বিষাক্ত ভাষা এবং আধিপত্যশীল দৃষ্টিভঙ্গি ধারণ করে যা দুর্বল গোষ্ঠীগুলোর ক্ষতি করে। উদাহরণস্বরূপ, ইন্টারনেট কন্টেন্ট অসামঞ্জস্যপূর্ণভাবে উন্নত দেশগুলোর শ্বেতাঙ্গ পুরুষদের প্রতিনিধিত্ব করে (মার্কিন যুক্তরাষ্ট্রে Reddit ব্যবহারকারীদের ৬৭% পুরুষ)[2]।
২. ভাষার প্রকৃত বোঝাপড়ার অভাব
লেখকরা যুক্তি দেন যে LLM ভাষার প্রকৃত বোঝাপড়ার অধিকারী নয়। তারা এই তত্ত্বের উল্লেখ করেন যে ভাষা হলো চিহ্নের একটি সিস্টেম, যেখানে রূপ (শব্দ) অর্থের সাথে অবিচ্ছেদ্যভাবে যুক্ত। LLM-এর প্রশিক্ষণ ডেটায় শুধুমাত্র রূপ থাকে, যা মডেলকে অর্থে প্রবেশাধিকার থেকে বঞ্চিত করে। তাই LLM কেবল অর্থবহ বক্তৃতা অনুকরণ করে।
৩. সিন্থেটিক টেক্সট এবং সম্ভাব্য ক্ষতি
যেহেতু LLM ব্যাকরণগতভাবে সঠিক এবং বিশ্বাসযোগ্য টেক্সট তৈরি করে, মানুষ এতে অর্থ আরোপ করতে এবং এতে বিশ্বাস করতে প্রবণ। এটি ভুল তথ্য, ঘৃণামূলক বক্তব্য এবং প্রতারণা ছড়িয়ে দেওয়ার ঝুঁকি তৈরি করে। অনুকরণ যত নিখুঁত হয়, ততই মানুষ AI-এর ক্ষমতা অতিমূল্যায়ন করবে এবং এটিকে সমালোচনামূলক সিদ্ধান্ত নেওয়ার জন্য বিশ্বাস করবে।
প্রকাশনা ঘিরে বৈজ্ঞানিক প্রভাব এবং বিতর্ক
প্রবন্ধটি Google-এ একটি বড় কেলেঙ্কারির কেন্দ্রে পরিণত হয়েছিল, যেখানে সহলেখক টিমনিট গেব্রু এবং মার্গারেট মিচেল সেই সময় কর্মরত ছিলেন। ২০২০ সালের শেষের দিকে, অভ্যন্তরীণ পর্যালোচনার সময়, Google কর্তৃপক্ষ লেখকদের প্রবন্ধটি প্রত্যাহার করতে বা Google কর্মীদের নাম সরিয়ে দিতে বলে[3]।
AI নৈতিকতার প্রধান গবেষক টিমনিট গেব্রু এই দাবি পূরণ করতে অস্বীকার করেন, যা ২০২০ সালের ডিসেম্বরে Google থেকে তার বরখাস্তের দিকে নিয়ে যায়। ২০২১ সালের ফেব্রুয়ারিতে মার্গারেট মিচেলকেও বরখাস্ত করা হয়, যিনি গেব্রুর পক্ষে কথা বলেছিলেন[4]। এই ঘটনাগুলো ব্যাপক জনসাধারণের প্রতিক্রিয়া সৃষ্টি করেছিল। ২,২০০-এরও বেশি Google কর্মী এবং হাজার হাজার শিক্ষাজগতের প্রতিনিধি একটি প্রতিবাদ পত্রে স্বাক্ষর করেছিলেন, যেখানে কোম্পানিকে বৈজ্ঞানিক সেন্সরশিপ এবং তার বাণিজ্যিক স্বার্থকে প্রভাবিত করতে পারে এমন গবেষণা দমন করার অভিযোগ আনা হয়েছিল[5]। পরিশেষে প্রবন্ধটি ২০২১ সালের মার্চ মাসে FAccT সম্মেলনে প্রকাশিত হয়।
প্রতিক্রিয়া, বিতর্ক এবং দৃষ্টিভঙ্গির বিবর্তন
«স্টোকাস্টিক প্যারট» রূপকটি দ্রুত ছড়িয়ে পড়ে এবং কৃত্রিম বুদ্ধিমত্তার প্রকৃতি নিয়ে বিতর্কের কেন্দ্রীয় বিন্দুতে পরিণত হয়। আমেরিকান ডায়ালেক্টোলজিক্যাল সোসাইটি (ADS) ২০২৩ সালে AI-এর ক্ষেত্রে বর্ষের শব্দ হিসেবে «stochastic parrot» বেছে নিয়েছিল, যেখানে এটি «ChatGPT» এবং «LLM»-কেও পিছনে ফেলেছিল[1]।
ধারণার সমালোচনা এবং বোঝাপড়ার প্রমাণ
ধারণাটি অনেক শীর্ষস্থানীয় গবেষক কর্তৃক চ্যালেঞ্জ করা হয়েছে।
- জেফ্রি হিন্টন, গভীর শিক্ষার «গডফাদারদের» একজন, যুক্তি দিয়েছিলেন যে «পরবর্তী শব্দ সঠিকভাবে পূর্বাভাস দেওয়ার জন্য বাক্যটি বোঝা দরকার»[1]। ২০২৩ সালে Google ছেড়ে যাওয়ার পর তিনি বলেছিলেন যে বড় মডেলগুলো ইতিমধ্যে তাদের যা শেখানো হয়েছে তা «বোঝে» এবং স্বাধীন সিদ্ধান্তে পৌঁছাতে পারে[6]।
- উদীয়মান ক্ষমতা (Emergent Abilities): গবেষণাগুলো দেখিয়েছে যে একটি নির্দিষ্ট মাপে পৌঁছানোর পর LLM-গুলো নতুন ক্ষমতার আকস্মিক আবির্ভাব প্রদর্শন করে, যেমন গাণিতিক সমস্যা সমাধান করা, যা সেগুলোতে স্পষ্টভাবে অন্তর্ভুক্ত করা হয়নি[7]।
- অভ্যন্তরীণ বিশ্ব মডেল: ২০২২ সালের একটি গবেষণা দেখিয়েছে যে একটি মডেল, যা চালের পাঠ্য রেকর্ডের উপর ভিত্তি করে Othello খেলতে প্রশিক্ষিত হয়েছিল, স্বতঃস্ফূর্তভাবে গেম বোর্ডের একটি অভ্যন্তরীণ উপস্থাপনা গড়ে তুলেছিল, যা বর্ণিত জগতের একটি বিমূর্ত মডেলের বিকাশের ইঙ্গিত দেয়[3]।
- benchmark-এ কর্মক্ষমতা: GPT-4-এর মতো আধুনিক মডেলগুলো জটিল পেশাদার পরীক্ষায় মানব-স্তরের (বা উচ্চতর) ফলাফল দেখায়, যা কারো কারো মতে বোঝাপড়া ছাড়া সম্ভব নয়[8]।
ব্যঙ্গাত্মক ব্যবহার এবং সামাজিক আলোচনা
পদটি এত জনপ্রিয় হয়ে উঠেছে যে OpenAI-এর প্রধান স্যাম অল্টম্যান নিজেও Twitter-এ ব্যঙ্গাত্মকভাবে লিখেছিলেন: «i am a stochastic parrot, and so r u»। এর মাধ্যমে তিনি ইঙ্গিত করেছিলেন যে মানুষের বক্তৃতাও অনেকাংশে পরবর্তী শব্দের সম্ভাব্যতামূলক পূর্বাভাস, AI-এর বিরুদ্ধে সমালোচনাকে পরিহাস করে[1]।
বৈজ্ঞানিক আলোচনায় প্রভাব
«স্টোকাস্টিক প্যারট» রূপকটি LLM-এর সম্ভাবনা এবং সীমাবদ্ধতা নিয়ে বিতর্কে কেন্দ্রীয় থেকে যাচ্ছে। এটি ভাষা মডেলগুলোর প্রকৃত বোঝাপড়ার অভাবের সমস্যাটি প্রণয়ন করতে এবং তাদের বিকাশের সাথে সম্পর্কিত ঝুঁকিগুলোতে মনোযোগ আকর্ষণ করতে সাহায্য করেছে। একই সময়ে, LLM-এর ক্ষেত্রে দ্রুত অগ্রগতি এই রূপকটিকে ক্রমাগত পুনর্বিবেচনা করতে বাধ্য করছে, কারণ সর্বশেষ মডেলগুলো ক্রমবর্ধমান জটিল আচরণ প্রদর্শন করছে যা «অর্থহীন তোতাপাখির» ছবিতে খাপ খায় না। পদটি বৈজ্ঞানিক আলোচনাকে প্রভাবিত করতে থাকে, AI সিস্টেমের সম্ভাবনা এবং তাদের সামাজিক পরিণতির সমালোচনামূলক বিশ্লেষণের গুরুত্ব তুলে ধরে[8]।
সাহিত্য
- Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
- Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
- Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.
টীকা
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent. Mint. [১]
- ↑ 2.0 2.1 2.2 Bender, Emily M., et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». Conference on Fairness, Accountability, and Transparency (FAccT '21). [২]
- ↑ 3.0 3.1 «Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI». Хабр. [৩]
- ↑ Hao, Karen. «We read the paper that forced Timnit Gebru out of Google. Here's what it says». MIT Technology Review. [৪]
- ↑ Vincent, James. «Timnit Gebru's actual paper may explain why Google ejected her». The Verge. [৫]
- ↑ «Geoffrey Hinton on the promise, risks of artificial intelligence». 60 Minutes - CBS News. [৬]
- ↑ «Stochastic parrot». Wikipedia. [৭]
- ↑ 8.0 8.1 «The debate over understanding in AI's large language models». PMC. [৮]