Стохастичен папагал
Стохастичен папагал (англ. Stochastic parrot) — метафора, използвана в областта на изкуствения интелект за описание на големи езикови модели (LLM) като системи, които умеят статистически правдоподобно да комбинират езикови форми, но са лишени от истинско разбиране на смисъла им[1].
Терминът е въведен през март 2021 година в научна статия „За рисковете на стохастичните папагали: могат ли езиковите модели да бъдат прекалено големи?" (On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?), публикувана на конференцията FAccT. Автори са Емили М. Бендър, Тимнит Гебру, Анджелина МакМилан-Мейджър и Маргарет Мичъл[2].
Определение и концепция
Според авторите на статията стохастичният папагал представлява „система за хаотично свързване на последователности от езикови форми, наблюдавани в огромните й тренировъчни данни, съгласно вероятностна информация за начина, по който те се съчетават, но без каквато и да е връзка със смисъла"[2].
Терминът се състои от две части:
- Стохастичен — от старогръцки στοχαστικός („основан на догадки"), в съвременната математика означава процес, определян от случайно разпределение на вероятностите[1].
- Папагал — препратка към способността на папагалите да имитират човешката реч, без да разбират нейното значение[1].
Концепцията твърди, че LLM, обучени да предсказват следващата дума в последователност, по същество представляват сложни системи за автодопълване, които манипулират символи без достъп до тяхното значение.
Основни аргументи на статията „On the Dangers of Stochastic Parrots"
В работата са откроени четири основни категории рискове, свързани с разработването на прекалено големи езикови модели.
1. Непознаваеми тренировъчни данни
LLM се обучават върху огромни, неанотирани набори от данни, събрани от интернет (например Common Crawl). Такива dataset-и неизбежно съдържат предразсъдъци, токсичен език и хегемонни гледни точки, които увреждат уязвими групи. Например интернет съдържанието непропорционално представя белите мъже от развитите страни (67% от потребителите на Reddit в САЩ са мъже)[2].
2. Липса на истинско разбиране на езика
Авторите твърдят, че LLM не притежават истинско разбиране на езика. Те се позовават на теорията, че езикът е система от знаци, в която формата (думата) е неразривно свързана със значението (смисъла). Тренировъчните данни за LLM съдържат само формата, лишавайки модела от достъп до значението. Поради това LLM единствено имитират осмислена реч.
3. Синтетичен текст и потенциална вреда
Тъй като LLM генерират граматически правилен и убедителен текст, хората са склонни да му приписват смисъл и да му се доверяват. Това създава риск от разпространение на дезинформация, език на омразата и измами. Колкото по-съвършена е имитацията, толкова по-висок е рискът хората да надценят възможностите на ИИ и да му поверят критично важни решения.
Научно влияние и полемика около публикацията
Статията се превърна в епицентър на голям скандал в Google, където по онова време работеха съавторите Тимнит Гебру и Маргарет Мичъл. В края на 2020 година, по време на вътрешно рецензиране, ръководството на Google поиска от авторите да оттеглят статията или да премахнат от нея имената на служителите на Google[3].
Тимнит Гебру, водещ изследовател по етика на ИИ, отказа да изпълни това искане, което доведе до уволнението й от Google през декември 2020 година. През февруари 2021 година беше уволнена и Маргарет Мичъл, която се обяви в подкрепа на Гебру[4]. Тези събития предизвикаха широк обществен отзвук. Над 2200 служители на Google и хиляди представители на академичната общност подписаха писмо-протест, обвинявайки компанията в научна цензура и потискане на изследвания, които биха могли да засегнат търговските й интереси[5]. В крайна сметка статията беше публикувана през март 2021 година на конференцията FAccT.
Реакции, дебати и еволюция на възгледите
Метафората „стохастичен папагал" бързо се разпространи и се превърна в централна точка в дебатите за природата на изкуствения интелект. Американското диалектологично дружество (ADS) избра „stochastic parrot" за дума на годината в областта на ИИ за 2023 година, като тя изпревари дори „ChatGPT" и „LLM"[1].
Критика на концепцията и доказателства за разбиране
Концепцията беше оспорена от много водещи изследователи.
- Джефри Хинтън, един от „кръстниците" на дълбокото обучение, твърди, че „за точното предсказване на следващата дума е необходимо да се разбира изречението"[1]. През 2023 година, след като напусна Google, той заяви, че големите модели вече „разбират" това, на което са обучени, и могат да правят самостоятелни изводи[6].
- Емерджентни способности: Изследвания показаха, че при достигане на определен мащаб LLM демонстрират скокообразна поява на нови способности, като например решаване на аритметични задачи, които не са им заложени явно[7].
- Вътрешни модели на света: Изследване от 2022 година показа, че модел, обучен да играе Отело въз основа на текстови записи на ходове, спонтанно е формирал вътрешно представяне на игралното поле, което указва на развитие на абстрактен модел на описвания свят[3].
- Представяне на benchmark-ове: Съвременни модели като GPT-4 постигат резултати на човешко ниво (или по-високи) на сложни професионални изпити, което според някои е невъзможно без разбиране[8].
Иронична употреба и обществен дискурс
Терминът стана толкова популярен, че го използва иронично дори главният изпълнителен директор на OpenAI Сам Олтман, написал в Twitter: „аз съм стохастичен папагал, и вие също" (i am a stochastic parrot, and so r u). С това той намекна, че човешката реч също до голяма степен представлява вероятностно предсказване на следващата дума, обигравайки критиката към ИИ[1].
Влияние върху научния дискурс
Метафората „стохастичен папагал" остава централна в дебатите за възможностите и ограниченията на LLM. Тя помогна да се формулира проблемът за липсата на истинско разбиране у езиковите модели и привлече внимание към рисковете, свързани с тяхната разработка. В същото време бързият напредък в областта на LLM налага непрекъснато преосмисляне на тази метафора, тъй като най-новите модели демонстрират все по-сложно поведение, което не се вписва в образа на „безсмисления папагал". Терминът продължава да влияе върху научния дискурс, подчертавайки важността на критичния анализ на възможностите на ИИ системите и техните социални последствия[8].
Литература
- Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
- Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
- Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.
Бележки
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent. Mint. [1]
- ↑ 2.0 2.1 2.2 Bender, Emily M., et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». Conference on Fairness, Accountability, and Transparency (FAccT '21). [2]
- ↑ 3.0 3.1 «Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI». Хабр. [3]
- ↑ Hao, Karen. «We read the paper that forced Timnit Gebru out of Google. Here's what it says». MIT Technology Review. [4]
- ↑ Vincent, James. «Timnit Gebru's actual paper may explain why Google ejected her». The Verge. [5]
- ↑ «Geoffrey Hinton on the promise, risks of artificial intelligence». 60 Minutes - CBS News. [6]
- ↑ «Stochastic parrot». Wikipedia. [7]
- ↑ 8.0 8.1 «The debate over understanding in AI's large language models». PMC. [8]