Stochastic parrot (CS)
Stochastický papoušek (angl. Stochastic parrot) — je metafora používaná v oblasti umělé inteligence k popisu velkých jazykových modelů (LLM) jako systémů, které umí statisticky věrohodně kombinovat lingvistické formy, avšak postrádají skutečné porozumění jejich smyslu[1].
Termín byl zaveden v březnu 2021 v odborném článku „O rizicích stochastických papoušků: mohou být jazykové modely příliš velké?" (On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?), publikovaném na konferenci FAccT. Autorkami jsou Emily M. Bender, Timnit Gebru, Angelina McMillan-Major a Margaret Mitchell[2].
Definice a koncept
Podle autorek článku představuje stochastický papoušek „systém pro chaotické spojování sekvencí lingvistických forem pozorovaných v jeho rozsáhlých trénovacích datech, v souladu s pravděpodobnostními informacemi o tom, jak se kombinují, avšak bez jakéhokoli propojení se smyslem"[2].
Termín se skládá ze dvou částí:
- Stochastický — ze staré řečtiny στοχαστικός („založený na odhadu"), v moderní matematice označuje proces určovaný náhodným rozdělením pravděpodobnosti[1].
- Papoušek — odkaz na schopnost papoušků napodobovat lidskou řeč, aniž by rozuměli jejímu významu[1].
Koncept tvrdí, že LLM trénované na předpovídání následujícího slova v sekvenci jsou v podstatě složitými systémy automatického doplňování, které manipulují symboly bez přístupu k jejich významu.
Hlavní argumenty článku „On the Dangers of Stochastic Parrots"
Práce vymezuje čtyři hlavní kategorie rizik spojených s vývojem nadměrně velkých jazykových modelů.
1. Nepoznatelná trénovací data
LLM jsou trénovány na obrovských, neanotovaných datasetech shromážděných z internetu (například Common Crawl). Takové datasety nevyhnutelně obsahují předsudky, toxický jazyk a hegemonní úhly pohledu poškozující zranitelné skupiny. Například internetový obsah nepřiměřeně reprezentuje bílé muže z rozvinutých zemí (67 % uživatelů Redditu v USA jsou muži)[2].
2. Absence skutečného porozumění jazyku
Autorky tvrdí, že LLM nedisponují skutečným porozuměním jazyku. Odvolávají se na teorii, podle níž je jazyk systémem znaků, kde forma (slovo) je neoddělitelně spojena s významem (smyslem). Trénovací data pro LLM obsahují pouze formu, čímž model pozbývá přístupu k významu. LLM proto pouze napodobují smysluplnou řeč.
3. Syntetický text a potenciální škody
Protože LLM generují gramaticky správný a přesvědčivý text, lidé mají tendenci přisuzovat mu smysl a důvěřovat mu. To vytváří riziko šíření dezinformací, nenávistných projevů a podvodů. Čím dokonalejší je napodobení, tím vyšší je riziko, že lidé přeceňují schopnosti AI a svěří mu kriticky důležitá rozhodnutí.
Vědecký vliv a kontroverze kolem publikace
Článek se stal středem velkého skandálu v Googlu, kde v té době pracovaly spoluautorky Timnit Gebru a Margaret Mitchell. Koncem roku 2020, v průběhu interního recenzního řízení, vedení Googlu požadovalo po autorkách stažení článku nebo odstranění jmen zaměstnanců Googlu z něj[3].
Timnit Gebru, přední výzkumnice v oblasti etiky AI, odmítla tento požadavek splnit, což vedlo k jejímu propuštění z Googlu v prosinci 2020. V únoru 2021 byla propuštěna také Margaret Mitchell, která Gebru veřejně podpořila[4]. Tyto události vyvolaly široký společenský ohlas. Více než 2 200 zaměstnanců Googlu a tisíce zástupců akademické komunity podepsaly protestní dopis, v němž společnosti vyčítaly vědeckou cenzuru a potlačování výzkumu, který by mohl zasahovat do jejích komerčních zájmů[5]. Článek nakonec vyšel v březnu 2021 na konferenci FAccT.
Reakce, debaty a vývoj názorů
Metafora „stochastický papoušek" se rychle rozšířila a stala se ústředním bodem debat o povaze umělé inteligence. Americká dialektologická společnost (ADS) zvolila „stochastic parrot" slovem roku v oblasti AI za rok 2023, kde předstihlo i „ChatGPT" a „LLM"[1].
Kritika konceptu a důkazy o porozumění
Koncept byl zpochybněn mnoha předními výzkumníky.
- Geoffrey Hinton, jeden z „kmotrů" hlubokého učení, tvrdil, že „k přesnému předpovídání následujícího slova je třeba větě rozumět"[1]. V roce 2023, po odchodu z Googlu, prohlásil, že velké modely již „rozumí" tomu, čemu jsou učeny, a jsou schopny samostatných závěrů[6].
- Emergentní schopnosti: Výzkumy ukázaly, že po dosažení určitého rozsahu LLM vykazují skokový výskyt nových schopností, jako je řešení aritmetických úloh, které do nich nebyly explicitně zabudovány[7].
- Vnitřní modely světa: Studie z roku 2022 ukázala, že model trénovaný na hraní Othella na základě textových záznamů tahů spontánně vytvořil vnitřní reprezentaci herní plochy, což naznačuje rozvoj abstraktního modelu popisovaného světa[3].
- Výkon na benchmarcích: Moderní modely, jako GPT-4, dosahují výsledků na úrovni člověka (nebo vyšší) v náročných odborných zkouškách, což někteří považují za nemožné bez skutečného porozumění[8].
Ironické užití a veřejný diskurz
Termín se stal natolik populárním, že ho ironicky použil i šéf OpenAI Sam Altman, který napsal na Twitter: „jsem stochastický papoušek a ty také" (i am a stochastic parrot, and so r u). Tím naznačil, že lidská řeč je rovněž do značné míry pravděpodobnostním předpovídáním následujícího slova, a tak si pohrával s kritikou namířenou proti AI[1].
Vliv na vědecký diskurz
Metafora „stochastický papoušek" zůstává ústřední v debatách o možnostech a omezeních LLM. Pomohla formulovat problém absence skutečného porozumění u jazykových modelů a upozornila na rizika spojená s jejich vývojem. Zároveň rychlý pokrok v oblasti LLM nutí tuto metaforu neustále přehodnocovat, neboť nejnovější modely vykazují stále složitější chování, které nezapadá do obrazu „nesmyslného papoušku". Termín nadále ovlivňuje vědecký diskurz a zdůrazňuje důležitost kritické analýzy schopností AI systémů a jejich společenských důsledků[8].
Literatura
- Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
- Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
- Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.
Poznámky
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent. Mint. [1]
- ↑ 2.0 2.1 2.2 Bender, Emily M., et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». Conference on Fairness, Accountability, and Transparency (FAccT '21). [2]
- ↑ 3.0 3.1 «Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI». Хабр. [3]
- ↑ Hao, Karen. «We read the paper that forced Timnit Gebru out of Google. Here's what it says». MIT Technology Review. [4]
- ↑ Vincent, James. «Timnit Gebru's actual paper may explain why Google ejected her». The Verge. [5]
- ↑ «Geoffrey Hinton on the promise, risks of artificial intelligence». 60 Minutes - CBS News. [6]
- ↑ «Stochastic parrot». Wikipedia. [7]
- ↑ 8.0 8.1 «The debate over understanding in AI's large language models». PMC. [8]