Stochastic parrot (SV)
Stokastisk papegoja (eng. Stochastic parrot) — en metafor som används inom artificiell intelligens för att beskriva stora språkmodeller (LLM) som system vilka kan kombinera lingvistiska former på ett statistiskt trovärdigt sätt, men som saknar en genuin förståelse av deras betydelse[1].
Begreppet introducerades i mars 2021 i den vetenskapliga artikeln «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?», publicerad vid konferensen FAccT. Författarna var Emily M. Bender, Timnit Gebru, Angelina McMillan-Major och Margaret Mitchell[2].
Definition och koncept
Enligt artikelns författare är en stokastisk papegoja ett «system för slumpmässig sammanfogning av sekvenser av lingvistiska former observerade i dess omfattande träningsdata, i enlighet med probabilistisk information om hur de kombineras, men utan någon koppling till betydelse»[2].
Begreppet består av två delar:
- Stokastisk — från forngrenska στοχαστικός («baserad på gissning»), i modern matematik betecknar det en process som bestäms av slumpmässig sannolikhetsfördelning[1].
- Papegoja — en hänvisning till papegojors förmåga att imitera mänskligt tal utan att förstå dess innebörd[1].
Konceptet hävdar att LLM, tränade på att förutsäga nästa ord i en sekvens, i grunden är avancerade autokompletteringssystem som manipulerar symboler utan tillgång till deras betydelse.
Artikelns huvudargument: «On the Dangers of Stochastic Parrots»
I arbetet identifieras fyra huvudkategorier av risker förknippade med utvecklingen av alltför stora språkmodeller.
1. Okontrollerbara träningsdata
LLM tränas på enorma, icke-annoterade datamängder insamlade från internet (t.ex. Common Crawl). Sådana dataset innehåller oundvikligen fördomar, toxiskt språk och hegemoniska perspektiv som skadar utsatta grupper. Exempelvis representerar internetinnehåll oproportionerligt vita män från utvecklade länder (67 % av Reddit-användarna i USA är män)[2].
2. Avsaknad av genuin språkförståelse
Författarna hävdar att LLM saknar genuin språkförståelse. De hänvisar till teorin om att språk är ett teckensystem där form (ord) är oupplösligt förbunden med betydelse (innebörd). Träningsdata för LLM innehåller enbart form, vilket berövar modellen tillgång till betydelse. Därför imiterar LLM endast meningsfull kommunikation.
3. Syntetisk text och potentiell skada
Eftersom LLM genererar grammatiskt korrekt och övertygande text är människor benägna att tillskriva den mening och sätta sin tillit till den. Detta skapar risk för spridning av desinformation, hatpropaganda och bedrägeri. Ju mer fullkomlig imitationen är, desto högre är risken att människor överskattar AI:s förmågor och anförtror den kritiskt viktiga beslut.
Vetenskaplig påverkan och kontrovers kring publikationen
Artikeln blev centrum för en stor skandal på Google, där medförfattarna Timnit Gebru och Margaret Mitchell vid den aktuella tidpunkten arbetade. I slutet av 2020, under intern granskning, krävde Googles ledning att författarna skulle dra tillbaka artikeln eller ta bort Googles anställdas namn från den[3].
Timnit Gebru, en ledande AI-etikforskare, vägrade att efterkomma detta krav, vilket ledde till hennes avskedande från Google i december 2020. I februari 2021 avskedades även Margaret Mitchell, som hade uttalat sitt stöd för Gebru[4]. Dessa händelser väckte bred offentlig uppmärksamhet. Mer än 2 200 Google-anställda och tusentals representanter från den akademiska världen undertecknade ett protestbrev och anklagade företaget för vetenskaplig censur och undertryckande av forskning som kan påverka dess kommersiella intressen[5]. Artikeln publicerades slutligen i mars 2021 vid konferensen FAccT.
Reaktioner, debatter och förändrade perspektiv
Metaforen «stokastisk papegoja» spreds snabbt och blev en central punkt i debatten om artificiell intelligens natur. American Dialect Society (ADS) utsåg «stochastic parrot» till årets AI-ord för 2023, där det till och med slog «ChatGPT» och «LLM»[1].
Kritik mot konceptet och bevis för förståelse
Konceptet har ifrågasatts av många ledande forskare.
- Geoffrey Hinton, en av djupinlärningens «fäder», hävdade att «för att korrekt förutsäga nästa ord måste man förstå meningen»[1]. År 2023, efter att han lämnat Google, uppgav han att stora modeller redan «förstår» vad de lärt sig och kan dra självständiga slutsatser[6].
- Emergenta förmågor: Forskning har visat att LLM vid en viss skala uppvisar ett språngvist framträdande av nya förmågor, såsom lösning av aritmetiska uppgifter, som inte uttryckligen programmerats in i dem[7].
- Interna världsmodeller: En studie från 2022 visade att en modell tränad att spela Othello baserat på textrepresentationer av drag spontant utvecklade en intern representation av spelplanen, vilket tyder på att en abstrakt modell av den beskrivna världen hade uppstått[3].
- Prestanda på benchmark: Moderna modeller som GPT-4 uppnår resultat på mänsklig nivå (eller högre) på avancerade yrkesprov, vilket enligt en del forskare inte är möjligt utan förståelse[8].
Ironisk användning och samhällsdiskurs
Begreppet har blivit så populärt att till och med OpenAI:s chef Sam Altman använde det ironiskt när han på Twitter skrev: «i am a stochastic parrot, and so r u». Därmed antydde han att mänskligt tal i hög grad också är en probabilistisk förutsägelse av nästa ord, och lekte med kritiken riktad mot AI[1].
Påverkan på vetenskaplig diskurs
Metaforen «stokastisk papegoja» förblir central i debatten om LLM:s möjligheter och begränsningar. Den har bidragit till att formulera problemet med språkmodellers avsaknad av genuin förståelse och uppmärksammat riskerna förknippade med deras utveckling. Samtidigt tvingar den snabba framstegen inom LLM till ett ständigt omvärderande av metaforen, eftersom de senaste modellerna uppvisar alltmer komplext beteende som inte ryms i bilden av en «meningslös papegoja». Begreppet fortsätter att påverka den vetenskapliga diskursen och understryker vikten av kritisk analys av AI-systemens förmågor och deras sociala konsekvenser[8].
Litteratur
- Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
- Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
- Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.
Noter
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent. Mint. [1]
- ↑ 2.0 2.1 2.2 Bender, Emily M., et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». Conference on Fairness, Accountability, and Transparency (FAccT '21). [2]
- ↑ 3.0 3.1 «Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI». Хабр. [3]
- ↑ Hao, Karen. «We read the paper that forced Timnit Gebru out of Google. Here's what it says». MIT Technology Review. [4]
- ↑ Vincent, James. «Timnit Gebru's actual paper may explain why Google ejected her». The Verge. [5]
- ↑ «Geoffrey Hinton on the promise, risks of artificial intelligence». 60 Minutes - CBS News. [6]
- ↑ «Stochastic parrot». Wikipedia. [7]
- ↑ 8.0 8.1 «The debate over understanding in AI's large language models». PMC. [8]