Stochastic parrot (NL)

Stochastische Papegaai (Engels: Stochastic parrot) — een metafoor die wordt gebruikt in het vakgebied van kunstmatige intelligentie om grote taalmodellen (LLM) te beschrijven als systemen die statistisch plausibele combinaties van taalkundige vormen kunnen produceren, maar die verstoken zijn van werkelijk begrip van hun betekenis.

De term werd geïntroduceerd in maart 2021 in het wetenschappelijke artikel «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?», gepubliceerd op de conferentie FAccT. De auteurs waren Emily M. Bender, Timnit Gebru, Angelina McMillan-Major en Margaret Mitchell.

Definitie en concept

Volgens de auteurs van het artikel vertegenwoordigt de stochastische papegaai een «systeem voor het willekeurig samenvoegen van reeksen taalkundige vormen die zijn waargenomen in de uitgebreide trainingsgegevens, op basis van probabilistische informatie over hoe deze vormen worden gecombineerd, maar zonder enige verbinding met betekenis».

De term bestaat uit twee delen:

• Stochastisch — afgeleid van het Oudgrieks στοχαστικός («gebaseerd op gissing»), in de moderne wiskunde duidt het op een proces dat wordt bepaald door een kansmatige verdeling.
• Papegaai — een verwijzing naar het vermogen van papegaaien om menselijke spraak na te bootsen zonder de betekenis ervan te begrijpen.

Het concept stelt dat LLM's, getraind om het volgende woord in een reeks te voorspellen, in wezen geavanceerde autocomplete-systemen zijn die symbolen manipuleren zonder toegang tot hun betekenis.

Belangrijkste argumenten van het artikel «On the Dangers of Stochastic Parrots»

In het werk worden vier hoofdcategorieën van risico's onderscheiden die samenhangen met de ontwikkeling van buitensporig grote taalmodellen.

1. Onkenbare trainingsgegevens

LLM's worden getraind op enorme, niet-geannoteerde datasets die van het internet zijn verzameld (bijvoorbeeld Common Crawl). Dergelijke datasets bevatten onvermijdelijk vooroordelen, giftige taal en hegemonische standpunten die kwetsbare groepen schaden. Zo vertegenwoordigt internetinhoud onevenredig veel blanke mannen uit ontwikkelde landen (67% van de Reddit-gebruikers in de VS is man).

2. Afwezigheid van werkelijk taalbegrip

De auteurs stellen dat LLM's geen werkelijk taalbegrip bezitten. Ze verwijzen naar de theorie dat taal een tekensysteem is waarbij de vorm (het woord) onlosmakelijk verbonden is met de betekenis (de inhoud). De trainingsgegevens voor LLM's bevatten alleen de vorm, waardoor het model geen toegang heeft tot de betekenis. Daarom imiteren LLM's slechts zinvolle spraak.

3. Synthetische tekst en potentiële schade

Omdat LLM's grammaticaal correcte en overtuigende tekst genereren, zijn mensen geneigd er betekenis aan toe te schrijven en er vertrouwen in te stellen. Dit schept het risico van verspreiding van desinformatie, haattaal en oplichting. Hoe volmaakter de imitatie, hoe groter het risico dat mensen de capaciteiten van AI overschatten en kritieke beslissingen aan het systeem overlaten.

Wetenschappelijke invloed en controverse rondom de publicatie

Het artikel werd het middelpunt van een groot schandaal bij Google, waar coauteurs Timnit Gebru en Margaret Mitchell op dat moment werkzaam waren. Eind 2020 eiste het management van Google tijdens de interne peer review dat de auteurs het artikel zouden intrekken of de namen van Google-medewerkers eruit zouden verwijderen.

Timnit Gebru, een vooraanstaand onderzoeker op het gebied van AI-ethiek, weigerde aan dit verzoek te voldoen, wat leidde tot haar ontslag bij Google in december 2020. In februari 2021 werd ook Margaret Mitchell ontslagen, nadat zij Gebru had gesteund. Deze gebeurtenissen zorgden voor brede maatschappelijke verontwaardiging. Meer dan 2200 Google-medewerkers en duizenden vertegenwoordigers uit de academische wereld ondertekenden een protestbrief, waarin ze het bedrijf beschuldigden van wetenschappelijke censuur en het onderdrukken van onderzoek dat zijn commerciële belangen zou kunnen raken. Uiteindelijk werd het artikel in maart 2021 gepubliceerd op de conferentie FAccT.

Reacties, debatten en evolutie van inzichten

De metafoor «stochastische papegaai» verspreidde zich snel en werd een centraal punt in de debatten over de aard van kunstmatige intelligentie. De American Dialect Society (ADS) koos «stochastic parrot» tot het woord van het jaar op het gebied van AI voor 2023, waarbij het zelfs «ChatGPT» en «LLM» voorbijstreefde.

Kritiek op het concept en bewijs van begrip

Het concept werd betwist door veel vooraanstaande onderzoekers.

• Geoffrey Hinton, een van de «peetvaders» van deep learning, betoogde dat «je een zin moet begrijpen om het volgende woord nauwkeurig te voorspellen». In 2023, nadat hij Google had verlaten, verklaarde hij dat grote modellen al «begrijpen» wat hun wordt geleerd en zelfstandige conclusies kunnen trekken.
• Emergente vermogens: Onderzoek heeft aangetoond dat LLM's bij het bereiken van een bepaalde schaal een plotselinge opkomst van nieuwe vermogens vertonen, zoals het oplossen van rekentaken, die niet expliciet in hen waren ingebouwd.
• Interne wereldmodellen: Een onderzoek uit 2022 toonde aan dat een model dat getraind was om Othello te spelen op basis van tekstuele registraties van zetten, spontaan een interne representatie van het speelbord had ontwikkeld, wat wijst op de vorming van een abstract model van de beschreven wereld.
• Prestaties op benchmarks: Moderne modellen zoals GPT-4 behalen resultaten op menselijk niveau (of daarboven) op complexe professionele examens, wat volgens sommigen onmogelijk is zonder begrip.

Ironisch gebruik en maatschappelijk discours

De term werd zo populair dat zelfs het hoofd van OpenAI, Sam Altman, hem ironisch gebruikte door op Twitter te schrijven: «i am a stochastic parrot, and so r u». Hiermee suggereerde hij dat menselijke spraak ook grotendeels een probabilistische voorspelling van het volgende woord is, waarmee hij de kritiek op AI op de hak nam.

Invloed op het wetenschappelijke discours

De metafoor «stochastische papegaai» blijft centraal staan in de debatten over de mogelijkheden en beperkingen van LLM's. Ze heeft geholpen het probleem van het ontbreken van werkelijk begrip bij taalmodellen te formuleren en heeft de aandacht gevestigd op de risico's die samenhangen met hun ontwikkeling. Tegelijkertijd dwingt de snelle vooruitgang op het gebied van LLM's tot een voortdurende heroverweging van deze metafoor, aangezien de nieuwste modellen steeds complexer gedrag vertonen dat niet past in het beeld van een «betekenisloze papegaai». De term blijft het wetenschappelijke discours beïnvloeden door het belang te benadrukken van kritische analyse van de mogelijkheden van AI-systemen en hun maatschappelijke gevolgen.

Literatuur

• Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
• Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
• Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
• Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
• Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.