Sztochasztikus papagáj

Sztochasztikus papagáj (ang. Stochastic parrot) — ez egy metafora, amelyet a mesterséges intelligencia területén használnak a nagy nyelvi modellek (LLM) leírására olyan rendszerként, amelyek képesek statisztikailag valószínűszerű módon kombinálni nyelvi formákat, de híján vannak azok valódi megértésének.

A kifejezést 2021 márciusában vezette be egy tudományos cikk: „A sztochasztikus papagájok veszélyeiről: lehetnek-e a nyelvi modellek túl nagyok?" (On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?), amelyet a FAccT konferencián publikáltak. A szerzők Emily M. Bender, Timnit Gebru, Angelina McMillan-Major és Margaret Mitchell voltak.

Meghatározás és koncepció

A cikk szerzői szerint a sztochasztikus papagáj „egy rendszer a nyelvi formák véletlenszerű sorozatainak összekapcsolására, amelyek megjelennek a hatalmas mennyiségű tanítási adatban, az összekapcsolódásuk valószínűségi információi alapján, de anélkül, hogy bármilyen kapcsolat lenne a jelentéssel\".

A kifejezés két részből áll:

• Sztochasztikus — az ógörög στοχαστικός szóból („találgatáson alapuló\"), a modern matematikában véletlenszerű valószínűségeloszlás által meghatározott folyamatot jelöl.
• Papagáj — utalás a papagájok azon képességére, hogy utánozzák az emberi beszédet anélkül, hogy megértenék annak jelentését.

A koncepció szerint az LLM-ek, amelyeket arra tanítottak, hogy egy sorozat következő szavát jósolják meg, lényegében bonyolult automatikus kiegészítő rendszerek, amelyek szimbólumokat manipulálnak azok jelentéséhez való hozzáférés nélkül.

Az „On the Dangers of Stochastic Parrots" cikk fő érvei

A munka négy fő kockázati kategóriát azonosít, amelyek a túlzottan nagy nyelvi modellek fejlesztéséhez kapcsolódnak.

1. Megismerhetetlen tanítási adatok

Az LLM-eket hatalmas, annotálatlan, az internetről összegyűjtött adathalmazokon tanítják (például Common Crawl). Az ilyen datasetek elkerülhetetlenül tartalmaznak előítéleteket, mérgező nyelvet és hegemón szempontokat, amelyek kárt okoznak a sérülékeny csoportoknak. Például az internetes tartalmak aránytalanul reprezentálják a fehér férfiakat a fejlett országokból (az amerikai Reddit-felhasználók 67%-a férfi).

2. A nyelv valódi megértésének hiánya

A szerzők azt állítják, hogy az LLM-ek nem rendelkeznek a nyelv valódi megértésével. Hivatkoznak arra az elméletre, amely szerint a nyelv egy jelrendszer, ahol a forma (szó) elválaszthatatlanul kapcsolódik a jelentéshez. Az LLM-ek tanítási adatai csak a formát tartalmazzák, megfosztva a modellt a jelentéshez való hozzáféréstől. Ezért az LLM-ek csupán utánozzák az értelmes beszédet.

3. Szintetikus szöveg és potenciális károk

Mivel az LLM-ek nyelvtanilag helyes és meggyőző szöveget generálnak, az emberek hajlamosak jelentést és megbízhatóságot tulajdonítani nekik. Ez kockázatot teremt a dezinformáció, a gyűlöletbeszéd és a csalás terjedése szempontjából. Minél tökéletesebb az utánzás, annál nagyobb a kockázata annak, hogy az emberek túlbecsülik a mesterséges intelligencia képességeit, és kritikus fontosságú döntéseket bíznak rá.

Tudományos hatás és a publikáció körüli vita

A cikk egy nagy botrány középpontjává vált a Google-nél, ahol az akkori társszerzők, Timnit Gebru és Margaret Mitchell dolgoztak. 2020 végén, a belső lektorálás során a Google vezetése felkérte a szerzőket, hogy vonják vissza a cikket, vagy távolítsák el belőle a Google alkalmazottainak nevét.

Timnit Gebru, a mesterséges intelligencia etikájának vezető kutatója megtagadta ennek a követelésnek a teljesítését, ami 2020 decemberében a Google-tól való elbocsátásához vezetett. 2021 februárjában Margaret Mitchellt is elbocsátották, aki Gebru mellett állt ki. Ezek az események széles körű társadalmi visszhangot váltottak ki. Több mint 2200 Google-alkalmazott és több ezer akadémiai képviselő írt alá tiltakozó levelet, amelyben tudományos cenzúrával és az olyan kutatások elnyomásával vádolták a vállalatot, amelyek érinthetik annak kereskedelmi érdekeit. A cikket végül 2021 márciusában publikálták a FAccT konferencián.

Reakciók, viták és a nézetek alakulása

A „sztochasztikus papagáj" metafora gyorsan elterjedt, és a mesterséges intelligencia természetéről szóló viták központi pontjává vált. Az Amerikai Dialektológiai Társaság (ADS) a „stochastic parrot\" kifejezést választotta az év mesterséges intelligenciával kapcsolatos szavának 2023-ban, ahol megelőzte még a „ChatGPT" és az „LLM" kifejezéseket is.

A koncepció kritikája és a megértés bizonyítékai

A koncepciót számos vezető kutató megkérdőjelezte.

• Geoffrey Hinton, a mélytanulás egyik „keresztapja", azt állította, hogy „a következő szó pontos megjósolásához meg kell érteni a mondatot\". 2023-ban, miután elhagyta a Google-t, kijelentette, hogy a nagy modellek már „megértik\" azt, amire tanítják őket, és önálló következtetéseket vonhatnak le.
• Emergens képességek: A kutatások kimutatták, hogy bizonyos méretarány elérésével az LLM-ek ugrásszerűen megjelenő új képességeket mutatnak, például aritmetikai feladatok megoldását, amelyeket nem ültettek beléjük explicit módon.
• Belső világmodellek: Egy 2022-es tanulmány kimutatta, hogy egy modell, amelyet szöveges lépésjegyzetek alapján tanítottak Othello játszásra, spontán módon kialakított egy belső reprezentációt a játéktábláról, ami arra utal, hogy az általa leírt világ absztrakt modellje alakult ki.
• Teljesítmény benchmarkokon: A modern modellek, mint például a GPT-4, emberi szintű (vagy annál magasabb) eredményeket mutatnak összetett szakmai vizsgákon, ami egyes vélemények szerint megértés nélkül lehetetlen.

Ironikus használat és a társadalmi diskurzus

A kifejezés annyira elterjedt, hogy ironikusan még az OpenAI vezetője, Sam Altman is használta, aki a Twitteren azt írta: „én egy sztochasztikus papagáj vagyok, és te is az vagy\" (i am a stochastic parrot, and so r u). Ezzel arra utalt, hogy az emberi beszéd is nagyrészt valószínűségi következő szó-jóslás, megcsavarva a mesterséges intelligenciával szembeni kritikát.

Hatás a tudományos diskurzusra

A „sztochasztikus papagáj\" metafora továbbra is központi szerepet tölt be az LLM-ek képességeiről és korlátairól szóló vitákban. Segített megfogalmazni a nyelvi modellek valódi megértésének hiányával kapcsolatos problémát, és felhívta a figyelmet a fejlesztésükkel járó kockázatokra. Ugyanakkor az LLM területén tapasztalható gyors fejlődés arra kényszerít, hogy folyamatosan újragondoljuk ezt a metaforát, mivel a legújabb modellek egyre összetettebb viselkedést mutatnak, amely nem illik az „értelmetlen papagáj\" képébe. A kifejezés továbbra is befolyásolja a tudományos diskurzust, hangsúlyozva a mesterséges intelligencia rendszerek képességeinek és társadalmi következményeinek kritikus elemzése fontosságát.

Irodalom

• Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
• Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
• Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
• Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
• Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.