Stochastic parrot (RO)

Papagalul stochastic (engl. Stochastic parrot) — este o metaforă utilizată în domeniul inteligenței artificiale pentru a descrie modelele lingvistice de mari dimensiuni (LLM) ca sisteme capabile să combine forme lingvistice în mod statistic plauzibil, dar lipsite de o înțelegere autentică a semnificației acestora.

Termenul a fost introdus în martie 2021 într-un articol științific intitulat „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?", publicat la conferința FAccT. Autorii sunt Emily M. Bender, Timnit Gebru, Angelina McMillan-Major și Margaret Mitchell.

Definiție și concept

Conform autorilor articolului, papagalul stochastic reprezintă „un sistem pentru îmbinarea haotică a secvențelor de forme lingvistice observate în datele sale extinse de antrenament, pe baza informațiilor probabilistice despre modul în care acestea se combină, dar fără nicio legătură cu semnificația".

Termenul este alcătuit din două părți:

• Stochastic — din grecescul vechi στοχαστικός („bazat pe presupuneri"), în matematica modernă desemnând un proces determinat de o distribuție aleatoare de probabilități.
• Papagal — referire la capacitatea papagalilor de a imita vorbirea umană fără a-i înțelege semnificația.

Conceptul susține că LLM-urile, antrenate să prezică următorul cuvânt dintr-o secvență, sunt în esență sisteme complexe de autocompletare care manipulează simboluri fără acces la semnificația lor.

Principalele argumente ale articolului „On the Dangers of Stochastic Parrots"

Lucrarea identifică patru categorii principale de riscuri asociate dezvoltării modelelor lingvistice excesiv de mari.

1. Date de antrenament imposibil de cunoscut în totalitate

LLM-urile sunt antrenate pe seturi de date imense, neanotate, colectate de pe internet (de exemplu, Common Crawl). Astfel de dataset-uri conțin inevitabil prejudecăți, limbaj toxic și perspective hegemonice care dăunează grupurilor vulnerabile. De exemplu, conținutul de pe internet reprezintă disproporționat bărbați albi din țări dezvoltate (67% dintre utilizatorii Reddit din SUA sunt bărbați).

2. Absența unei înțelegeri autentice a limbajului

Autorii susțin că LLM-urile nu posedă o înțelegere autentică a limbajului. Aceștia se referă la teoria conform căreia limbajul este un sistem de semne în care forma (cuvântul) este inseparabil legată de semnificație (sens). Datele de antrenament pentru LLM-uri conțin doar forma, privând modelul de acces la semnificație. Prin urmare, LLM-urile nu fac decât să imite vorbirea semnificativă.

3. Textul sintetic și potențialele prejudicii

Deoarece LLM-urile generează text gramatical corect și convingător, oamenii tind să îi atribuie sens și să aibă încredere în el. Aceasta creează riscul răspândirii dezinformării, a discursului de ură și a fraudelor. Cu cât imitația este mai perfectă, cu atât este mai mare riscul că oamenii vor supraestima capacitățile IA și vor delega acestora decizii de importanță critică.

Impactul științific și controversa din jurul publicației

Articolul a devenit centrul unui scandal major la Google, unde coautorii Timnit Gebru și Margaret Mitchell lucrau la acea vreme. La sfârșitul anului 2020, în timpul procesului intern de recenzare, conducerea Google a cerut autorilor să retragă articolul sau să elimine din el numele angajaților Google.

Timnit Gebru, cercetătoare principală în domeniul eticii IA, a refuzat să îndeplinească această cerință, ceea ce a dus la concedierea sa din Google în decembrie 2020. În februarie 2021 a fost concediată și Margaret Mitchell, care a luat apărarea lui Gebru. Aceste evenimente au provocat o largă rezonanță publică. Peste 2200 de angajați Google și mii de reprezentanți ai comunității academice au semnat o scrisoare de protest, acuzând compania de cenzură științifică și de suprimarea cercetărilor care ar putea afecta interesele sale comerciale. În cele din urmă, articolul a fost publicat în martie 2021 la conferința FAccT.

Reacții, dezbateri și evoluția perspectivelor

Metafora „papagalului stochastic" s-a răspândit rapid și a devenit punctul central al dezbaterilor despre natura inteligenței artificiale. Societatea Americană de Dialectologie (ADS) a ales „stochastic parrot" drept cuvântul anului în domeniul IA pentru 2023, depășind chiar și „ChatGPT" și „LLM".

Critica conceptului și dovezile înțelegerii

Conceptul a fost contestat de numeroși cercetători de frunte.

• Geoffrey Hinton, unul dintre „nașii" învățării profunde, a susținut că „pentru a prezice cu exactitate următorul cuvânt, trebuie să înțelegi propoziția". În 2023, după ce a părăsit Google, a declarat că modelele mari „înțeleg" deja ceea ce li se predă și pot trage concluzii independente.
• Capacități emergente: Cercetările au arătat că, odată cu atingerea unei anumite scări, LLM-urile demonstrează apariția bruscă a unor noi capacități, precum rezolvarea problemelor aritmetice, care nu le-au fost introduse explicit.
• Modele interne ale lumii: Un studiu din 2022 a arătat că un model antrenat să joace Othello pe baza înregistrărilor text ale mutărilor a format spontan o reprezentare internă a tablei de joc, indicând dezvoltarea unui model abstract al lumii descrise.
• Performanța pe benchmark-uri: Modelele moderne, precum GPT-4, obțin rezultate la nivelul uman (sau superioare) la examene profesionale complexe, ceea ce, în opinia unora, este imposibil fără înțelegere.

Utilizarea ironică și discursul public

Termenul a devenit atât de popular încât a fost folosit ironic chiar de directorul executiv al OpenAI, Sam Altman, care a scris pe Twitter: „eu sunt un papagal stochastic, și tu la fel" (i am a stochastic parrot, and so r u). Prin aceasta a sugerat că și vorbirea umană este în mare măsură o predicție probabilistică a următorului cuvânt, ironizând critica adusă IA.

Influența asupra discursului științific

Metafora „papagalului stochastic" rămâne centrală în dezbaterile despre capacitățile și limitele LLM-urilor. Aceasta a contribuit la formularea problemei absenței unei înțelegeri autentice în modelele lingvistice și a atras atenția asupra riscurilor asociate dezvoltării lor. În același timp, progresul rapid în domeniul LLM-urilor impune o reconsiderare constantă a acestei metafore, deoarece cele mai noi modele demonstrează un comportament tot mai complex, care nu se încadrează în imaginea „papagalului lipsit de sens". Termenul continuă să influențeze discursul științific, subliniind importanța analizei critice a capacităților sistemelor IA și a consecințelor lor sociale.

Bibliografie

• Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
• Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
• Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
• Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
• Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
• Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.