Stochastic parrot (TR)
Stokastik Papağan (İng. Stochastic parrot) — yapay zeka alanında büyük dil modellerini (LLM) tanımlamak için kullanılan bir metafördür; bu modeller dilsel biçimleri istatistiksel olarak akla yatkın biçimde birleştirebildikleri hâlde, bu biçimlerin gerçek anlamından yoksundurlar[1].
Terim, Mart 2021'de FAccT konferansında yayımlanan «Stokastik Papağanların Riskleri Üzerine: Dil Modelleri Çok Büyük Olabilir mi?» (On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?) başlıklı bilimsel makalede ortaya konmuştur. Makalenin yazarları Emily M. Bender, Timnit Gebru, Angelina McMillan-Major ve Margaret Mitchell'dır[2].
Tanım ve Kavram
Makalenin yazarlarına göre stokastik papağan, «kapsamlı eğitim verilerinde gözlemlenen dilsel biçim dizilerini, bunların nasıl bir araya geldiğine dair olasılıksal bilgiye göre rastlantısal biçimde birleştiren, ancak anlama hiçbir bağı bulunmayan bir sistem»dir[2].
Terim iki bileşenden oluşur:
- Stokastik — Antik Yunanca στοχαστικός («tahmine dayalı») sözcüğünden gelmekte olup modern matematikte rastlantısal olasılık dağılımıyla belirlenen süreci ifade eder[1].
- Papağan — papağanların anlamını kavramaksızın insan konuşmasını taklit etme becerisine yapılan bir gönderme[1].
Kavram, bir sonraki sözcüğü tahmin etmek üzere eğitilen LLM'lerin özünde semboller üzerinde, anlamlarına erişim olmaksızın işlem yapan karmaşık otomatik tamamlama sistemleri olduğunu öne sürer.
«On the Dangers of Stochastic Parrots» Makalesinin Temel Argümanları
Çalışmada, aşırı büyük dil modellerinin geliştirilmesiyle ilgili dört ana risk kategorisi tespit edilmiştir.
1. Bilinemez Eğitim Verileri
LLM'ler, internet üzerinden derlenen devasa ve açıklama eklemesiz veri kümelerinde (örneğin Common Crawl) eğitilir. Bu tür dataset'ler kaçınılmaz olarak önyargılar, zararlı dil ve savunmasız gruplara zarar veren hegemonik bakış açıları içerir. Örneğin internet içeriği, gelişmiş ülkelerdeki beyaz erkekleri orantısız biçimde temsil etmektedir (Reddit kullanıcılarının ABD'de %67'si erkektir)[2].
2. Gerçek Dil Anlayışının Yokluğu
Yazarlar, LLM'lerin gerçek anlamda dil anlayışına sahip olmadığını ileri sürmektedir. Dilin, biçimin (sözcüğün) anlamla (içerikle) ayrılmaz biçimde bağlı olduğu bir göstergeler sistemi olduğu teorisine dayanmaktadırlar. LLM'lerin eğitim verileri yalnızca biçimi içermekte, modeli anlama erişimden yoksun bırakmaktadır. Bu nedenle LLM'ler yalnızca anlamlı konuşmayı taklit etmektedir.
3. Yapay Metin ve Olası Zararlar
LLM'ler dilbilgisel açıdan doğru ve ikna edici metinler ürettiğinden, insanlar bu metinlere anlam yükleme ve güvenme eğilimindedir. Bu durum, dezenformasyon, nefret söylemi ve dolandırıcılığın yayılması riskini doğurmaktadır. Taklit ne kadar mükemmelleşirse, insanların yapay zekanın yeteneklerini aşırı değerlendirme ve ona kritik kararlar emanet etme riski de o denli artar.
Yayının Bilimsel Etkisi ve Tartışma Süreci
Makale, o dönemde ortak yazarlar Timnit Gebru ve Margaret Mitchell'ın çalıştığı Google'da büyük bir skandalin odağı hâline geldi. 2020 yılı sonunda şirket içi değerlendirme sürecinde Google yönetimi, yazarlardan makaleyi geri çekmelerini ya da Google çalışanlarının isimlerini makaleden kaldırmalarını talep etti[3].
Yapay zeka etiği alanının önde gelen araştırmacısı Timnit Gebru bu talebi reddetmesi üzerine Aralık 2020'de Google'dan ihraç edildi. Şubat 2021'de ise Gebru'yu destekleyen Margaret Mitchell de işten çıkarıldı[4]. Bu gelişmeler geniş kamuoyu yankısı uyandırdı. Google'ın 2.200'den fazla çalışanı ve binlerce akademisyen, şirketi ticari çıkarlarını etkileyebilecek araştırmaları bilimsel sansür ve bastırmayla suçlayan bir protesto mektubunu imzaladı[5]. Makale sonunda Mart 2021'de FAccT konferansında yayımlandı.
Tepkiler, Tartışmalar ve Görüşlerin Evrimi
«Stokastik papağan» metaforu hızla yaygınlaştı ve yapay zekanın doğasına ilişkin tartışmaların merkezine oturdu. Amerikan Diyalektoloji Derneği (ADS), «stochastic parrot» ifadesini 2023 yılının yapay zeka alanındaki kelimesi seçti; bu terim «ChatGPT» ve «LLM» gibi adayları bile geride bıraktı[1].
Kavrama Yönelik Eleştiriler ve Anlayışın Kanıtları
Kavram, pek çok önde gelen araştırmacı tarafından sorgulandı.
- Geoffrey Hinton, derin öğrenmenin «vaftiz babalarından» biri olarak «bir sonraki sözcüğü doğru tahmin edebilmek için cümleyi anlamak gerektiğini» savundu[1]. 2023'te Google'dan ayrılmasının ardından büyük modellerin kendilerine öğretilen şeyleri artık «anladığını» ve bağımsız çıkarımlar yapabildiğini açıkladı[6].
- Emergent yetenekler: Araştırmalar, LLM'lerin belirli bir ölçeğe ulaştığında açıkça yerleştirilmemiş aritmetik problem çözme gibi yeni yeteneklerin ani sıçramayla ortaya çıktığını gösterdi[7].
- İç dünya modelleri: 2022 tarihli bir araştırma, metin tabanlı hamle kayıtlarına dayanarak Othello oynamak üzere eğitilen bir modelin, oyun tahtasına ilişkin içsel bir temsil oluşturduğunu kendiliğinden geliştirdiğini ortaya koydu; bu durum, tanımlanan dünyanın soyut bir modelinin geliştiğine işaret etmektedir[3].
- Benchmark performansı: GPT-4 gibi güncel modeller, karmaşık profesyonel sınavlarda insan düzeyinde ya da üzerinde sonuçlar sergilemektedir; bu durum bazı araştırmacılara göre gerçek bir anlayış olmadan mümkün değildir[8].
İronik Kullanım ve Toplumsal Söylem
Terim o denli popüler hâle geldi ki OpenAI'nin CEO'su Sam Altman bile Twitter'da «ben bir stokastik papağanım, siz de öylesiniz» (i am a stochastic parrot, and so r u) yazarak bu ifadeyi ironik biçimde kullandı. Bununla insan konuşmasının da büyük ölçüde bir sonraki sözcüğün olasılıksal tahmini olduğuna ima etti ve yapay zekaya yönelik eleştiriyi espri yoluyla geri çevirdi[1].
Bilimsel Söyleme Etkisi
«Stokastik papağan» metaforu, LLM'lerin yetenekleri ve sınırları üzerine yürütülen tartışmaların merkezinde kalmaya devam etmektedir. Dil modellerinin gerçek anlayıştan yoksunluğu sorununu netleştirmeye ve bu modellerin geliştirilmesiyle ilişkili risklere dikkat çekmeye katkıda bulunmuştur. Öte yandan LLM alanındaki hızlı ilerleme, metaforun sürekli yeniden değerlendirilmesini zorunlu kılmaktadır; zira en yeni modeller «anlamsız papağan» imgesine sığmayan giderek daha karmaşık davranışlar sergilemektedir. Terim, yapay zeka sistemlerinin yeteneklerinin ve toplumsal sonuçlarının eleştirel biçimde çözümlenmesinin önemini vurgulayarak bilimsel söylemi etkilemeyi sürdürmektedir[8].
Kaynakça
- Bender, E. M.; Gebru, T.; McMillan-Major, A.; Mitchell, M. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. FAccT 2021.
- Floridi, L.; Chiriatti, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds & Machines, 30(4), 681-694.
- Bommasani, R. et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Weidinger, L. et al. (2021). Ethical and Social Risks of Harm from Language Models. arXiv:2112.04359.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
- Wei, J. et al. (2022). Emergent Abilities of Large Language Models. arXiv:2206.07682.
- Perez, E. et al. (2022). Red Teaming Language Models with Language Models. EMNLP 2022.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
- Du, Z. et al. (2024). Understanding Emergent Abilities of Language Models from the Loss Perspective. arXiv:2403.15796.
- Gerstgrasser, M. et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. arXiv:2404.01413.
Notlar
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent. Mint. [1]
- ↑ 2.0 2.1 2.2 Bender, Emily M., et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». Conference on Fairness, Accountability, and Transparency (FAccT '21). [2]
- ↑ 3.0 3.1 «Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI». Хабр. [3]
- ↑ Hao, Karen. «We read the paper that forced Timnit Gebru out of Google. Here's what it says». MIT Technology Review. [4]
- ↑ Vincent, James. «Timnit Gebru's actual paper may explain why Google ejected her». The Verge. [5]
- ↑ «Geoffrey Hinton on the promise, risks of artificial intelligence». 60 Minutes - CBS News. [6]
- ↑ «Stochastic parrot». Wikipedia. [7]
- ↑ 8.0 8.1 «The debate over understanding in AI's large language models». PMC. [8]