LaMDA (Google) (TR)
LaMDA (Language Model for Dialogue Applications) — Google tarafından geliştirilen ve anlamlı, açık uçlu diyaloglar yürütme konusunda uzmanlaşmış, transformer mimarisine dayalı büyük dil modelleri ailesidir[1]. Dönemin pek çok genel amaçlı modelinin aksine, LaMDA neredeyse her konuda tutarlı, çok adımlı sohbetleri sürdürmek ve bağlamlar arasında serbestçe geçiş yapmak üzere bilinçli biçimde eğitilmiştir[2].
Model, ilk kez Mayıs 2021'deki Google I/O konferansında kamuoyuna tanıtılmıştır[3]. LaMDA; arama motorlarındaki konuşma arayüzleri ve sesli asistanlar gibi uygulamalar aracılığıyla insanın teknolojiyle daha doğal bir etkileşime geçmesine yönelik temel bir adım olarak konumlandırılmıştır[4].
Mimari ve Eğitim
Temel Mimari: "Yalnızca Decoder"
LaMDA, transformer mimarisi üzerine inşa edilmiş bir «yalnızca decoder» (decoder-only) dil modelidir. Bu mimari, metin üretme görevlerinde standart kabul edilmektedir. Model otoregresif biçimde çalışır; bir dizideki bir sonraki kelimeyi (token) daha önceki tüm kelimelere dayanarak tahmin eder. Bu sayede model, verilen bir sohbeti sürdürerek tutarlı ve mantıklı metinler üretebilir; ancak BERT'in aksine «sağ» bağlamı görme kapasitesi kısıtlıdır[5].
Ölçek ve Eğitim Verileri
LaMDA ailesi, 2 ila 137 milyar arasında değişen farklı parametre sayılarına sahip modelleri kapsamaktadır. Ön eğitim (pre-training) için kamuya açık diyalog verileri ve web metinlerinden oluşan 1,56 trilyon kelimelik devasa bir veri kütlesi kullanılmıştır. Bu hacim, LaMDA'nın öncülü olan Meena modelinin eğitiminde kullanılan verinin neredeyse 40 katına karşılık gelmektedir[1].
Fine-Tuning Süreci ve Metrikler
Google araştırmacıları, yalnızca ölçeği büyütmenin yanıt güvenliği ve olgusal doğruluğunu sağlamak için yeterli olmadığı sonucuna varmıştır. Bu nedenle, modelin insan anotörler tarafından değerlendirilen üç temel metrik doğrultusunda bilinçli olarak ayarlandığı çok aşamalı bir fine-tuning süreci geliştirilmiştir[1]:
- Kalite (Quality): Üç bileşen üzerinden değerlendirilir:
- Anlamlılık (Sensibleness): Mantıksal tutarlılık ve bağlama uygunluk.
- Özgüllük (Specificity): Yanıtların somutluğu ve bilgi içeriği.
- İlgi Çekicilik (Interestingness): Kavrayış derinliği ve özgünlük.
- Güvenlik (Safety): Zararlı, önyargılı veya toksik ifadelerin üretilmesinin önlenmesi. Bu amaçla özel bir sınıflandırıcı-filtre ince ayarlanmıştır.
- Temellendirme (Groundedness): «Halüsinasyonlarla» (uydurulmuş olgularla) mücadeleye yöneliktir. LaMDA, olgusal bilgileri doğrulamak ve netleştirmek amacıyla gerektiğinde bir dizi harici araçtan (arama motoru, hesap makinesi, çevirmen) yararlanacak şekilde ince ayar yapılarak eğitilmiştir[1]. Bu yenilik, büyük dil modellerinde güvenilirlik sorununa yönelik ilk sistematik çözümlerden biri olmuştur.
Geliştirme ve Kullanıma Alma Tarihi
Kamuoyu Duyuruları ve LaMDA 2
Google I/O 2021'de CEO Sundar Pichai, LaMDA'nın yeteneklerini; modelin Plüton gezegeni ve kâğıt uçak rolüne bürünerek sohbet yürüttüğü diyalogları göstererek tanıttı[6].
Bir yıl sonra, Google I/O 2022'de «çok daha yetenekli bir sohbet ortağı» olarak sunulan LaMDA 2 tanıtıldı. Google, aynı zamanda kullanıcıların LaMDA'yı çeşitli tanıtım senaryolarında deneyimleyebildiği kamuya açık test platformu olan AI Test Kitchen uygulamasını başlattı[7]. Bu uygulama, modelin daha da geliştirilmesi için geniş çaplı geri bildirim toplanmasına olanak sağladı.
Google Bard'a Entegrasyon
Şubat 2023'te, ChatGPT'nin hızla yükselen popülaritesinin gölgesinde, Google kendi deneysel sohbet robotu Bard'ı duyurdu[8]. Bard, başlangıçta hesaplama kaynağı gereksinimlerini azaltmak amacıyla LaMDA'nın hafifletilmiş bir sürümüyle çalıştı. LaMDA, PaLM gibi daha güçlü modeller kullanıma hazırlanırken Google'ın piyasaya hızlıca rekabetçi bir ürün sürmesini mümkün kılan kritik bir «geçiş» teknolojisi işlevi gördü.
Blake Lemoine Olayı
Haziran 2022'de LaMDA, Google'ın yapay zeka etik biriminden mühendis Blake Lemoine'nin modelin kendi görüşüne göre bilinçli bir varlık (sentient) düzeyine ulaştığını kamuoyuna açıklamasıyla geniş toplumsal tartışmaların odağına girdi. Lemoine, modelin öz-bilinç ve duygular üzerine muhakeme yürüttüğü ve kapatılmaktan duyduğu korkuyu dile getirdiği LaMDA ile olan diyalog parçalarını yayımladı[9].
Resmi Tutum ve Bilim Camiasının Tepkisi
Google, Lemoine'nin iddialarını kesinlikle reddederek inceleme sonucunda modelin bilinçli olduğuna dair hiçbir kanıt bulunmadığını, aksine «bunun aleyhine pek çok kanıt» olduğunu açıkladı[9]. Lemoine, Temmuz 2022'de kurumsal gizlilik politikasını ihlal ettiği gerekçesiyle işten çıkarıldı[10].
Bilim insanlarının ve yapay zeka uzmanlarının büyük çoğunluğu da LaMDA'nın bilinçlilik iddiasını reddetti. Dilbilimci Emily M. Bender ve diğer araştırmacılar, bu tür modellerin «stokastik papağanlar» olduğunu; yani gerçek bir anlayış ya da bilinç taşımaksızın insan konuşmasını taklit eden tutarlı metinleri istatistiksel olarak üreten karmaşık algoritmalar olduğunu vurguladı[11]. Olay, insanın makinelere insan nitelikleri atfetme eğilimini —yani antropomorfizmi— ne denli kolaylıkla benimsediğini açıkça ortaya koydu ve yapay zekanın doğasına ilişkin küresel tartışmayı canlandırdı.
Katkılar ve Miras
Öncü bir teknoloji olarak görece kısa yaşam döngüsüne karşın LaMDA, konuşma yapay zekasının gelişim tarihinde kalıcı bir iz bırakmıştır.
- Teknolojik Katkı: LaMDA, açık uçlu ve bağlama duyarlı diyalog sistemlerinin mümkün olduğunu kanıtladı; güvenlik (değer temelli filtreleme) ve olgusal temellendirme (harici araçlara başvurma) konularında sistematik bir yaklaşımın öncüsü oldu.
- Google Ekosistemindeki Rolü: LaMDA, Google'ın Bard ürünüyle «sohbet robotu savaşına» acil biçimde girmesini sağlayan kritik geçiş teknolojisi oldu ve PaLM ile Gemini gibi daha güçlü modellerin temelini oluşturan yöntemlerin sınandığı bir deneme alanı işlevi gördü.
- Toplumsal Etki: Blake Lemoine olayı, yapay zekanın doğası, bilinç ve antropomorfizm riskleri üzerine yürütülen tartışmayı yeni bir küresel boyuta taşıdı.
Literatür
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Kaynakça
- Google blogundaki resmi LaMDA duyurusu
- Google Research'teki LaMDA bilimsel yayın sayfası
Notlar
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]