LaMDA (Google) (PL)
LaMDA (Language Model for Dialogue Applications) — to rodzina dużych modeli językowych opartych na architekturze transformer, opracowana przez firmę Google i wyspecjalizowana w prowadzeniu sensownych, otwartych dialogów[1]. W przeciwieństwie do wielu modeli ogólnego przeznaczenia swojej epoki, LaMDA była celowo trenowana do podtrzymywania spójnych, wieloetapowych rozmów na niemal dowolny temat, swobodnie przełączając się między kontekstami[2].
Model został po raz pierwszy publicznie zaprezentowany na konferencji Google I/O w maju 2021 roku[3]. LaMDA była pozycjonowana jako fundamentalny krok w kierunku bardziej naturalnej interakcji człowieka z technologią, na przykład poprzez konwersacyjne interfejsy w wyszukiwaniu i asystentach głosowych[4].
Architektura i trening
Fundamentalna architektura: „tylko dekoder"
LaMDA jest modelem językowym typu „tylko dekoder" (decoder-only), zbudowanym na architekturze transformer. Architektura ta jest standardem dla zadań generowania tekstu. Model działa autoregresywnie — przewiduje następne słowo (token) w sekwencji na podstawie wszystkich poprzednich słów. Pozwala mu to generować spójny i logiczny tekst, kontynuując zadaną rozmowę, lecz ogranicza jego zdolność do widzenia kontekstu „prawostronnego", w odróżnieniu od BERT[5].
Skala i dane treningowe
Rodzina LaMDA obejmuje modele o różnej liczbie parametrów, od 2 do 137 miliardów. Do wstępnego treningu (pre-training) wykorzystano ogromny korpus danych o objętości 1,56 biliona słów, składający się z ogólnodostępnych danych dialogowych i tekstów internetowych. Wolumen ten był prawie 40 razy większy niż dane użyte do trenowania poprzedniczki LaMDA, modelu Meena[1].
Proces fine-tuning i metryki
Badacze Google doszli do wniosku, że samo skalowanie nie wystarcza do zapewnienia bezpieczeństwa i faktycznej dokładności odpowiedzi. Dlatego opracowano wieloetapowy proces fine-tuning, w trakcie którego model był celowo dostrajany według trzech kluczowych metryk ocenianych przez ludzkich adnotatorów[1]:
- Jakość (Quality): Oceniana przez trzy składowe:
- Sensowność (Sensibleness): Logiczność i zgodność z kontekstem.
- Szczegółowość (Specificity): Konkretność i informatywność odpowiedzi.
- Interesowność (Interestingness): Przenikliwość i dowcip.
- Bezpieczeństwo (Safety): Zapobieganie generowaniu szkodliwych, stronniczych lub toksycznych wypowiedzi. W tym celu dostrojono specjalny klasyfikator-filtr.
- Ugruntowanie (Groundedness): Ukierunkowane na walkę z „halucynacjami" (wymyślonymi faktami). LaMDA została dostrojona tak, aby w razie potrzeby odwoływać się do zestawu zewnętrznych narzędzi (wyszukiwarka, kalkulator, tłumacz) w celu weryfikacji i uściślenia informacji faktycznych[1]. Ta innowacja stała się jednym z pierwszych systemowych rozwiązań problemu wiarygodności w dużych modelach językowych.
Historia rozwoju i wdrożenia
Publiczne ogłoszenia i LaMDA 2
Na Google I/O 2021 dyrektor generalny Sundar Pichai zademonstrował możliwości LaMDA, pokazując dialogi, w których model prowadził rozmowę w imieniu planety Pluton i papierowego samolotu[6].
Rok później, na Google I/O 2022, zaprezentowano LaMDA 2, która stała się „jeszcze doskonalszym rozmówcą". Jednocześnie Google uruchomiło aplikację AI Test Kitchen — „laboratorium" do publicznych testów, w którym użytkownicy mogli wypróbować LaMDA w kilku scenariuszach demonstracyjnych[7]. Pozwoliło to zebrać szeroko zakrojoną informację zwrotną do dalszego doskonalenia modelu.
Integracja z Google Bard
W lutym 2023 roku, na tle gwałtownego wzrostu popularności ChatGPT, Google ogłosiło uruchomienie własnego eksperymentalnego chatbota Bard[8]. Początkowo Bard działał na uproszczonej wersji LaMDA, aby zmniejszyć zapotrzebowanie na zasoby obliczeniowe. LaMDA posłużyła jako kluczowa „przejściowa" technologia, pozwalając Google szybko wprowadzić na rynek konkurencyjny produkt, podczas gdy przygotowywano do wdrożenia bardziej zaawansowane modele, takie jak PaLM.
Incydent z Blake'iem Lemoine
W czerwcu 2022 roku LaMDA znalazła się w centrum szerokiej debaty publicznej, po tym jak inżynier z działu etyki AI w Google Blake Lemoine publicznie oświadczył, że model — jego zdaniem — osiągnął poziom istoty rozumnej (sentient). Opublikował fragmenty swoich dialogów z LaMDA, w których model rozważał kwestie samoświadomości, uczuć i wyrażał strach przed wyłączeniem[9].
Oficjalne stanowisko i reakcja środowiska naukowego
Google zdecydowanie odrzuciło twierdzenia Lemoine'a, oświadczając, że po przeprowadzeniu weryfikacji nie znaleziono żadnych dowodów na rozumność modelu, a istnieją „liczne świadectwa przeciwko temu"[9]. W lipcu 2022 roku Lemoine został zwolniony za naruszenie korporacyjnej polityki poufności[10].
Przytłaczająca większość naukowców i ekspertów w dziedzinie AI również odrzuciła ideę o rozumności LaMDA. Językoznawczyni Emily M. Bender i inni badacze podkreślili, że tego rodzaju modele są „stochastycznymi papugami" — złożonymi algorytmami, które statystycznie tworzą spójne teksty, imitując ludzką mowę, lecz bez prawdziwego rozumienia ani świadomości[11]. Incydent wyraźnie pokazał, jak łatwo człowiek skłania się ku antropomorfizmowi, przypisując maszynom ludzkie cechy, i pobudził globalną dyskusję na temat natury AI.
Wkład i dziedzictwo
Pomimo stosunkowo krótkiego cyklu życia jako technologia flagowa, LaMDA pozostawiła znaczący ślad w historii rozwoju konwersacyjnej AI.
- Wkład technologiczny: LaMDA zademonstrowała możliwość tworzenia otwartych, kontekstowo zależnych systemów dialogowych i stała się pionierem w systemowym podejściu do zapewniania bezpieczeństwa (filtrowanie oparte na wartościach) oraz faktycznego ugruntowania (odwoływanie się do zewnętrznych narzędzi).
- Rola w ekosystemie Google: LaMDA stała się krytycznie ważną technologią przejściową, która umożliwiła Google nagłe wejście w „wojnę chatbotów" z produktem Bard i posłużyła jako poligon doświadczalny dla metod, które stały się podstawą bardziej zaawansowanych modeli, takich jak PaLM i Gemini.
- Wpływ społeczny: Incydent z Blake'iem Lemoine'em wyniósł dyskusję o naturze AI, świadomości i ryzykach antropomorfizmu na nowy, globalny poziom.
Linki
- Oficjalne ogłoszenie LaMDA na blogu Google
- Strona publikacji naukowej o LaMDA na Google Research
Literatura
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Przypisy
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]