LaMDA (Google) (BG)
LaMDA (Language Model for Dialogue Applications) — това е семейство от големи езикови модели, базирани на архитектурата transformer, разработено от компанията Google и специализирано в провеждането на смислени, отворени диалози[1]. За разлика от много универсални модели от своето време, LaMDA е целенасочено обучена за поддържане на свързани, многоходови разговори на практически всяка тема, като свободно превключва между контексти[2].
Моделът беше за първи път публично представен на конференцията Google I/O през май 2021 година[3]. LaMDA беше позиционирана като фундаментална стъпка към по-естественото взаимодействие на човека с технологиите, например чрез разговорни интерфейси в търсачки и гласови асистенти[4].
Архитектура и обучение
Фундаментална архитектура: „само декодер"
LaMDA представлява езиков модел от тип „само декодер\" (decoder-only), изграден върху архитектурата transformer. Тази архитектура е стандарт за задачи по генериране на текст. Моделът работи авторегресивно — предсказва следващата дума (token) в последователността въз основа на всички предходни думи. Това му позволява да генерира свързан и логичен текст, продължавайки зададен разговор, но ограничава способността му да вижда „десния" контекст, за разлика от BERT[5].
Мащаб и обучителни данни
Семейството LaMDA включва модели с различен брой параметри — от 2 до 137 милиарда. За предварителното обучение (pre-training) е използван огромен корпус от данни с обем 1,56 трилиона думи, състоящ се от общодостъпни диалогови данни и уеб текстове. Този обем е почти 40 пъти по-голям от данните, използвани за обучение на предшественика на LaMDA — модела Meena[1].
Процес на дообучаване (Fine-Tuning) и метрики
Изследователите на Google стигнаха до извода, че само мащабирането не е достатъчно за осигуряване на безопасност и фактическа точност на отговорите. Затова беше разработен многоетапен процес на дообучаване, в хода на който моделът беше целенасочено настройван по три ключови метрики, оценявани от хора-анотатори[1]:
- Качество (Quality): Оценява се чрез три компонента:
- Осмисленост (Sensibleness)': Логичност и съответствие с контекста.
- Специфичност (Specificity)': Конкретност и информативност на отговорите.
- Интересност (Interestingness)': Проницателност и остроумие.
- Безопасност (Safety): Предотвратяване на генерирането на вредни, предубедени или токсични изказвания. За целта беше дообучен специален класификатор-филтър.
- Обоснованост (Groundedness): Насочена е към борбата с „халюцинациите" (измислени факти). LaMDA беше дообучена при необходимост да се обръща към набор от външни инструменти (търсачка, калкулатор, преводач) за проверка и уточняване на фактическа информация[1]. Тази иновация се превърна в едно от първите системни решения на проблема с достоверността в големите езикови модели.
История на разработката и внедряването
Публични анонси и LaMDA 2
На Google I/O 2021 главният изпълнителен директор Сундар Пичай демонстрира възможностите на LaMDA, показвайки диалози, в които моделът водеше разговор от лицето на планетата Плутон и хартиен самолет[6].
Година по-късно, на Google I/O 2022, беше представена LaMDA 2, която стана „още по-съвършен събеседник". Едновременно с това Google пусна приложението AI Test Kitchen — „лаборатория" за публично тестване, където потребителите можеха да изпробват LaMDA в няколко демонстрационни сценария[7]. Това позволи да се събере мащабна обратна връзка за по-нататъшното усъвършенстване на модела.
Интеграция в Google Bard
През февруари 2023 година, на фона на стремителния растеж на популярността на ChatGPT, Google обяви стартирането на собствения си експериментален чатбот Bard[8]. Първоначално Bard работеше на облекчена версия на LaMDA, за да се намалят изискванията към изчислителните ресурси. LaMDA послужи като ключова „преходна" технология, позволила на Google бързо да изведе на пазара конкурентоспособен продукт, докато се подготвяше внедряването на по-мощни модели като PaLM.
Инцидентът с Блейк Лемоан
През юни 2022 година LaMDA се оказа в центъра на широка обществена дискусия, след като инженерът от отдела по етика на ИИ в Google Блейк Лемоан публично заяви, че моделът, по негово мнение, е достигнал нивото на разумно същество (sentient). Той публикува откъси от диалозите си с LaMDA, в които моделът разсъждаваше за самосъзнанието, чувствата и изразяваше страх от изключване[9].
Официална позиция и реакция на научната общност
Google решително опровергна твърденията на Лемоан, заявявайки, че след проверка не са открити никакви доказателства за разумността на модела, а напротив — има „многобройни свидетелства против това"[9]. През юли 2022 година Лемоан беше уволнен за нарушение на корпоративната политика за поверителност[10].
Подавляващото мнозинство от учени и експерти по ИИ също отхвърлиха идеята за разумността на LaMDA. Лингвистът Емили М. Бендер и други изследователи подчертаха, че подобни модели са „стохастични папагали" — сложни алгоритми, които статистически формират свързани текстове, имитирайки човешката реч, но без истинско разбиране или съзнание[11]. Инцидентът нагледно демонстрира колко лесно човек се поддава на антропоморфизъм, приписвайки на машините човешки качества, и стимулира глобална дискусия за природата на ИИ.
Принос и наследство
Въпреки сравнително краткия си жизнен цикъл като флагманска технология, LaMDA остави значителна следа в историята на развитието на разговорния ИИ.
- Технологичен принос: LaMDA демонстрира възможността за създаване на отворени, контекстно-зависими диалогови системи и стана пионер в системния подход за осигуряване на безопасност (филтриране на базата на ценности) и фактическа обоснованост (обръщане към външни инструменти).
- Роля в екосистемата на Google: LaMDA се превърна в критично важна преходна технология, която позволи на Google спешно да се включи в „войната на чатботовете" с продукта Bard и послужи като изпитателен полигон за методи, залегнали в основата на по-мощни модели като PaLM и Gemini.
- Обществено влияние: Инцидентът с Блейк Лемоан издигна дискусията за природата на ИИ, съзнанието и рисковете от антропоморфизъм на ново глобално ниво.
Препратки
- Официален анонс на LaMDA в блога на Google
- Страница на научната публикация за LaMDA в Google Research
Литература
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Бележки
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Официальный блог Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Официальный блог Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Официальный блог Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]