LaMDA (Google) (ES)
LaMDA (Language Model for Dialogue Applications) es una familia de grandes modelos de lenguaje basados en la arquitectura Transformer, desarrollada por Google y especializada en mantener diálogos coherentes y abiertos[1]. A diferencia de muchos modelos de propósito general de su tiempo, LaMDA fue entrenada específicamente para sostener conversaciones coherentes y de múltiples turnos sobre prácticamente cualquier tema, cambiando de contexto con fluidez[2].
El modelo fue presentado públicamente por primera vez en la conferencia Google I/O en mayo de 2021[3]. LaMDA se posicionó como un paso fundamental hacia una interacción más natural entre humanos y tecnología, por ejemplo, a través de interfaces conversacionales en la búsqueda y los asistentes de voz[4].
Arquitectura y entrenamiento
Arquitectura fundamental: «solo decodificador»
LaMDA es un modelo de lenguaje del tipo «solo decodificador» (decoder-only), construido sobre la arquitectura Transformer. Esta arquitectura es un estándar para tareas de generación de texto. El modelo opera de manera autorregresiva: predice la siguiente palabra (token) en una secuencia basándose en todas las palabras anteriores. Esto le permite generar texto coherente y lógico, continuando una conversación dada, pero limita su capacidad para ver el contexto «derecho», a diferencia de BERT[5].
Escala y datos de entrenamiento
La familia LaMDA incluye modelos con diferentes cantidades de parámetros, desde 2 mil millones hasta 137 mil millones. Para el preentrenamiento (pre-training) se utilizó un enorme corpus de datos de 1,56 billones de palabras, compuesto por datos de diálogo de acceso público y textos web. Este volumen superaba en casi 40 veces los datos utilizados para entrenar al predecesor de LaMDA, el modelo Meena[1].
Proceso de ajuste fino (Fine-Tuning) y métricas
Los investigadores de Google concluyeron que la simple escala no era suficiente para garantizar la seguridad y la precisión fáctica de las respuestas. Por lo tanto, se desarrolló un proceso de ajuste fino multietapa, en el que el modelo se ajustó deliberadamente según tres métricas clave, evaluadas por anotadores humanos[1]:
- Calidad (Quality): Se evalúa a través de tres componentes:
- Sensatez (Sensibleness): Lógica y coherencia con el contexto.
- Especificidad (Specificity): Concreción e informatividad de las respuestas.
- Interés (Interestingness): Perspicacia e ingenio.
- Seguridad (Safety): Prevención de la generación de declaraciones dañinas, sesgadas o tóxicas. Para ello, se entrenó un clasificador-filtro especial.
- Fundamentación (Groundedness): Dirigida a combatir las «alucinaciones» (hechos inventados). LaMDA fue entrenada para, cuando fuera necesario, consultar un conjunto de herramientas externas (motor de búsqueda, calculadora, traductor) para verificar y aclarar la información fáctica[1]. Esta innovación se convirtió en una de las primeras soluciones sistémicas al problema de la veracidad en los grandes modelos de lenguaje.
Historia del desarrollo e implementación
Anuncios públicos y LaMDA 2
En el Google I/O 2021, el CEO Sundar Pichai demostró las capacidades de LaMDA mostrando diálogos en los que el modelo conversaba desde la perspectiva del planeta Plutón y de un avión de papel[6].
Un año después, en el Google I/O 2022, se presentó LaMDA 2, que se convirtió en un «interlocutor aún más avanzado». Al mismo tiempo, Google lanzó la aplicación AI Test Kitchen, un «laboratorio» para pruebas públicas donde los usuarios podían experimentar con LaMDA en varios escenarios de demostración[7]. Esto permitió recopilar una gran cantidad de comentarios para mejorar aún más el modelo.
Integración en Google Bard
En febrero de 2023, en medio del rápido crecimiento de la popularidad de ChatGPT, Google anunció el lanzamiento de su propio chatbot experimental, Bard[8]. Inicialmente, Bard funcionaba con una versión ligera de LaMDA para reducir los requisitos computacionales. LaMDA sirvió como una tecnología de «transición» clave, permitiendo a Google lanzar rápidamente un producto competitivo al mercado mientras se preparaban para implementar modelos más potentes, como PaLM.
El incidente con Blake Lemoine
En junio de 2022, LaMDA se encontró en el centro de un amplio debate público después de que Blake Lemoine, un ingeniero del departamento de ética de IA de Google, declarara públicamente que, en su opinión, el modelo había alcanzado un nivel de conciencia (sentient). Publicó fragmentos de sus diálogos con LaMDA, en los que el modelo reflexionaba sobre la autoconciencia, los sentimientos y expresaba miedo a ser desconectado[9].
Posición oficial y reacción de la comunidad científica
Google refutó enérgicamente las afirmaciones de Lemoine, declarando que, tras una revisión, no se encontraron pruebas de que el modelo fuera consciente y que había «numerosas evidencias en contra»[9]. En julio de 2022, Lemoine fue despedido por violar la política de confidencialidad de la empresa[10].
La gran mayoría de los científicos y expertos en IA también rechazaron la idea de la conciencia de LaMDA. La lingüista Emily M. Bender y otros investigadores destacaron que tales modelos son «loros estocásticos», algoritmos complejos que generan estadísticamente textos coherentes imitando el habla humana, pero sin una verdadera comprensión o conciencia[11]. El incidente demostró claramente la facilidad con la que los humanos tienden al antropomorfismo, atribuyendo cualidades humanas a las máquinas, y estimuló un debate global sobre la naturaleza de la IA.
Contribución y legado
A pesar de su ciclo de vida relativamente corto como tecnología insignia, LaMDA dejó una huella significativa en la historia del desarrollo de la IA conversacional.
- Contribución tecnológica: LaMDA demostró la viabilidad de crear sistemas de diálogo abiertos y dependientes del contexto, y fue pionera en un enfoque sistemático para garantizar la seguridad (filtrado basado en valores) y la fundamentación fáctica (consulta a herramientas externas).
- Papel en el ecosistema de Google: LaMDA se convirtió en una tecnología de transición crucial que permitió a Google entrar de emergencia en la «guerra de los chatbots» con su producto Bard y sirvió como campo de pruebas para métodos que formaron la base de modelos más potentes como PaLM y Gemini.
- Impacto social: El incidente con Blake Lemoine elevó el debate sobre la naturaleza de la IA, la conciencia y los riesgos del antropomorfismo a un nuevo nivel global.
Enlaces externos
- Anuncio oficial de LaMDA en el blog de Google
- Página de la publicación científica sobre LaMDA en Google Research
Literatura
- Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
- So, D. R. et al. (2019). The Evolved Transformer. arXiv:1901.11117.
- Zhang, Y. et al. (2020). DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. arXiv:1911.00536.
- Adiwardana, D. et al. (2020). Towards a Human-like Open-Domain Chatbot. arXiv:2001.09977.
- Roller, S. et al. (2021). Recipes for Building an Open-Domain Chatbot. arXiv:2004.13637.
- Lin, S. et al. (2021). TruthfulQA: Measuring How Models Mimic Human Falsehoods. arXiv:2109.07958.
- Thoppilan, R. et al. (2022). LaMDA: Language Models for Dialog Applications. arXiv:2201.08239.
- Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
Referencias
- ↑ 1.0 1.1 1.2 1.3 Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; et al. «LaMDA: Language Models for Dialog Applications». arXiv. [1]
- ↑ Collins, Eli; Ghahramani, Zoubin. «LaMDA: our breakthrough conversation technology». Google AI Blog. [2]
- ↑ Peters, Jay. «Google I/O 2021: the 14 biggest announcements». The Verge. [3]
- ↑ «Google I/O 2021: Being helpful in moments that matter». Blog oficial de Google. [4]
- ↑ «What is LaMDA? Google's AI Explained and How It Led to PaLM 2». DataCamp. [5]
- ↑ Vincent, James. «Google showed off its next-generation AI by talking to Pluto and a paper airplane». The Verge. [6]
- ↑ «Google I/O 2022: Advancing knowledge and computing (Keynote)». Blog oficial de Google. [7]
- ↑ Pichai, Sundar. «An important next step on our AI journey». Blog oficial de Google. [8]
- ↑ 9.0 9.1 Luscombe, Richard. «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. [9]
- ↑ «Google fires software engineer who claims AI chatbot is sentient». The Guardian. [10]
- ↑ Tiku, Nitasha. «The Google engineer who thinks the company's AI has come to life». The Washington Post. [11]