BERT (modelo de lenguaje)

BERT (Bidirectional Encoder Representations from Transformers, representaciones de codificador bidireccionales de transformers) es un gran modelo de lenguaje (LLM) para la comprensión del lenguaje natural, desarrollado por investigadores de Google y presentado en 2018. BERT marcó una nueva era en el procesamiento del lenguaje natural (PLN), demostrando un rendimiento sin precedentes en una amplia gama de tareas y estableciendo el paradigma de "preentrenamiento + ajuste fino" (pre-train & fine-tune) como el estándar en la industria.

La innovación clave de BERT es su arquitectura profundamente bidireccional, que permite al modelo tener en cuenta el contexto de una palabra tanto a la izquierda como a la derecha en todas las capas de la red. Esto se logra mediante una nueva tarea de preentrenamiento: el Modelado de Lenguaje Enmascarado (MLM).

Nombre y principio de funcionamiento

El acrónimo BERT significa Bidirectional Encoder Representations from Transformers.

• Bidirectional (Bidireccional): Indica la característica principal del modelo: la capacidad de procesar el contexto de una palabra en ambas direcciones (de izquierda a derecha y de derecha a izquierda) simultáneamente. A diferencia de los modelos unidireccionales (como GPT), que al procesar una palabra solo ven el contexto que la precede, BERT ve la secuencia completa, lo que le permite formar una comprensión más profunda y precisa del significado de la palabra.
• Encoder (Codificador): Significa que BERT utiliza solo la parte codificadora de la arquitectura Transformer. La tarea del codificador es leer la secuencia de texto de entrada y crear una representación contextual rica (un vector) para cada token. BERT no está diseñado para generar texto de forma libre, como los modelos decodificadores.
• Representations (Representaciones): El modelo aprende a crear representaciones numéricas de alta calidad (vectores o embeddings) para palabras y oraciones, que luego pueden utilizarse para resolver diversas tareas de PLN.
• from Transformers: Indica que la arquitectura del modelo se basa completamente en el Transformer.

Historia de su creación

El desarrollo de BERT fue el resultado de varios avances clave en el PLN:

1. Embeddings contextuales: Modelos como Word2vec y GloVe creaban vectores estáticos para las palabras, sin tener en cuenta el contexto. El modelo ELMo (2018) fue un paso adelante, generando representaciones dependientes del contexto mediante redes LSTM bidireccionales; sin embargo, esta bidireccionalidad era "superficial" (una concatenación de dos modelos unidireccionales).
2. Aprendizaje por transferencia y GPT: A mediados de 2018, OpenAI presentó el modelo GPT, que demostró la eficacia de preentrenar un gran modelo Transformer con datos no etiquetados y luego realizar un ajuste fino (fine-tuning) en tareas específicas. Sin embargo, GPT era estrictamente unidireccional (de izquierda a derecha), lo que limitaba sus capacidades en tareas que requerían la comprensión del contexto completo.

Conscientes de estas limitaciones, los investigadores de Google, liderados por Jacob Devlin, desarrollaron BERT para crear un modelo verdaderamente profundo y bidireccional. El artículo sobre BERT se publicó en arXiv en octubre de 2018, y el código y los modelos preentrenados se hicieron públicos, lo que generó un interés explosivo en la comunidad científica. BERT batió récords en 11 benchmarks clave de PLN, incluidos GLUE y SQuAD, y fue calificado como el "momento ImageNet" para el PLN, ya que un único modelo universal podía adaptarse fácilmente a múltiples tareas.

Arquitectura

BERT se basa completamente en la parte codificadora (encoder) de la arquitectura Transformer. Consiste en varias capas idénticas apiladas una sobre otra. Existen dos versiones principales:

• BERT-Base: 12 capas, 12 cabezas de atención, un tamaño de estado oculto de 768 y un número total de parámetros de ~110 millones.
• BERT-Large: 24 capas, 16 cabezas de atención, un tamaño de estado oculto de 1024 y un número total de parámetros de ~340 millones.

Cada capa contiene dos subcapas principales:

1. Mecanismo de autoatención multicabeza (Multi-Head Self-Attention): Permite que cada token en la secuencia de entrada "preste atención" a todos los demás tokens, ponderando su importancia para determinar su propio significado contextual.
2. Red neuronal de avance (Feed-Forward Network): Se aplica a cada token por separado.

Datos de entrada

Para funcionar correctamente, BERT requiere un formato especial para los datos de entrada. La secuencia de tokens que se introduce siempre comienza con un token especial `[CLS]` (classification), que se utiliza para tareas de clasificación de todo el texto. Si se introduce un par de oraciones (por ejemplo, en tareas de sistemas de pregunta-respuesta), se separan con el token `[SEP]` (separator).

La representación final de cada token en la entrada es la suma de tres embeddings:

• Embedding de token: Un vector correspondiente a un token específico del vocabulario (BERT utiliza la tokenización WordPiece).
• Embedding de segmento: Indica a qué oración (la primera o la segunda) pertenece el token.
• Embedding posicional: Indica la posición del token en la secuencia, ya que la arquitectura Transformer por sí sola no tiene en cuenta el orden de las palabras.

Tareas de preentrenamiento

Para garantizar una bidireccionalidad profunda, BERT se entrena en dos tareas únicas simultáneamente.

Modelado de Lenguaje Enmascarado (MLM)

Esta es la innovación clave de BERT. En lugar de predecir la siguiente palabra, como en los modelos de lenguaje estándar, BERT predice palabras "enmascaradas" aleatoriamente en una oración. El proceso es el siguiente:

• Se selecciona aleatoriamente el 15% de los tokens de la secuencia de entrada.
• De este 15%:
  • El 80% se reemplaza por el token especial `[MASK]`.
  • El 10% se reemplaza por un token aleatorio del vocabulario.
  • El 10% permanece sin cambios.

• La tarea del modelo es predecir los valores originales de este 15% de los tokens, basándose en el contexto que los rodea (tanto a la izquierda como a la derecha).

Este esquema obliga al modelo a aprender relaciones semánticas y sintácticas profundas entre las palabras y le permite ser verdaderamente bidireccional.

Predicción de la Siguiente Oración (NSP)

Esta tarea fue diseñada para enseñar a BERT a comprender las relaciones entre oraciones, lo cual es crucial para tareas como los sistemas de pregunta-respuesta o el análisis de implicación textual (NLI). Al modelo se le presenta un par de oraciones (A y B), y debe predecir si la oración B es una continuación lógica de la oración A.

• En el 50% de los casos, B es realmente la siguiente oración del texto original.
• En el 50% de los casos, B es una oración aleatoria tomada de otra parte del corpus.

Investigaciones posteriores (por ejemplo, en el modelo RoBERTa) demostraron que la tarea NSP es menos importante que la MLM y que puede ser omitida en favor de esquemas de entrenamiento más eficientes, pero en el BERT original desempeñó un papel importante.

Aplicación y ajuste fino (Fine-Tuning)

La fortaleza de BERT radica en el paradigma del aprendizaje por transferencia. Después de un preentrenamiento a gran escala y costoso en enormes corpus (Wikipedia + BooksCorpus), el modelo preentrenado se puede ajustar finamente (fine-tune) de manera fácil y rápida para resolver una tarea aplicada específica.

El proceso de ajuste fino generalmente es el siguiente: 1. Se añade una pequeña capa no entrenada, específica para la tarea (por ejemplo, un clasificador para el análisis de sentimiento), a la arquitectura del BERT preentrenado. 2. Todo el modelo (incluidos los pesos de BERT y la nueva capa) se entrena en un pequeño conjunto de datos etiquetados para esa tarea específica.

Ejemplos de tareas para las que se adapta BERT:

• Clasificación de texto (análisis de sentimiento, filtros de spam): Se añade un clasificador a la salida del token `[CLS]`.
• Sistemas de pregunta-respuesta (por ejemplo, SQuAD): El modelo aprende a predecir los tokens de inicio y fin de la respuesta en un texto dado.
• Reconocimiento de entidades nombradas (NER): A la salida de cada token se añade un clasificador que determina si el token es parte de un nombre, organización, fecha, etc.

Variantes y modelos derivados

El éxito de BERT llevó a la aparición de toda una familia de modelos basados en sus ideas:

• RoBERTa (de Facebook AI): Un "BERT robustamente optimizado". No es una nueva arquitectura, sino el resultado de un entrenamiento de BERT más cuidadoso y prolongado: con más datos, sin la tarea NSP y con enmascaramiento dinámico. RoBERTa demostró que el BERT original estaba "subentrenado" y lo superó en todos los principales benchmarks.
• DistilBERT (de Hugging Face): Una versión reducida de BERT, creada mediante la técnica de destilación de conocimiento. DistilBERT es un 40% más pequeño, un 60% más rápido y conserva el 97% del rendimiento de BERT, lo que lo hace ideal para su uso en producción y en dispositivos con recursos limitados.
• ALBERT (A Lite BERT, de Google): Una versión optimizada para reducir el número de parámetros. Utiliza dos técnicas clave: la factorización de embeddings y la compartición de parámetros entre capas (cross-layer parameter sharing). Esto permite crear modelos mucho más grandes con un menor número de parámetros.
• mBERT (Multilingual BERT): Una versión de BERT preentrenada en 104 idiomas simultáneamente. Demostró una sorprendente capacidad para la transferencia de conocimiento interlingüístico.
• Modelos específicos de dominio: Numerosos modelos ajustados con datos de áreas específicas, como BioBERT (biomedicina), SciBERT (textos científicos) y FinBERT (finanzas).
• ModernBERT (2024-2025): Una nueva generación de modelos tipo BERT de las empresas Answer.AI y LightOn, que incluye mejoras arquitectónicas modernas como RoPE (Rotary Position Embeddings) y soporte para contextos más largos (hasta 8192 tokens), manteniendo al mismo tiempo los principios básicos de BERT.

Comparación con otros modelos

Comparación de BERT con otras arquitecturas clave

Modelo	Desarrollador	Arquitectura	Dirección del contexto	Tarea principal
BERT	Google	Codificador	Bidireccional	Comprensión de texto, clasificación, extracción
GPT	OpenAI	Decodificador	Unidireccional (de izquierda a derecha)	Generación de texto, continuación de secuencias
XLNet	Google / CMU	Autorregresivo (permutacional)	Bidireccional (en teoría)	Comprensión de texto (alternativa a MLM)
T5	Google	Codificador-Decodificador	Bidireccional (codificador) + Unidireccional (decodificador)	Transformación universal "texto a texto"

Impacto

BERT provocó una verdadera revolución en el PLN y sentó las bases para muchos desarrollos posteriores:

1. Consolidó el paradigma de "preentrenamiento + ajuste fino" como el enfoque dominante en el PLN.
2. Demostró la importancia del contexto bidireccional profundo para la comprensión del lenguaje.
3. Redujo la barrera de entrada para la creación de sistemas de PLN de alto rendimiento, ya que los investigadores y desarrolladores ya no necesitaban crear arquitecturas complejas desde cero para cada tarea.
4. Fue integrado en la Búsqueda de Google, lo que supuso una de las mayores actualizaciones del motor de búsqueda en toda su historia y demostró de forma tangible la utilidad práctica del modelo.
5. Generó todo un ecosistema de modelos derivados, herramientas e investigaciones ("BERTología"), convirtiéndose en uno de los trabajos más citados en el campo de la IA.

A pesar de que modelos más nuevos y grandes, como GPT-3 y GPT-4, han superado a BERT en muchos benchmarks (especialmente en tareas generativas), BERT y sus variantes siguen siendo una herramienta potente y ampliamente utilizada para tareas que requieren una comprensión profunda del texto.

Enlaces externos

• Repositorio oficial de BERT en GitHub
• Anuncio de BERT en el blog de Google AI
• The Illustrated BERT — explicación visual de la arquitectura de BERT

Bibliografía

• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Peters, M. E. et al. (2018). Deep Contextualized Word Representations. arXiv:1802.05365.
• Liu, Y. et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
• Lan, Z. et al. (2020). ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. arXiv:1909.11942.
• Sanh, V. et al. (2020). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
• Yang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. arXiv:1906.08237.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
• Lee, J. et al. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. arXiv:1901.08746.
• Warner, B. et al. (2024). Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference. arXiv:2412.13663.