BERT (language model) (PL)

BERT (Bidirectional Encoder Representations from Transformers, dwukierunkowe reprezentacje kodera z transformerów) — to duży model językowy (LLM) do rozumienia języka naturalnego, opracowany przez badaczy Google i zaprezentowany w 2018 roku. BERT zapoczątkował nową erę w przetwarzaniu języka naturalnego (NLP), demonstrując bezprecedensową wydajność na szerokim spektrum zadań i ustanawiając paradygmat „pre-training + fine-tuning" jako standard w branży.

Kluczową innowacją BERT jest głęboko dwukierunkowa architektura, która pozwala modelowi uwzględniać kontekst słowa jednocześnie z lewej i z prawej strony we wszystkich warstwach sieci. Osiągane jest to za pomocą nowego zadania wstępnego trenowania — Masked Language Modeling (MLM).

Naименование i zasada działania

Akronim BERT oznacza Bidirectional Encoder Representations from Transformers.

• Bidirectional (Dwukierunkowy): Wskazuje na główną cechę modelu — zdolność do przetwarzania kontekstu słowa w obu kierunkach (od lewej do prawej i od prawej do lewej) jednocześnie. W przeciwieństwie do jednokierunkowych modeli (takich jak GPT), które podczas przetwarzania słowa widzą tylko poprzedzający je kontekst, BERT widzi całą sekwencję w całości, co pozwala mu tworzyć głębsze i dokładniejsze rozumienie znaczenia słowa.
• Encoder (Koder): Oznacza, że BERT wykorzystuje wyłącznie kodującą część architektury Transformer. Zadaniem kodera jest odczytanie wejściowej sekwencji tekstu i stworzenie dla każdego tokenu bogatej, kontekstualnej reprezentacji (wektora). BERT nie jest przeznaczony do swobodnego generowania tekstu, jak modele-dekodery.
• Representations (Reprezentacje): Model jest trenowany do tworzenia wysokiej jakości numerycznych reprezentacji (wektorów lub embeddingów) dla słów i zdań, które następnie mogą być wykorzystywane do rozwiązywania różnych zadań NLP.
• from Transformers: Wskazuje, że architektura modelu jest w całości oparta na Transformerze.

Historia powstania

Opracowanie BERT było wynikiem kilku kluczowych przełomów w NLP:

1. Kontekstualne embeddingi: Modele takie jak Word2vec i GloVe tworzyły statyczne wektory dla słów, nie uwzględniając kontekstu. Model ELMo (2018) był krokiem naprzód, generując kontekstowo zależne reprezentacje przy użyciu dwukierunkowych sieci LSTM, jednak ta dwukierunkowość była „powierzchowna" (konkatenacja dwóch jednokierunkowych modeli).
2. Transfer learning i GPT: W połowie 2018 roku OpenAI przedstawiła model GPT, który zademonstrował skuteczność wstępnego trenowania dużego modelu transformerowego na nieoznakowanych danych z późniejszym fine-tuningiem na konkretnych zadaniach. Jednak GPT był ściśle jednokierunkowy (od lewej do prawej), co ograniczało jego możliwości w zadaniach wymagających rozumienia pełnego kontekstu.

Uświadamiając sobie te ograniczenia, badacze Google pod kierownictwem Jacoba Devlina opracowali BERT, aby stworzyć naprawdę głęboko dwukierunkowy model. Artykuł o BERT został opublikowany na arXiv w październiku 2018 roku, a kod i wstępnie wytrenowane modele zostały udostępnione publicznie, co wywołało wybuchowe zainteresowanie w środowisku naukowym. BERT pobił rekordy na 11 kluczowych benchmarkach NLP, w tym GLUE i SQuAD, i został nazwany „momentem ImageNet" dla NLP, ponieważ jeden uniwersalny model mógł być łatwo zaadaptowany do wielu zadań.

Architektura

BERT jest w całości oparty na kodującej części (enkoderze) architektury Transformer. Składa się z kilku identycznych warstw ułożonych jedna na drugiej. Istnieją dwie główne wersje:

• BERT-Base: 12 warstw, 12 głowic uwagi, rozmiar stanu ukrytego 768, łączna liczba parametrów ~110 mln.
• BERT-Large: 24 warstwy, 16 głowic uwagi, rozmiar stanu ukrytego 1024, łączna liczba parametrów ~340 mln.

Każda warstwa zawiera dwie główne podwarstwy:

1. Mechanizm wielogłowicowej samo-uwagi (Multi-Head Self-Attention): Pozwala każdemu tokenowi w wejściowej sekwencji „zwracać uwagę" na wszystkie pozostałe tokeny, ważąc ich znaczenie dla określenia własnego kontekstualnego znaczenia.
2. W pełni połączona sieć neuronowa (Feed-Forward Network): Stosowana do każdego tokenu osobno.

Dane wejściowe

Dla poprawnego działania BERT wymaga specjalnego formatowania danych wejściowych. Sekwencja tokenów podawana na wejście zawsze zaczyna się od specjalnego tokenu `[CLS]` (classification), który jest używany do zadań klasyfikacji całego tekstu. Jeśli na wejście podawana jest para zdań (np. w zadaniach systemów pytań i odpowiedzi), są one rozdzielane tokenem `[SEP]` (separator).

Końcowa reprezentacja każdego tokenu na wejściu jest sumą trzech embeddingów:

• Token-embedding: Wektor odpowiadający konkretnemu tokenowi ze słownika (BERT używa tokenizacji WordPiece).
• Segment-embedding: Wskazuje, do którego zdania (pierwszego czy drugiego) należy token.
• Pozycyjny embedding: Wskazuje na pozycję tokenu w sekwencji, ponieważ architektura Transformera sama w sobie nie uwzględnia kolejności słów.

Zadania wstępnego trenowania

Aby zapewnić głęboką dwukierunkowość, BERT jest trenowany na dwóch unikalnych zadaniach jednocześnie.

Masked Language Modeling (MLM)

To kluczowa innowacja BERT. Zamiast przewidywać następne słowo, jak w standardowych modelach językowych, BERT przewiduje losowo „zamaskowane" słowa w zdaniu. Proces wygląda następująco:

• Z wejściowej sekwencji losowo wybieranych jest 15% tokenów.
• Spośród tych 15%:
  • 80% jest zastępowanych specjalnym tokenem `[MASK]`.
  • 10% jest zastępowanych losowym tokenem ze słownika.
  • 10% pozostaje bez zmian.

• Zadaniem modelu jest przewidywanie pierwotnych wartości tych 15% tokenów, opierając się na otaczającym je (lewym i prawym) kontekście.

Taki schemat zmusza model do uczenia się głębokich semantycznych i syntaktycznych powiązań między słowami i pozwala mu być naprawdę dwukierunkowym.

Next Sentence Prediction (NSP)

To zadanie zostało opracowane, aby nauczyć BERT rozumienia relacji między zdaniami, co jest kluczowe dla zadań takich jak systemy pytań i odpowiedzi czy analiza implikacji tekstowej (NLI). Modelowi na wejście podawana jest para zdań (A i B), i musi przewidzieć, czy zdanie B jest logiczną kontynuacją zdania A.

• W 50% przypadków B to rzeczywiście następne zdanie z oryginalnego tekstu.
• W 50% przypadków B to losowe zdanie wzięte z innego miejsca w korpusie.

Późniejsze badania (np. w modelu RoBERTa) wykazały, że zadanie NSP jest mniej ważne niż MLM i można z niego zrezygnować na rzecz bardziej efektywnych schematów trenowania, ale w oryginalnym BERT odgrywało ważną rolę.

Zastosowanie i fine-tuning

Siła BERT tkwi w paradygmacie transfer learningu. Po zakrojonym na szeroką skalę i kosztownym wstępnym trenowaniu na ogromnych korpusach (Wikipedia + BooksCorpus), wstępnie wytrenowany model można łatwo i szybko dostroić (fine-tune) do rozwiązywania konkretnego zadania aplikacyjnego.

Proces fine-tuningu zazwyczaj wygląda następująco: 1. Do architektury wstępnie wytrenowanego BERT dodawana jest mała, niewy trenowana warstwa specyficzna dla zadania (np. klasyfikator do analizy sentymentu). 2. Cały model (w tym wagi BERT i nowa warstwa) jest trenowany na małym, oznakowanym zbiorze danych dla tego konkretnego zadania.

Przykłady zadań, do których adaptowany jest BERT:

• Klasyfikacja tekstu (analiza sentymentu, filtry spamu): Do wyjścia tokenu `[CLS]` dodawany jest klasyfikator.
• Systemy pytań i odpowiedzi (np. SQuAD): Model jest trenowany do przewidywania początkowego i końcowego tokenu odpowiedzi w podanym tekście.
• Rozpoznawanie nazwanych encji (NER): Do wyjścia każdego tokenu dodawany jest klasyfikator określający, czy token jest częścią imienia, organizacji, daty itp.

Warianty i modele pochodne

Sukces BERT doprowadził do powstania całej rodziny modeli opartych na jego pomysłach:

• RoBERTa (od Facebook AI): „Solidnie zoptymalizowany BERT". Nie jest nową architekturą, lecz raczej wynikiem staranniejszego i dłuższego trenowania BERT: na większej ilości danych, bez zadania NSP i z dynamicznym maskowaniem. RoBERTa wykazała, że oryginalny BERT był „niedotrenowany" i przewyższyła go na wszystkich głównych benchmarkach.
• DistilBERT (od Hugging Face): Pomniejszona wersja BERT, stworzona przy użyciu techniki destylacji wiedzy. DistilBERT jest o 40% mniejszy, o 60% szybszy i zachowuje 97% wydajności BERT, co czyni go idealnym do zastosowań produkcyjnych i na urządzeniach z ograniczonymi zasobami.
• ALBERT (A Lite BERT, od Google): Wersja zoptymalizowana pod kątem zmniejszenia liczby parametrów. Wykorzystuje dwie kluczowe techniki: faktoryzację embeddingów i współdzielenie parametrów między warstwami (cross-layer parameter sharing). Pozwala to tworzyć znacznie większe modele przy mniejszej liczbie parametrów.
• mBERT (Multilingual BERT): Wersja BERT wstępnie wytrenowana na 104 językach jednocześnie. Wykazała zadziwiającą zdolność do krzyżowego transferu wiedzy między językami.
• Modele domenowo-specyficzne: Wiele modeli dostrojonych na danych z konkretnych dziedzin, takich jak BioBERT (biomedycyna), SciBERT (teksty naukowe) i FinBERT (finanse).
• ModernBERT (2024–2025): Nowa generacja modeli podobnych do BERT od firm Answer.AI i LightOn, obejmująca nowoczesne ulepszenia architektoniczne, takie jak RoPE (Rotary Position Embeddings) i obsługa dłuższych kontekstów (do 8192 tokenów), przy jednoczesnym zachowaniu podstawowych zasad BERT.

Porównanie z innymi modelami

Porównanie BERT z innymi kluczowymi architekturami

Model	Twórca	Architektura	Kierunek kontekstu	Główne zadanie
BERT	Google	Enkoder	Dwukierunkowy	Rozumienie tekstu, klasyfikacja, ekstrakcja
GPT	OpenAI	Dekoder	Jednokierunkowy (od lewej do prawej)	Generowanie tekstu, kontynuacja sekwencji
XLNet	Google / CMU	Autoregresyjny (permutacyjny)	Dwukierunkowy (w teorii)	Rozumienie tekstu (alternatywa dla MLM)
T5	Google	Enkoder-Dekoder	Dwukierunkowy (enkoder) + Jednokierunkowy (dekoder)	Uniwersalne przekształcanie „tekst-na-tekst\"

Wpływ

BERT dokonał prawdziwej rewolucji w NLP i położył fundament pod wiele późniejszych osiągnięć:

1. Utrwalił paradygmat „pre-training + fine-tuning\" jako dominujące podejście w NLP.
2. Udowodnił znaczenie głębokiego dwukierunkowego kontekstu dla rozumienia języka.
3. Obniżył próg wejścia dla tworzenia wysoko wydajnych systemów NLP, ponieważ badacze i programiści nie musieli już tworzyć złożonych architektur od podstaw dla każdego zadania.
4. Został zintegrowany z Google Search, co było jedną z największych aktualizacji wyszukiwarki w całej jej historii i naocznie zademonstrował praktyczną użyteczność modelu.
5. Stworzył całą ekosystem modeli pochodnych, narzędzi i badań („BERTology"), stając się jedną z najczęściej cytowanych prac w dziedzinie AI.

Pomimo że nowsze i większe modele, takie jak GPT-3 i GPT-4, przewyższyły BERT na wielu benchmarkach (szczególnie w zadaniach generatywnych), BERT i jego warianty nadal pozostają potężnym i szeroko stosowanym narzędziem do zadań wymagających głębokiego rozumienia tekstu.

Linki

• Oficjalne repozytorium BERT na GitHub
• Ogłoszenie BERT na blogu Google AI
• The Illustrated BERT — wizualne wyjaśnienie architektury BERT

Literatura

• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Peters, M. E. et al. (2018). Deep Contextualized Word Representations. arXiv:1802.05365.
• Liu, Y. et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
• Lan, Z. et al. (2020). ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. arXiv:1909.11942.
• Sanh, V. et al. (2020). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
• Yang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. arXiv:1906.08237.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
• Lee, J. et al. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. arXiv:1901.08746.
• Warner, B. et al. (2024). Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference. arXiv:2412.13663.