BERT (language model) (ID)

BERT (Bidirectional Encoder Representations from Transformers, representasi encoder dua arah dari transformer) — adalah model bahasa besar (LLM) untuk pemahaman bahasa alami, yang dikembangkan oleh para peneliti Google dan diperkenalkan pada tahun 2018. BERT menandai era baru dalam pemrosesan bahasa alami (NLP), menunjukkan performa yang belum pernah ada sebelumnya pada berbagai macam tugas dan menetapkan paradigma "pre-training + fine-tuning" (pre-train & fine-tune) sebagai standar industri.

Inovasi utama BERT adalah arsitektur dua arah yang mendalam, yang memungkinkan model untuk mempertimbangkan konteks sebuah kata secara bersamaan dari kiri dan dari kanan di semua lapisan jaringan. Hal ini dicapai melalui tugas pra-pelatihan baru — Masked Language Modeling (MLM).

Penamaan dan Prinsip Kerja

Akronim BERT merupakan singkatan dari Bidirectional Encoder Representations from Transformers.

• Bidirectional (Dua Arah): Menunjukkan fitur utama model — kemampuan untuk memproses konteks sebuah kata dalam kedua arah (kiri ke kanan dan kanan ke kiri) secara bersamaan. Berbeda dengan model satu arah (seperti GPT), yang saat memproses sebuah kata hanya melihat konteks yang mendahuluinya, BERT melihat seluruh urutan secara keseluruhan, yang memungkinkannya membentuk pemahaman makna kata yang lebih dalam dan akurat.
• Encoder (Enkoder): Berarti BERT hanya menggunakan bagian enkoder dari arsitektur Transformer. Tugas enkoder adalah membaca urutan teks masukan dan membuat representasi kontekstual yang kaya (vektor) untuk setiap token. BERT tidak dirancang untuk menghasilkan teks secara bebas seperti model-model dekoder.
• Representations (Representasi): Model dilatih untuk membuat representasi numerik (vektor atau embedding) berkualitas tinggi untuk kata dan kalimat, yang kemudian dapat digunakan untuk menyelesaikan berbagai tugas NLP.
• from Transformers: Menunjukkan bahwa arsitektur model sepenuhnya didasarkan pada Transformer.

Sejarah Pengembangan

Pengembangan BERT merupakan hasil dari beberapa terobosan kunci dalam NLP:

1. Embedding kontekstual: Model seperti Word2vec dan GloVe membuat vektor statis untuk kata-kata tanpa mempertimbangkan konteks. Model ELMo (2018) menjadi langkah maju dengan menghasilkan representasi yang bergantung pada konteks menggunakan jaringan LSTM dua arah, namun sifat dua arah ini bersifat "dangkal" (penggabungan dua model satu arah).
2. Transfer learning dan GPT: Pada pertengahan 2018, OpenAI memperkenalkan model GPT, yang menunjukkan efektivitas pra-pelatihan model transformer besar pada data tak berlabel dengan fine-tuning selanjutnya pada tugas-tugas tertentu. Namun, GPT bersifat satu arah secara ketat (kiri ke kanan), yang membatasi kemampuannya pada tugas-tugas yang memerlukan pemahaman konteks penuh.

Menyadari keterbatasan ini, para peneliti Google yang dipimpin oleh Jacob Devlin mengembangkan BERT untuk menciptakan model yang benar-benar dua arah secara mendalam. Makalah tentang BERT diterbitkan di arXiv pada Oktober 2018, dan kode serta model yang telah dilatih sebelumnya dirilis ke publik, yang memicu minat besar dari komunitas ilmiah. BERT memecahkan rekor pada 11 benchmark NLP utama, termasuk GLUE dan SQuAD, dan disebut sebagai "momen ImageNet" untuk NLP, karena satu model universal dapat dengan mudah diadaptasi untuk berbagai tugas.

Arsitektur

BERT sepenuhnya didasarkan pada bagian enkoder dari arsitektur Transformer. Model ini terdiri dari beberapa lapisan identik yang disusun bertumpuk. Terdapat dua versi utama:

• BERT-Base: 12 lapisan, 12 kepala attention, ukuran hidden state 768, total jumlah parameter ~110 juta.
• BERT-Large: 24 lapisan, 16 kepala attention, ukuran hidden state 1024, total jumlah parameter ~340 juta.

Setiap lapisan mengandung dua sub-lapisan utama:

1. Mekanisme Multi-Head Self-Attention: Memungkinkan setiap token dalam urutan masukan untuk "memperhatikan" semua token lainnya, dengan menimbang kepentingan mereka dalam menentukan makna kontekstualnya sendiri.
2. Feed-Forward Network (Jaringan Syaraf Terhubung Penuh): Diterapkan pada setiap token secara terpisah.

Data Masukan

Agar bekerja dengan benar, BERT memerlukan format khusus untuk data masukan. Urutan token yang dimasukkan selalu dimulai dengan token khusus `[CLS]` (classification), yang digunakan untuk tugas klasifikasi seluruh teks. Jika sepasang kalimat dimasukkan (misalnya, dalam tugas sistem tanya-jawab), keduanya dipisahkan oleh token `[SEP]` (separator).

Representasi akhir setiap token pada masukan adalah jumlah dari tiga embedding:

• Token embedding: Vektor yang sesuai dengan token tertentu dari kosakata (BERT menggunakan tokenisasi WordPiece).
• Segment embedding: Menunjukkan kalimat mana (pertama atau kedua) tempat token berada.
• Positional embedding: Menunjukkan posisi token dalam urutan, karena arsitektur Transformer sendiri tidak memperhitungkan urutan kata.

Tugas Pra-Pelatihan

Untuk memastikan sifat dua arah yang mendalam, BERT dilatih pada dua tugas unik secara bersamaan.

Masked Language Modeling (MLM)

Ini adalah inovasi utama BERT. Alih-alih memprediksi kata berikutnya seperti pada model bahasa standar, BERT memprediksi kata-kata yang secara acak "dimasking" dalam sebuah kalimat. Prosesnya terlihat seperti ini:

• Dari urutan masukan, 15% token dipilih secara acak.
• Dari 15% tersebut:
  • 80% diganti dengan token khusus `[MASK]`.
  • 10% diganti dengan token acak dari kosakata.
  • 10% dibiarkan tidak berubah.

• Tugas model adalah memprediksi nilai asli dari 15% token tersebut, berdasarkan konteks di sekitarnya (kiri dan kanan).

Skema ini memaksa model untuk mempelajari hubungan semantik dan sintaksis yang mendalam antar kata dan memungkinkannya menjadi benar-benar dua arah.

Next Sentence Prediction (NSP)

Tugas ini dikembangkan untuk mengajarkan BERT memahami hubungan antar kalimat, yang sangat penting untuk tugas-tugas seperti sistem tanya-jawab atau analisis implikasi teks (NLI). Model menerima sepasang kalimat (A dan B) sebagai masukan, dan harus memprediksi apakah kalimat B merupakan kelanjutan logis dari kalimat A.

• Dalam 50% kasus, B memang merupakan kalimat berikutnya dari teks asli.
• Dalam 50% kasus, B adalah kalimat acak yang diambil dari tempat lain dalam korpus.

Penelitian selanjutnya (misalnya, pada model RoBERTa) menunjukkan bahwa tugas NSP kurang penting dibandingkan MLM, dan dapat dihilangkan demi skema pelatihan yang lebih efisien, tetapi dalam BERT orisinal tugas ini memainkan peran penting.

Penerapan dan Fine-Tuning

Kekuatan BERT terletak pada paradigma transfer learning. Setelah pra-pelatihan yang besar dan mahal pada korpus yang sangat besar (Wikipedia + BooksCorpus), model yang telah dilatih sebelumnya dapat dengan mudah dan cepat di-fine-tune untuk menyelesaikan tugas terapan tertentu.

Proses fine-tuning biasanya terlihat seperti ini: 1. Pada arsitektur BERT yang telah dilatih sebelumnya ditambahkan lapisan kecil yang belum dilatih, yang spesifik untuk tugas tertentu (misalnya, classifier untuk analisis sentimen). 2. Seluruh model (termasuk bobot BERT dan lapisan baru) dilatih pada dataset berlabel yang kecil untuk tugas tertentu tersebut.

Contoh tugas yang dapat diadaptasi oleh BERT:

• Klasifikasi teks (analisis sentimen, filter spam): Classifier ditambahkan pada keluaran token `[CLS]`.
• Sistem tanya-jawab (misalnya, SQuAD): Model dilatih untuk memprediksi token awal dan akhir jawaban dalam teks yang diberikan.
• Pengenalan entitas bernama (NER): Classifier ditambahkan pada keluaran setiap token, yang menentukan apakah token tersebut merupakan bagian dari nama, organisasi, tanggal, dan sebagainya.

Varian dan Model Turunan

Keberhasilan BERT mendorong munculnya seluruh keluarga model yang didasarkan pada gagasannya:

• RoBERTa (dari Facebook AI): "BERT yang dioptimalkan secara andal". Bukan merupakan arsitektur baru, melainkan hasil pelatihan BERT yang lebih cermat dan lebih lama: dengan lebih banyak data, tanpa tugas NSP, dan dengan dynamic masking. RoBERTa menunjukkan bahwa BERT orisinal "kurang dilatih" dan mengungguli BERT pada semua benchmark utama.
• DistilBERT (dari Hugging Face): Versi BERT yang diperkecil, dibuat menggunakan teknik knowledge distillation. DistilBERT 40% lebih kecil, 60% lebih cepat, dan mempertahankan 97% performa BERT, menjadikannya ideal untuk penggunaan dalam produksi dan pada perangkat dengan sumber daya terbatas.
• ALBERT (A Lite BERT, dari Google): Versi yang dioptimalkan untuk mengurangi jumlah parameter. Menggunakan dua teknik utama: faktorisasi embedding dan cross-layer parameter sharing (berbagi parameter antar lapisan). Hal ini memungkinkan pembuatan model yang jauh lebih besar dengan jumlah parameter yang lebih sedikit.
• mBERT (Multilingual BERT): Versi BERT yang dilatih sebelumnya pada 104 bahasa secara bersamaan. Menunjukkan kemampuan luar biasa dalam transfer pengetahuan lintas bahasa.
• Model spesifik domain: Berbagai model yang di-fine-tune pada data dari bidang tertentu, seperti BioBERT (biomedis), SciBERT (teks ilmiah), dan FinBERT (keuangan).
• ModernBERT (2024-2025): Generasi baru model berbasis BERT dari perusahaan Answer.AI dan LightOn, yang mencakup peningkatan arsitektur modern seperti RoPE (Rotary Position Embeddings) dan dukungan konteks yang lebih panjang (hingga 8192 token), sekaligus mempertahankan prinsip-prinsip dasar BERT.

Perbandingan dengan Model Lain

Perbandingan BERT dengan arsitektur kunci lainnya

Model	Pengembang	Arsitektur	Arah Konteks	Tugas Utama
BERT	Google	Enkoder	Dua arah	Pemahaman teks, klasifikasi, ekstraksi
GPT	OpenAI	Dekoder	Satu arah (kiri ke kanan)	Generasi teks, kelanjutan urutan
XLNet	Google / CMU	Autoregresif (permutasi)	Dua arah (secara teori)	Pemahaman teks (alternatif MLM)
T5	Google	Enkoder-Dekoder	Dua arah (enkoder) + Satu arah (dekoder)	Transformasi universal "teks ke teks"

Pengaruh

BERT menghasilkan revolusi nyata dalam NLP dan meletakkan fondasi bagi banyak pengembangan selanjutnya:

1. Mengukuhkan paradigma "pre-training + fine-tuning" sebagai pendekatan dominan dalam NLP.
2. Membuktikan pentingnya konteks dua arah yang mendalam untuk pemahaman bahasa.
3. Menurunkan hambatan masuk untuk pembuatan sistem NLP berkinerja tinggi, karena para peneliti dan pengembang tidak lagi perlu membangun arsitektur kompleks dari awal untuk setiap tugas.
4. Diintegrasikan ke dalam Google Penelusuran, yang menjadi salah satu pembaruan terbesar mesin pencari sepanjang sejarahnya dan secara nyata menunjukkan manfaat praktis dari model ini.
5. Melahirkan seluruh ekosistem model turunan, alat, dan penelitian ("BERTology"), menjadikannya salah satu karya yang paling banyak dikutip di bidang AI.

Meskipun model-model yang lebih baru dan lebih besar, seperti GPT-3 dan GPT-4, telah melampaui BERT pada banyak benchmark (terutama pada tugas generatif), BERT dan variannya hingga saat ini tetap menjadi alat yang kuat dan banyak digunakan untuk tugas-tugas yang memerlukan pemahaman teks yang mendalam.

Tautan

• Repositori resmi BERT di GitHub
• Pengumuman BERT di blog Google AI
• The Illustrated BERT — penjelasan visual arsitektur BERT

Literatur

• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Peters, M. E. et al. (2018). Deep Contextualized Word Representations. arXiv:1802.05365.
• Liu, Y. et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
• Lan, Z. et al. (2020). ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. arXiv:1909.11942.
• Sanh, V. et al. (2020). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
• Yang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. arXiv:1906.08237.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
• Lee, J. et al. (2020). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. arXiv:1901.08746.
• Warner, B. et al. (2024). Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference. arXiv:2412.13663.