Encoder-only models (ID)

Model hanya-enkoder (Ingg. Encoder-Only Models) — adalah kelas arsitektur model bahasa besar (LLM) yang didasarkan secara eksklusif pada bagian pengkodean (enkoder) dari arsitektur Transformer. Berbeda dengan model yang menggunakan dekoder atau arsitektur enkoder-dekoder penuh, model-model ini berspesialisasi pada tugas pemahaman bahasa alami (Natural Language Understanding, NLU).

Model unggulan dan pelopor pendekatan ini adalah BERT (Bidirectional Encoder Representations from Transformers), yang dikembangkan oleh Google pada tahun 2018.

Konsep dan Arsitektur

Gagasan utama model hanya-enkoder adalah membuat representasi (embedding) yang dalam dan terkontekstualisasi untuk setiap token dalam urutan masukan. Berkat mekanisme self-attention dalam Transformer, setiap token dapat "melihat" dan berinteraksi dengan semua token lain dalam urutan, sehingga memungkinkan model untuk menangkap konteks yang kaya.

Fitur utamanya adalah bidireksionalitas: representasi setiap token dibentuk berdasarkan konteks kiri maupun kanan secara bersamaan. Hal ini membedakannya secara mendasar dari model hanya-dekoder yang bersifat autoregresif (seperti GPT), yang secara alami bersifat satu arah.

Secara arsitektur, model terdiri dari tumpukan $N$ lapisan enkoder yang identik. Setiap lapisan terdiri dari dua sublapis utama:

1. Multi-Head Self-Attention: Menghitung representasi terkontekstualisasi untuk setiap token.
2. Feed-Forward Network: Menerapkan transformasi nonlinier pada setiap representasi token.

Pada keluarannya, model menghasilkan urutan vektor dengan panjang yang sama dengan urutan masukan, di mana setiap vektor merupakan representasi yang kaya dari token masukan yang bersesuaian.

Tugas Pralatih

Untuk mengajarkan model memahami bahasa dalam konteks dua arah, digunakan tugas pralatih yang bersifat swa-supervisi (self-supervised) secara khusus:

Masked Language Modeling - Pemodelan Bahasa Bertopeng (MLM)

Ini adalah tugas utama dan terpenting bagi model hanya-enkoder, yang pertama kali diperkenalkan dalam BERT.

• Cara kerja: Sejumlah kecil token (biasanya 15%) disembunyikan (ditopeng) secara acak dari urutan masukan. Tugas model adalah memprediksi nilai asli dari token yang ditopeng tersebut menggunakan konteks dua arah di sekitarnya.
• Tujuan: Tugas ini memaksa model untuk mempelajari hubungan semantik dan sintaksis yang mendalam antar kata.

Next Sentence Prediction - Prediksi Kalimat Berikutnya (NSP)

Tugas ini (juga dari BERT asli) dirancang untuk mengajarkan model memahami hubungan antar kalimat.

• Cara kerja: Model diberikan sepasang kalimat, dan harus menentukan apakah kalimat kedua merupakan kelanjutan logis dari kalimat pertama dalam teks aslinya.
• Status: Penelitian selanjutnya (misalnya, dalam model RoBERTa) menunjukkan bahwa NSP kurang efektif dibandingkan MLM, dan sering digantikan dengan tugas lain atau dihilangkan sama sekali.

Penerapan

Model hanya-enkoder tidak dirancang untuk menghasilkan teks secara bebas, karena tidak memiliki dekoder autoregresif. Kekuatannya terletak pada analisis dan pemahaman teks. Representasi vektor keluaran model digunakan untuk menyelesaikan berbagai tugas NLU:

• Klasifikasi teks: Untuk tugas seperti analisis sentimen atau penentuan topik, digunakan representasi token khusus `[CLS]` yang ditambahkan di awal setiap urutan. Vektor akhirnya mengagregasi informasi tentang seluruh urutan.
• Klasifikasi token: Untuk tugas seperti pengenalan entitas bernama (NER) atau penandaan bagian ujaran (POS-tagging), digunakan representasi vektor dari setiap token individual.
• Question Answering - Menjawab Pertanyaan: Dalam tugas di mana jawaban merupakan penggalan dari teks yang diberikan (extractive QA), model dilatih untuk memprediksi token awal dan akhir dari jawaban.
• Mendapatkan embedding: Model enkoder sering digunakan sebagai pengkode teks universal untuk memperoleh embedding kalimat atau dokumen berkualitas tinggi, yang kemudian dapat digunakan dalam mesin pencari atau untuk tugas kemiripan semantik.

Model-Model Utama dan Evolusinya

• BERT (2018): Pelopor arsitektur yang menetapkan rekor baru pada berbagai benchmark NLP.
• RoBERTa (2019): "BERT yang dioptimalkan secara andal". Menunjukkan bahwa performa BERT dapat ditingkatkan secara signifikan melalui pelatihan lebih lama dengan lebih banyak data dan penghapusan tugas NSP.
• ALBERT (2019): "A Lite BERT". Model dengan jumlah parameter yang jauh lebih sedikit berkat teknik faktorisasi embedding dan berbagi parameter antar lapisan.
• DistilBERT (2019): Versi BERT yang diperkecil, dibuat menggunakan distilasi pengetahuan (knowledge distillation), yang lebih cepat dan lebih ringan namun mempertahankan sebagian besar performa aslinya.
• ELECTRA (2020): Memperkenalkan tugas pralatih yang lebih efisien — replaced token detection, di mana model belajar membedakan token asli dari token "palsu" yang dihasilkan oleh model generator kecil.
• DeBERTa (2020): Memperkenalkan mekanisme "disentangled attention" yang mengkodekan konten dan posisi relatif token secara terpisah.

Lihat Juga

• BERT