Transformer architecture (ID)

Arsitektur Transformer — adalah arsitektur neural network yang diperkenalkan pada tahun 2017 oleh para peneliti Google dalam makalah «Attention Is All You Need». Arsitektur ini merevolusi bidang pemrosesan bahasa alami (NLP) dan menjadi fondasi bagi sebagian besar model bahasa besar (LLM) modern, seperti BERT, GPT, dan Gemini. Inovasi utama Transformer adalah mekanisme self‑attention, yang memungkinkan model menimbang pentingnya berbagai bagian data masukan dan memproses urutan secara paralel, meninggalkan rekurensi yang menjadi ciri khas RNN dan LSTM.

Konteks Historis dan Latar Belakang

Sebelum tahun 2017, arsitektur yang dominan untuk memproses data sekuensial, seperti teks, adalah recurrent neural network (RNN) dan variannya yang lebih canggih — jaringan long short-term memory (LSTM).

Masalah RNN/LSTM yang Diatasi oleh Transformer

• Keterbatasan pemrosesan sekuensial: RNN dan LSTM memproses data token demi token, yang menghilangkan paralelisme dalam urutan dan memperlambat pelatihan pada data bervolume besar.
• Masalah vanishing dan exploding gradient: Pada urutan panjang, gradien yang merambat mundur melalui banyak langkah dapat memudar atau meledak, sehingga menyulitkan pembelajaran ketergantungan jangka panjang.
• Ketergantungan jangka panjang: Informasi dari awal urutan dapat hilang pada akhirnya.

Pendekatan Transformer adalah penolakan penuh terhadap rekurensi demi mekanisme attention. Pendekatan ini menjamin panjang jalur ketergantungan yang konstan antara posisi mana pun ($O(1)$), yang memudahkan pemodelan ketergantungan jarak jauh, meskipun implementasi dasar self‑attention memiliki kompleksitas komputasi kuadratik terhadap panjang urutan ($O(n^2)$). Masalah vanishing/exploding gradient tidak «hilang», melainkan diperlunak melalui residual connection, LayerNorm, dan mode pelatihan; pada implementasi modern sering digunakan varian Pre‑LayerNorm (Pre‑LN) sebagai yang lebih stabil saat pelatihan.

Arsitektur dan Komponen Utama

Arsitektur Transformer orisinal terdiri dari dua bagian utama: encoder dan decoder. Kedua komponen tersebut merupakan tumpukan lapisan yang identik ($N=6$ dalam makalah asli).

• Struktur lapisan encoder: (1) multi-head self‑attention (MHA), (2) FFN posisi-per-elemen; setiap sublapis dikelilingi residual connection dan LayerNorm.
• Struktur lapisan decoder: (1) self‑attention bertopeng (causal mask melarang akses ke posisi masa depan), (2) cross‑attention terhadap keluaran encoder, (3) FFN — juga dengan residual dan LayerNorm.

Mekanisme Attention dan Self‑Attention

Mekanisme attention menghitung penjumlahan berbobot dari vektor nilai (Value), di mana bobotnya ditentukan oleh tingkat kompatibilitas kunci (Key) dengan kueri (Query). Dalam Transformer digunakan Scaled Dot‑Product Attention:

$\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q,K,V)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{Q{K}^{\mathrm{\top }}}{\sqrt{d_k}}\right)V$

Di mana $d_k$ adalah dimensi kunci/kueri; pembagian dengan $\sqrt{d_k}$ mencegah saturasi softmax. Ketika $Q$, $K$, dan $V$ berasal dari urutan yang sama, mekanisme ini disebut self‑attention.

Multi‑Head Attention (Perhatian Multi-Kepala)

Alih-alih satu set matriks $(W_Q,W_K,W_V)$, digunakan $h$ «kepala» paralel, yang masing-masing memproyeksikan $Q,K,V$ ke subruang berdimensi lebih kecil, menghitung attention secara independen, kemudian hasilnya digabungkan dan diproyeksikan:

$\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{H}\mathrm{e}\mathrm{a}\mathrm{d}(Q,K,V)=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}({\text{head}}_1,\dots ,{\text{head}}_h)W^O,\text{где }{\text{head}}_i=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q{W}_i^Q,K{W}_i^K,V{W}_i^V).$

Varian untuk mempercepat inferensi:

• MQA (Multi‑Query Attention): semua kepala berbagi satu kunci/nilai → ukuran dan lalu lintas KV‑cache saat decoding berkurang secara signifikan.
• GQA (Grouped‑Query Attention): kompromi antara MHA dan MQA — beberapa kelompok kepala berbagi K/V; kualitas mendekati MHA dengan kecepatan MQA.

Positional Encoding (Pengkodean Posisi)

Karena self‑attention bersifat invarian terhadap urutan token, positional encoding ditambahkan ke embedding masukan.

• Pengkodean sinusoidal orisinal (PE) dari:

$\text{PE}(\text{pos},2i)=\sin (\text{pos}/10000^{2i/d_{\text{model}}}),\text{PE}(\text{pos},2i+1)=\cos (\text{pos}/10000^{2i/d_{\text{model}}}).$

• Varian relatif/rotari modern:
  • RoPE (Rotary Position Embeddings) mengkodekan pergeseran relatif melalui rotasi vektor $Q$/$K$; diterapkan pada sejumlah LLM modern.
  • ALiBi memberikan penalti linier pada skor attention, yang meningkatkan ekstrapolasi ke panjang yang lebih besar dari data pelatihan.

FFN Per-Elemen, Residual, dan Normalisasi

Setiap lapisan encoder dan decoder, selain attention, mengandung FFN posisi-per-elemen:

$\mathrm{F}\mathrm{F}\mathrm{N}(x)=max(0,x{W}_1+b_1)W_2+b_2.$

Di sekitar setiap sublapis digunakan residual connection dan Layer Normalization: $\mathrm{L}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}(x+\mathrm{S}\mathrm{u}\mathrm{b}\mathrm{l}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}(x))$. Dalam versi asli digunakan varian Post‑LN; pada LLM modern sering digunakan Pre‑LN untuk stabilitas pelatihan yang lebih baik dan ketergantungan yang lebih kecil pada warm‑up panjang.

Evolusi dan Varian Modern

Metode awal berbasis recurrent neural network (RNN) dan variannya yang lebih canggih, seperti LSTM, memproses teks secara sekuensial, satu token dalam satu waktu. Meskipun pendekatan ini secara intuitif sesuai dengan struktur bahasa, pendekatan ini menciptakan keterbatasan yang signifikan: menyulitkan komputasi paralel dan mempersulit deteksi ketergantungan antara elemen-elemen yang berjauhan dalam teks. Pada tahun 2017, sekelompok peneliti dari Google mempresentasikan makalah berjudul «Attention Is All You Need». Di dalamnya, mereka mendeskripsikan arsitektur baru — Transformer. Model ini untuk pertama kalinya sepenuhnya meninggalkan penggunaan recurrent neural network, menggantinya dengan mekanisme attention. Inovasi utamanya adalah bahwa mekanisme attention memungkinkan Transformer menilai pentingnya setiap kata dalam urutan masukan untuk menghasilkan kata yang sesuai dalam keluaran. Pada saat yang sama, model dapat memproses semua kata secara bersamaan. Kemampuan pemrosesan paralel ini memungkinkan pelatihan model yang jauh lebih besar pada volume data yang sangat besar. Hasilnya, muncullah model bahasa besar (LLM) modern.

Arsitektur Transformer menjadi fondasi bagi banyak model, yang secara kondisional dibagi menjadi tiga kelas.

1. Model Hanya-Encoder (Encoder‑only)

• Contoh: BERT (dan RoBERTa, ALBERT).
• Prinsip: pra-pelatihan dengan tugas masked language modeling (MLM) menggunakan konteks dua arah.
• Penerapan: tugas pemahaman (klasifikasi, NER, dll.).

2. Model Hanya-Decoder (Decoder‑only)

• Contoh: seri GPT (GPT‑1/2/3), LLaMA, Claude.
• Prinsip: causal language modeling (CLM) — prediksi token berikutnya; attention dikenai causal mask.
• Penerapan: pembuatan teks, dialog, kode.

3. Model Encoder‑Decoder

• Contoh: Transformer orisinal, T5, BART.
• Prinsip: encoder membangun representasi masukan, decoder menghasilkan keluaran dan menggunakan cross‑attention terhadap fitur encoder.
• Penerapan: tugas seq2seq (terjemahan, rangkuman, dll.).

4. Arsitektur Multimodal dan Alternatif

• Vision Transformer (ViT) — adaptasi untuk gambar (pembagian menjadi patch); Swin Transformer — model hierarkis dengan shifted windows.
• Alternatif untuk urutan panjang:
  • Mamba — model ruang keadaan selektif (SSM) dengan kompleksitas linear.
  • RWKV — arsitektur mirip RNN dengan pelatihan paralel dan kompleksitas inferensi linear.
  • Hibrida (mis., Jamba): menggabungkan blok Transformer dan Mamba secara bergantian; terkadang dilengkapi MoE.

Teknik Pelatihan dan Optimasi

Efektivitas Transformer sangat terkait dengan teknik pelatihan dan infrastruktur.

• Strategi pra-pelatihan: CLM dan MLM; juga tujuan kontrastif dan de-noising (ELECTRA, T5).
• Teknik fine‑tuning:
  • Fine‑tuning penuh dari semua parameter.
  • Fine‑tuning efisien parameter (PEFT): LoRA memperkenalkan adaptor low-rank dengan bobot dasar yang dibekukan.
• Penyelarasan perilaku: RLHF — Reinforcement Learning from Human Feedback.
• Optimasi sistem untuk inferensi: PagedAttention/vLLM meningkatkan throughput serving melalui manajemen KV‑cache berbasis halaman; sangat berguna untuk urutan panjang dan batch besar.

Tautan

• The Illustrated Transformer — penjelasan visual arsitektur Transformer

Daftar Pustaka

• Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention Is All You Need. NeurIPS. arXiv:1706.03762.
• Devlin, J., Chang, M.‑W., Lee, K., Toutanova, K. (2019). BERT: Pre‑training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Radford, A., Narasimhan, K., Salimans, T., Sutskever, I. (2018). Improving Language Understanding by Generative Pre‑Training. OpenAI Technical Report.
• Brown, T. B., Mann, B., Ryder, N., et al. (2020). Language Models Are Few‑Shot Learners. NeurIPS. arXiv:2005.14165.
• Raffel, C., Shazeer, N., Roberts, A., et al. (2019). Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer. arXiv:1910.10683.
• Dosovitskiy, A., Beyer, L., Kolesnikov, A., et al. (2020). An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale. arXiv:2010.11929.
• Liu, Z., Lin, Y., Cao, Y., et al. (2021). Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. arXiv:2103.14030.
• Tay, Y., Dehghani, M., Bahri, D., Metzler, D. (2020). Efficient Transformers: A Survey. arXiv:2009.06732.
• Xiong, R., Yang, Y., He, D., et al. (2020). On Layer Normalization in the Transformer Architecture. ICML. arXiv:2002.04745.
• Su, J., Lu, Y., Pan, S., et al. (2021). RoFormer: Rotary Position Embedding. arXiv:2104.09864.
• Press, O., Smith, N. A., Lewis, M. (2021). Train Short, Test Long: Attention with Linear Biases (ALiBi). arXiv:2108.12409.
• Shazeer, N. (2019). Fast Transformer Decoding: One Write‑Head is All You Need (MQA). arXiv:1911.02150.
• Ainslie, J., Lee‑Thorp, J., de Jong, M., et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. EMNLP. arXiv:2305.13245.
• Kwon, W., Li, Z., Zhuang, S., et al. (2023). Efficient Memory Management for LLM Serving with PagedAttention (vLLM). arXiv:2309.06180.
• Touvron, H., Lavril, T., Izacard, G., et al. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971.
• Gu, A., Dao, T. (2023). Mamba: Linear‑Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752.
• Peng, B., et al. (2023). RWKV: Reinventing RNNs for the Transformer Era. arXiv:2305.13048.
• Lieber, O., Lenz, B., Bata, H., et al. (2024). Jamba: A Hybrid Transformer‑Mamba Language Model. arXiv:2403.19887.
• Hu, E. J., Shen, Y., Wallis, P., et al. (2021). LoRA: Low‑Rank Adaptation of Large Language Models. arXiv:2106.09685.
• Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training language models to follow instructions with human feedback. OpenReview.