Theoretical foundations of large language models (ID)

Landasan teoretis model bahasa besar (berbasis arsitektur transformer) adalah kumpulan prinsip matematis, statistik, dan teori informasi yang mendasari fungsi, pelatihan, dan kemampuan LLM modern. Landasan-landasan ini menjelaskan bagaimana model yang dibangun di atas arsitektur Transformer mampu memahami dan menghasilkan bahasa manusia dengan tingkat koherensi yang tinggi.

Landasan Arsitektur: Arsitektur Transformer

LLM modern hampir seluruhnya didasarkan pada arsitektur Transformer yang diperkenalkan pada tahun 2017 dalam makalah «Attention Is All You Need». Arsitektur ini meninggalkan lapisan rekuren (seperti pada RNN dan LSTM), dan mengandalkan mekanisme attention, yang memungkinkan pemrosesan urutan panjang secara efisien serta paralelisasi komputasi.

Mekanisme Self-Attention

Ini adalah inti dari arsitektur Transformer. Mekanisme self-attention memungkinkan model memberikan bobot pada kepentingan setiap kata (token) dalam suatu urutan relatif terhadap semua kata lain dalam urutan yang sama. Untuk setiap token, tiga vektor dibuat:

• Query (Q, Kueri): vektor yang merepresentasikan kata saat ini.
• Key (K, Kunci): vektor yang dibandingkan dengan kueri dari kata-kata lain.
• Value (V, Nilai): vektor yang berisi informasi tentang kata yang akan diteruskan.

Skor attention dihitung sebagai hasil kali titik yang diskalakan:

$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

di mana $d_k$ adalah dimensi vektor kunci. Mekanisme ini memungkinkan model menangkap ketergantungan kontekstual yang kompleks, terlepas dari jarak antar kata.

Multi-Head Attention adalah pelaksanaan paralel dari beberapa komputasi tersebut dengan matriks proyeksi yang berbeda, yang memungkinkan model berfokus secara bersamaan pada berbagai aspek sintaksis dan semantik.

Jenis Arsitektur Berbasis Transformer

Terdapat tiga varian utama penggunaan komponen Transformer:

1. Encoder-Decoder: Arsitektur klasik untuk tugas transformasi urutan ke urutan (misalnya, penerjemahan mesin). Encoder memproses urutan masukan, sedangkan decoder menghasilkan urutan keluaran. Contoh: T5, BART.
2. Encoder-Only: Model yang hanya menggunakan tumpukan encoder. Model ini sangat cocok untuk tugas yang memerlukan pemahaman mendalam tentang konteks seluruh urutan (klasifikasi teks, pengenalan entitas bernama). Contoh: BERT.
3. Decoder-Only: Model yang hanya menggunakan tumpukan decoder. Model ini bekerja secara autoregresif, memprediksi token berikutnya berdasarkan token-token sebelumnya. Ini adalah standar untuk model generatif. Contoh: GPT, LLaMA, Claude.

Positional Encoding

Karena mekanisme self-attention tidak memperhitungkan urutan kata, positional encoding ditambahkan ke dalam arsitektur. Vektor yang mengodekan posisi token dalam urutan ditambahkan ke embedding token. Pada model orisinal, fungsi sinusoidal digunakan:

$\text{PE}(\text{pos},2i)=\sin (\text{pos}/10000^{2i/d_{\text{model}}})$

$\text{PE}(\text{pos},2i+1)=\cos (\text{pos}/10000^{2i/d_{\text{model}}})$

Pada model modern, positional encoding yang dapat dipelajari dan rotational (Rotary Position Embeddings, RoPE) juga digunakan.

Prinsip Pelatihan: Dari Probabilitas ke Optimisasi

Pemodelan Bahasa sebagai Tugas Probabilistik

Landasan LLM adalah tugas pemodelan bahasa — memprediksi probabilitas suatu urutan teks. Secara formal, untuk urutan $X=(x_1,x_2,\dots ,x_T)$, model memperkirakan probabilitas $P(X)$. Dengan menggunakan aturan rantai probabilitas, ini diuraikan menjadi hasil kali probabilitas bersyarat:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

Dengan demikian, pelatihan model bermuara pada prediksi token berikutnya $x_t$ berdasarkan konteks dari token-token sebelumnya.

Fungsi Loss dan Teori Informasi

Untuk mengevaluasi kualitas prediksi dan melatih model, digunakan fungsi loss cross-entropy. Fungsi ini mengukur divergensi antara distribusi probabilitas yang diprediksi oleh model ($q$) dan distribusi sebenarnya ($p$), di mana token berikutnya yang benar memiliki probabilitas 1, dan yang lainnya 0.

$H(p,q)=-\sum _{i}p(i)\log q(i)$

Minimisasi cross-entropy setara dengan maksimisasi likelihood data pelatihan.

Metrik kualitas terkait adalah perplexity, yang didefinisikan sebagai eksponen dari cross-entropy: $\text{Perplexity}=2^{H(p,q)}$. Secara intuitif, perplexity menunjukkan rata-rata jumlah pilihan yang «dipilih» model pada setiap langkah. Semakin rendah perplexity, semakin yakin dan akurat model tersebut.

Optimisasi

Pelatihan LLM adalah proses minimisasi fungsi loss dengan menyesuaikan miliaran parameter model. Untuk ini digunakan metode berbasis gradient descent. Yang paling umum adalah optimizer Adam (Adaptive Moment Estimation) dan variannya (misalnya, AdamW), yang secara adaptif menyesuaikan laju pembelajaran untuk setiap parameter.

Paradigma Pelatihan

1. Pre-training (Pra-pelatihan): Model dilatih pada korpus teks tidak berlabel yang sangat besar (Common Crawl, The Pile, C4) menggunakan tugas self-supervised, seperti:
   • Causal Language Modeling (CLM): Memprediksi token berikutnya (digunakan dalam GPT).
   • Masked Language Modeling (MLM): Memulihkan token yang dimasker secara acak dalam teks (digunakan dalam BERT).
2. Fine-tuning (Penyempurnaan): Setelah pra-pelatihan, model diadaptasi untuk tugas-tugas tertentu pada dataset berlabel berukuran kecil.
3. Alignment (Penyelarasan): Tahap fine-tuning khusus yang bertujuan menyelaraskan perilaku model dengan preferensi dan nilai manusia. Metode utama adalah RLHF (Reinforcement Learning from Human Feedback), di mana model disempurnakan menggunakan sinyal reward dari model yang memprediksi preferensi manusia.

Hukum Penskalaan dan Kemampuan Emergent

Penelitian empiris menunjukkan bahwa kinerja LLM meningkat secara dapat diprediksi seiring bertambahnya tiga faktor: ukuran model (jumlah parameter, $N$), ukuran dataset pelatihan ($D$), dan jumlah komputasi ($C$). Ketergantungan ini dijelaskan oleh scaling laws (hukum penskalaan).

Hukum yang diusulkan dalam karya OpenAI (Kaplan et al., 2020) menunjukkan bahwa fungsi loss $L$ menurun sebagai fungsi pangkat dari $N$, $D$, dan $C$. Karya DeepMind yang lebih baru (Hoffmann et al., 2022) menyempurnakan hukum-hukum ini (hukum Chinchilla), menunjukkan bahwa untuk pelatihan optimal, diperlukan peningkatan yang seimbang antara ukuran model dan volume data.

Konsekuensi penting dari penskalaan adalah munculnya kemampuan emergent — lompatan kualitatif dalam kinerja ketika model mulai menyelesaikan tugas-tugas yang tidak secara eksplisit dilatihkan (misalnya, aritmetika, penalaran logis, penulisan kode). Kemampuan-kemampuan ini umumnya tidak ada pada model berukuran lebih kecil dan hanya muncul setelah mencapai ambang skala tertentu.

Pembuatan Teks: Strategi Decoding

Setelah pelatihan, model menghasilkan teks dengan memprediksi token berikutnya secara iteratif. Pemilihan token berikutnya dari distribusi probabilitas yang dihasilkan model dilakukan menggunakan berbagai strategi decoding:

• Greedy Search: Selalu memilih token yang paling mungkin. Cepat, tetapi sering menghasilkan teks yang berulang dan membosankan.
• Beam Search: Pada setiap langkah, $k$ urutan paling mungkin disimpan, yang memungkinkan pencarian solusi global yang lebih optimal.
• Sampling dengan Temperatur: Probabilitas token disesuaikan dengan parameter temperatur ($T$). Pada $T>1$, distribusi menjadi lebih merata (lebih kreatif), pada $T<1$ — lebih terpusat (lebih sedikit keacakan).
• Top-k Sampling: Pada setiap langkah, pengambilan sampel dibatasi pada $k$ token paling mungkin.
• Top-p (Nucleus) Sampling: Pengambilan sampel dibatasi pada kumpulan minimum token yang probabilitas kumulatifnya melebihi ambang $p$. Ini memungkinkan adaptasi dinamis ukuran kumpulan kandidat.

Masalah Teoretis dan Keterbatasan

• Halusinasi: Kecenderungan model menghasilkan informasi yang tidak akurat secara faktual tetapi terdengar meyakinkan. Ini terkait dengan fakta bahwa model mengoptimalkan probabilitas teks, bukan kebenarannya.
• Bias (Bias): LLM mewarisi dan memperkuat bias sosial, budaya, dan lainnya yang ada dalam data pelatihan.
• Interpretabilitas («kotak hitam»): Karena jumlah parameter yang sangat besar, sangat sulit untuk memahami bagaimana tepatnya model membuat keputusan, yang mempersulit debugging dan menciptakan risiko.
• Kompleksitas Komputasi: Mekanisme self-attention memiliki kompleksitas kuadratik terhadap panjang urutan ($O(n^2)$), yang membatasi panjang maksimum konteks yang dapat diproses.

Lihat Juga

• Model bahasa besar
• BERT
• GPT

Referensi

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. B. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Bender, E. M. et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. DOI:10.1145/3442188.3445922.