---
title: "Theoretical foundations of large language models (ID)"
source: "https://systems-analysis.info/int/Theoretical_foundations_of_large_language_models_(ID)"
wiki: "systems-analysis.info/int"
article: "Theoretical_foundations_of_large_language_models_(ID)"
language: "id"
categories:
  - "Category:Core LLM concepts"
  - "Category:Indonesian"
  - "Category:Large language models"
  - "Category:Machine learning"
revision_id: 8051
wiki_created_at: 2026-09-07T01:11:38Z
wiki_modified_at: 2026-09-07T01:11:38Z
downloaded_at: 2026-09-07T23:23:08Z
---

# Theoretical foundations of large language models (ID)

**Landasan teoretis model bahasa besar (berbasis arsitektur transformer)** adalah kumpulan prinsip matematis, statistik, dan teori informasi yang mendasari fungsi, pelatihan, dan kemampuan LLM modern. Landasan-landasan ini menjelaskan bagaimana model yang dibangun di atas arsitektur Transformer mampu memahami dan menghasilkan bahasa manusia dengan tingkat koherensi yang tinggi.

## Landasan Arsitektur: Arsitektur Transformer

LLM modern hampir seluruhnya didasarkan pada arsitektur **Transformer** yang diperkenalkan pada tahun 2017 dalam makalah «Attention Is All You Need». Arsitektur ini meninggalkan lapisan rekuren (seperti pada RNN dan LSTM), dan mengandalkan mekanisme **attention**, yang memungkinkan pemrosesan urutan panjang secara efisien serta paralelisasi komputasi.

### Mekanisme Self-Attention

Ini adalah inti dari arsitektur Transformer. Mekanisme self-attention memungkinkan model memberikan bobot pada kepentingan setiap kata (token) dalam suatu urutan relatif terhadap semua kata lain dalam urutan yang sama. Untuk setiap token, tiga vektor dibuat:

- **Query (Q, Kueri):** vektor yang merepresentasikan kata saat ini.
- **Key (K, Kunci):** vektor yang dibandingkan dengan kueri dari kata-kata lain.
- **Value (V, Nilai):** vektor yang berisi informasi tentang kata yang akan diteruskan.

Skor attention dihitung sebagai hasil kali titik yang diskalakan:

$\text{Attention}(Q,K,V) = \text{softmax}\left( \frac{QK^{T}}{\sqrt{d_{k}}} \right)V$

di mana $d_{k}$ adalah dimensi vektor kunci. Mekanisme ini memungkinkan model menangkap ketergantungan kontekstual yang kompleks, terlepas dari jarak antar kata.

**Multi-Head Attention** adalah pelaksanaan paralel dari beberapa komputasi tersebut dengan matriks proyeksi yang berbeda, yang memungkinkan model berfokus secara bersamaan pada berbagai aspek sintaksis dan semantik.

### Jenis Arsitektur Berbasis Transformer

Terdapat tiga varian utama penggunaan komponen Transformer:

1.  **Encoder-Decoder:** Arsitektur klasik untuk tugas transformasi urutan ke urutan (misalnya, penerjemahan mesin). Encoder memproses urutan masukan, sedangkan decoder menghasilkan urutan keluaran. Contoh: T5, BART.
2.  **Encoder-Only:** Model yang hanya menggunakan tumpukan encoder. Model ini sangat cocok untuk tugas yang memerlukan pemahaman mendalam tentang konteks seluruh urutan (klasifikasi teks, pengenalan entitas bernama). Contoh: BERT.
3.  **Decoder-Only:** Model yang hanya menggunakan tumpukan decoder. Model ini bekerja secara autoregresif, memprediksi token berikutnya berdasarkan token-token sebelumnya. Ini adalah standar untuk model generatif. Contoh: GPT, LLaMA, Claude.

### Positional Encoding

Karena mekanisme self-attention tidak memperhitungkan urutan kata, **positional encoding** ditambahkan ke dalam arsitektur. Vektor yang mengodekan posisi token dalam urutan ditambahkan ke embedding token. Pada model orisinal, fungsi sinusoidal digunakan:

$\text{PE}(\text{pos},2i) = \sin(\text{pos}/10000^{2i/d_{\text{model}}})$

$\text{PE}(\text{pos},2i + 1) = \cos(\text{pos}/10000^{2i/d_{\text{model}}})$

Pada model modern, positional encoding yang dapat dipelajari dan rotational (Rotary Position Embeddings, RoPE) juga digunakan.

## Prinsip Pelatihan: Dari Probabilitas ke Optimisasi

### Pemodelan Bahasa sebagai Tugas Probabilistik

Landasan LLM adalah tugas **pemodelan bahasa** — memprediksi probabilitas suatu urutan teks. Secara formal, untuk urutan $X = (x_{1},x_{2},\ldots,x_{T})$, model memperkirakan probabilitas $P(X)$. Dengan menggunakan aturan rantai probabilitas, ini diuraikan menjadi hasil kali probabilitas bersyarat:

$P(X) = \prod\limits_{t = 1}^{T}P(x_{t}|x_{1},\ldots,x_{t - 1})$

Dengan demikian, pelatihan model bermuara pada prediksi token berikutnya $x_{t}$ berdasarkan konteks dari token-token sebelumnya.

### Fungsi Loss dan Teori Informasi

Untuk mengevaluasi kualitas prediksi dan melatih model, digunakan **fungsi loss cross-entropy**. Fungsi ini mengukur divergensi antara distribusi probabilitas yang diprediksi oleh model ($q$) dan distribusi sebenarnya ($p$), di mana token berikutnya yang benar memiliki probabilitas 1, dan yang lainnya 0.

$H(p,q) = - \sum\limits_{i}p(i)\log q(i)$

Minimisasi cross-entropy setara dengan maksimisasi likelihood data pelatihan.

Metrik kualitas terkait adalah **perplexity**, yang didefinisikan sebagai eksponen dari cross-entropy: $\text{Perplexity} = 2^{H(p,q)}$. Secara intuitif, perplexity menunjukkan rata-rata jumlah pilihan yang «dipilih» model pada setiap langkah. Semakin rendah perplexity, semakin yakin dan akurat model tersebut.

### Optimisasi

Pelatihan LLM adalah proses minimisasi fungsi loss dengan menyesuaikan miliaran parameter model. Untuk ini digunakan metode berbasis **gradient descent**. Yang paling umum adalah optimizer **Adam** (Adaptive Moment Estimation) dan variannya (misalnya, AdamW), yang secara adaptif menyesuaikan laju pembelajaran untuk setiap parameter.

### Paradigma Pelatihan

1.  **Pre-training (Pra-pelatihan):** Model dilatih pada korpus teks tidak berlabel yang sangat besar (Common Crawl, The Pile, C4) menggunakan tugas self-supervised, seperti:
    - **Causal Language Modeling (CLM):** Memprediksi token berikutnya (digunakan dalam GPT).
    - **Masked Language Modeling (MLM):** Memulihkan token yang dimasker secara acak dalam teks (digunakan dalam BERT).
2.  **Fine-tuning (Penyempurnaan):** Setelah pra-pelatihan, model diadaptasi untuk tugas-tugas tertentu pada dataset berlabel berukuran kecil.
3.  **Alignment (Penyelarasan):** Tahap fine-tuning khusus yang bertujuan menyelaraskan perilaku model dengan preferensi dan nilai manusia. Metode utama adalah **RLHF (Reinforcement Learning from Human Feedback)**, di mana model disempurnakan menggunakan sinyal reward dari model yang memprediksi preferensi manusia.

## Hukum Penskalaan dan Kemampuan Emergent

Penelitian empiris menunjukkan bahwa kinerja LLM meningkat secara dapat diprediksi seiring bertambahnya tiga faktor: ukuran model (jumlah parameter, $N$), ukuran dataset pelatihan ($D$), dan jumlah komputasi ($C$). Ketergantungan ini dijelaskan oleh **scaling laws (hukum penskalaan)**.

Hukum yang diusulkan dalam karya OpenAI (Kaplan et al., 2020) menunjukkan bahwa fungsi loss $L$ menurun sebagai fungsi pangkat dari $N$, $D$, dan $C$. Karya DeepMind yang lebih baru (Hoffmann et al., 2022) menyempurnakan hukum-hukum ini (**hukum Chinchilla**), menunjukkan bahwa untuk pelatihan optimal, diperlukan peningkatan yang seimbang antara ukuran model dan volume data.

Konsekuensi penting dari penskalaan adalah munculnya **kemampuan emergent** — lompatan kualitatif dalam kinerja ketika model mulai menyelesaikan tugas-tugas yang tidak secara eksplisit dilatihkan (misalnya, aritmetika, penalaran logis, penulisan kode). Kemampuan-kemampuan ini umumnya tidak ada pada model berukuran lebih kecil dan hanya muncul setelah mencapai ambang skala tertentu.

## Pembuatan Teks: Strategi Decoding

Setelah pelatihan, model menghasilkan teks dengan memprediksi token berikutnya secara iteratif. Pemilihan token berikutnya dari distribusi probabilitas yang dihasilkan model dilakukan menggunakan berbagai **strategi decoding**:

- **Greedy Search:** Selalu memilih token yang paling mungkin. Cepat, tetapi sering menghasilkan teks yang berulang dan membosankan.
- **Beam Search:** Pada setiap langkah, $k$ urutan paling mungkin disimpan, yang memungkinkan pencarian solusi global yang lebih optimal.
- **Sampling dengan Temperatur:** Probabilitas token disesuaikan dengan parameter **temperatur** ($T$). Pada $T > 1$, distribusi menjadi lebih merata (lebih kreatif), pada $T < 1$ — lebih terpusat (lebih sedikit keacakan).
- **Top-k Sampling:** Pada setiap langkah, pengambilan sampel dibatasi pada $k$ token paling mungkin.
- **Top-p (Nucleus) Sampling:** Pengambilan sampel dibatasi pada kumpulan minimum token yang probabilitas kumulatifnya melebihi ambang $p$. Ini memungkinkan adaptasi dinamis ukuran kumpulan kandidat.

## Masalah Teoretis dan Keterbatasan

- **Halusinasi:** Kecenderungan model menghasilkan informasi yang tidak akurat secara faktual tetapi terdengar meyakinkan. Ini terkait dengan fakta bahwa model mengoptimalkan probabilitas teks, bukan kebenarannya.
- **Bias (Bias):** LLM mewarisi dan memperkuat bias sosial, budaya, dan lainnya yang ada dalam data pelatihan.
- **Interpretabilitas («kotak hitam»):** Karena jumlah parameter yang sangat besar, sangat sulit untuk memahami bagaimana tepatnya model membuat keputusan, yang mempersulit debugging dan menciptakan risiko.
- **Kompleksitas Komputasi:** Mekanisme self-attention memiliki kompleksitas kuadratik terhadap panjang urutan ($O(n^{2})$), yang membatasi panjang maksimum konteks yang dapat diproses.

## Lihat Juga

- Model bahasa besar
- BERT
- GPT

## Referensi

- Vaswani, A. et al. (2017). *Attention Is All You Need*. arXiv:1706.03762.
- Devlin, J. et al. (2019). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805.
- Brown, T. B. et al. (2020). *Language Models Are Few-Shot Learners*. arXiv:2005.14165.
- Kaplan, J. et al. (2020). *Scaling Laws for Neural Language Models*. arXiv:2001.08361.
- Hoffmann, J. et al. (2022). *Training Compute-Optimal Large Language Models*. arXiv:2203.15556.
- Wei, J. et al. (2022). *Chain-of-Thought Prompting Elicits Reasoning in Large Language Models*. arXiv:2201.11903.
- Ouyang, L. et al. (2022). *Training Language Models to Follow Instructions with Human Feedback*. arXiv:2203.02155.
- Bai, Y. et al. (2022). *Constitutional AI: Harmlessness from AI Feedback*. arXiv:2212.08073.
- Bubeck, S. et al. (2023). *Sparks of Artificial General Intelligence: Early Experiments with GPT-4*. arXiv:2303.12712.
- Touvron, H. et al. (2024). *The Llama 3 Herd of Models*. arXiv:2407.21783.
- Bender, E. M. et al. (2021). *On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?*. DOI:10.1145/3442188.3445922.