Pelatihan Model Bahasa Besar

Pelatihan Large Language Model (LLM) — adalah proses yang kompleks dan padat sumber daya, di mana jaringan neural dengan miliaran parameter dilatih pada kumpulan data teks yang sangat besar untuk memahami dan menghasilkan bahasa manusia. Proses ini merupakan landasan utama dalam pembuatan LLM modern seperti GPT, BERT, Claude, dan Gemini.

Landasan Teoretis Pelatihan

Arsitektur Transformer dan Mekanisme Attention

LLM modern hampir sepenuhnya didasarkan pada arsitektur Transformer, yang memungkinkan pemrosesan urutan teks panjang secara efisien. Komponen kuncinya adalah mekanisme self-attention, yang memberi model kemampuan untuk menimbang kepentingan setiap kata dalam konteks seluruh urutan. Hal ini memungkinkan penangkapan dependensi jarak jauh dan pemrosesan data secara paralel, yang secara signifikan mempercepat pelatihan dibandingkan dengan jaringan rekuren (RNN).

Tugas Utama: Prediksi Token Berikutnya

Tugas fundamental yang menjadi dasar pelatihan sebagian besar LLM (terutama generatif seperti GPT) adalah pemodelan bahasa. Model belajar memprediksi token berikutnya (kata atau bagian kata) dalam suatu urutan berdasarkan semua token sebelumnya. Secara formal, model memaksimalkan probabilitas urutan $P(X)$ dengan menguraikannya menggunakan aturan rantai:

$P(X)=\prod _{t=1}^{T}P(x_t|x_1,\dots ,x_{t-1})$

Untuk pelatihan digunakan fungsi kerugian cross-entropy, yang mengukur perbedaan antara distribusi probabilitas yang diprediksi model dan token berikutnya yang sebenarnya.

Tahapan Pelatihan

Proses pelatihan LLM biasanya terdiri dari dua tahap utama.

1. Pra-pelatihan (Pre-training)

Ini adalah tahap paling besar dan paling mahal secara komputasi, di mana model memperoleh pengetahuan fundamentalnya tentang bahasa dan dunia.

• Data: Model dilatih pada korpus teks tak berlabel yang sangat besar, yang volumenya dapat mencapai triliunan token. Sumber data mencakup halaman web (misalnya Common Crawl), Wikipedia, perpustakaan buku digital (Google Books), dan repositori kode (GitHub).
• Tujuan: Membentuk representasi bahasa yang universal. Model belajar tata bahasa, sintaksis, fakta, dan bahkan beberapa elemen penalaran logis.
• Proses: Ini adalah self-supervised learning, di mana label (token berikutnya yang benar) diekstrak dari data itu sendiri. Pelatihan dapat berlangsung berminggu-minggu atau berbulan-bulan pada kluster yang terdiri dari ribuan GPU atau TPU.

2. Fine-tuning dan Alignment

Setelah pra-pelatihan, model "mentah" perlu diadaptasi untuk tugas-tugas tertentu dan diselaraskan dengan ekspektasi manusia.

• Supervised Fine-tuning: Model di-fine-tune pada kumpulan data berlabel yang kecil namun berkualitas tinggi (misalnya pasangan "instruksi-jawaban"), agar model belajar mengikuti petunjuk.
• Reinforcement Learning from Human Feedback (RLHF): Ini adalah metode kunci untuk alignment. Prosesnya mencakup beberapa langkah:

1. 1. Anotator manusia memberi peringkat beberapa respons model terhadap permintaan yang sama, dari yang terbaik hingga yang terburuk.
   2. Pada data ini dilatih reward model, yang belajar memprediksi respons mana yang akan disukai manusia.
   3. LLM utama di-fine-tune menggunakan algoritma reinforcement (misalnya PPO), dengan menggunakan reward model sebagai sumber sinyal, agar menghasilkan respons yang lebih berguna, jujur, dan aman.

Pendekatan dua tahap ini (pre-training + fine-tuning/alignment) telah menjadi standar industri, memungkinkan terciptanya model bahasa yang powerful sekaligus dapat dikendalikan.

Aspek Praktis

Data: Pengumpulan, Skala, dan Persiapan

Kualitas dan skala data merupakan faktor penentu keberhasilan LLM.

• Pengumpulan: Digunakan berbagai sumber untuk memastikan cakupan topik, gaya, dan bahasa yang luas.
• Pembersihan dan Penyaringan: Tahap yang sangat penting, mencakup penghapusan duplikat, penyaringan konten berkualitas rendah atau beracun, serta penyeimbangan sumber agar model tidak terlalu menyesuaikan diri dengan bahasa internet yang spesifik.
• Tokenisasi: Teks dipecah menjadi token (kata atau subkata) menggunakan algoritma seperti BPE atau SentencePiece. Pilihan tokenizer dan ukuran kosakata secara langsung memengaruhi efisiensi dan kualitas model.

Pelatihan Terdistribusi dan Sumber Daya Komputasi

Melatih model dengan ratusan miliar atau triliunan parameter membutuhkan sumber daya komputasi yang sangat besar dan penggunaan teknik pelatihan terdistribusi.

• Perangkat Keras: Digunakan superkomputer yang terdiri dari ribuan GPU (misalnya NVIDIA A100/H100) atau TPU (Google), yang dihubungkan dengan jaringan berkecepatan tinggi (misalnya InfiniBand).
• Paralelisme: Untuk mendistribusikan komputasi digunakan skema paralelisme yang kompleks:
  • Data Parallelism: Setiap salinan model pada GPU-nya masing-masing memproses bagian datanya sendiri.
  • Model Parallelism: Model itu sendiri dibagi menjadi bagian-bagian yang ditempatkan pada GPU yang berbeda. Mencakup paralelisme tensor (pemisahan matriks) dan paralelisme pipeline (pemisahan lapisan).
  • ZeRO (Zero Redundancy Optimizer): Teknologi yang dikembangkan oleh Microsoft DeepSpeed, yang menghilangkan duplikasi parameter, gradien, dan status optimizer, sehingga memungkinkan pelatihan model yang jauh lebih besar.

• Framework: Untuk mengimplementasikan skema kompleks ini digunakan framework khusus seperti DeepSpeed, Megatron-LM, dan Hugging Face Accelerate.

Evolusi Historis Pendekatan

• 1980-1990-an: Model bahasa statistik berbasis n-gram.
• 2001-2010-an: Munculnya model bahasa berbasis jaringan neural menggunakan RNN dan LSTM, yang lebih baik dalam menangkap dependensi jangka panjang.
• 2017: Publikasi makalah "Attention Is All You Need" dan munculnya arsitektur Transformer, yang memungkinkan pelatihan paralel.
• 2018-2019: Munculnya transformer pra-terlatih pertama — GPT-1 dan BERT, yang memantapkan paradigma "pre-training + fine-tuning".
• 2020: Peluncuran GPT-3 menandai terobosan dalam skala dan munculnya kemampuan few-shot yang emergent.
• 2022: Peluncuran ChatGPT dan popularisasi RLHF sebagai metode kunci untuk menciptakan asisten AI yang berguna dan aman.
• 2023-kini: Era model multimodal (GPT-4, Gemini), persaingan untuk memperluas jendela konteks, dan pengembangan kemampuan agen.

Literatur

• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners. NIPS.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155.

Tautan

• Pengantar LLM — kursus dari Hugging Face