LLaMA (Meta AI) (ID)

LLaMA (Large Language Model Meta AI) — keluarga model bahasa besar (LLM) dengan kode sumber yang sebagian besar terbuka, dikembangkan oleh divisi riset Meta AI. Model-model LLaMA dibangun di atas arsitektur transformer yang dimodifikasi dan dirancang untuk efisiensi komputasi yang tinggi, demokratisasi akses terhadap teknologi AI mutakhir, serta kemudahan adaptasi untuk tugas-tugas khusus. Keluarga ini telah berevolusi dari rilis riset awal LLaMA 1 (Februari 2023) hingga model multimodal LLaMA 4 (rilis yang direncanakan pada 2026).

Penamaan

Akronim LLaMA merupakan singkatan dari Large Language Model Meta AI (Model Bahasa Besar Meta AI).

• Large Language Model — menekankan skala model yang parameternya diukur dari miliaran hingga triliunan.
• Meta AI — merujuk pada pengembangnya, yaitu kelompok riset Meta.

Sejarah Pembuatan

Pengembangan LLaMA dimulai pada akhir 2022 sebagai respons strategis Meta terhadap kesuksesan ChatGPT dari OpenAI. Mark Zuckerberg membentuk tim multidisiplin yang mencakup para peneliti dari laboratorium FAIR (Facebook AI Research). Peran kunci dalam filosofi proyek dimainkan oleh Yann LeCun, kepala FAIR, yang sejak 2013 berpegang pada prinsip keterbukaan penuh atas seluruh penelitian laboratorium.

Versi pertama, LLaMA 1, dirilis pada Februari 2023 dengan lisensi riset. Tak lama setelah rilis, pada Maret 2023, bobot model tersebut bocor ke internet melalui BitTorrent. Peristiwa ini, berlawanan dengan kekhawatiran yang ada, tidak menghentikan melainkan justru mendorong perkembangan proyek, karena memberi kesempatan kepada para peneliti independen dan para penggemar di seluruh dunia untuk bereksperimen dengan model tersebut. Hasilnya, puluhan ribu model turunan bermunculan di platform Hugging Face. Versi-versi berikutnya, mulai dari LLaMA 2, dirilis dengan lisensi komersial, memantapkan status LLaMA sebagai pemain kunci di pasar model AI terbuka.

Evolusi Model dan Kronologi Rilis

Kronologi perkembangan model LLaMA

Versi	Tanggal Rilis	Rentang Parameter	Inovasi dan Fitur Utama
LLaMA 1	Februari 2023	7B – 65B	Arsitektur dasar (RMSNorm, SwiGLU, RoPE). Pelatihan pada 1,4 triliun token. Jendela konteks 2048 token. Lisensi riset.
LLaMA 2	Juli 2023	7B – 70B	Fine-tuning untuk dialog (RLHF). Penerapan Grouped-Query Attention (GQA). Jendela konteks 4096 token. Lisensi komersial pertama.
Code Llama	Agustus 2023	7B – 70B	Versi khusus untuk kode. Fine-tuning pada 500 miliar token kode. Varian: dasar, khusus Python, instruction-tuned.
LLaMA 3	April 2024	8B, 70B	Pelatihan pada 15 triliun token. Tokenizer yang ditingkatkan dengan kosakata 128 ribu token. Performa tinggi (82% pada MMLU).
LLaMA 3.1	Juli 2024	8B, 70B, 405B	Model unggulan 405B dengan performa setara GPT-4o. Jendela konteks hingga 128 ribu token. Kemampuan pemrosesan gambar tersedia.
LLaMA 4	(rencana: April 2025)	109B (Scout), 400B (Maverick), 2T (Behemoth)	Arsitektur Mixture-of-Experts (MoE). Multimodalitas natif (teks, gambar, video). Jendela konteks hingga 10 juta token.

Arsitektur

LLaMA menggunakan arsitektur transformer-decoder autoregresif, namun memperkenalkan sejumlah peningkatan utama yang meningkatkan efisiensi komputasi dan kualitas teks yang dihasilkan:

• Pre-normalization (Normalisasi Awal). Normalisasi diterapkan pada masukan setiap sub-lapisan transformer, bukan pada keluarannya. Pendekatan ini menstabilkan pelatihan jaringan yang sangat dalam dan mencegah masalah gradien.
• RMSNorm (Root Mean Square Layer Normalization). Sebagai pengganti LayerNorm standar, digunakan RMSNorm. Teknik normalisasi ini menghilangkan operasi pengurangan rata-rata, sehingga mempercepat komputasi sebesar 10–50% dengan tetap menjaga stabilitas.
• SwiGLU (Swish-Gated Linear Unit). Sebagai fungsi aktivasi, digunakan SwiGLU sebagai pengganti ReLU atau GELU. Mekanisme gating ini menciptakan aliran gradien yang lebih halus dan meningkatkan kualitas model.
• RoPE (Rotary Position Embeddings, Embedding Posisi Rotasional). Untuk pengkodean posisi token, digunakan embedding posisi relatif RoPE, yang memungkinkan model mengekstrapolasi lebih baik pada urutan yang lebih panjang dari yang digunakan saat pelatihan.
• GQA (Grouped-Query Attention). Diperkenalkan pada LLaMA 2, teknik ini merupakan optimasi dari multi-head attention yang secara signifikan mengurangi kebutuhan memori dan mempercepat pembuatan teks.
• Mixture-of-Experts (MoE) (direncanakan pada LLaMA 4). Arsitektur yang membagi parameter model menjadi sub-jaringan "ahli", mengaktifkan hanya sebagian kecil dari mereka untuk setiap permintaan. Hal ini secara drastis mengurangi biaya komputasi inferensi.

Konfigurasi LLaMA 1

Parameter arsitektur model LLaMA 1

Model	Parameter	Dimensi Hidden State	Jml. Lapisan	Jml. Kepala Attention	Volume Data Pelatihan
7B	6.7B	4096	32	32	1.0T token
13B	13.0B	5120	40	40	1.0T token
33B	32.5B	6656	60	52	1.4T token
65B	65.2B	8192	80	64	1.4T token

Data Pelatihan

Volume korpus pelatihan meningkat dari 1,4 triliun token untuk LLaMA 1 menjadi 15 triliun untuk LLaMA 3. Untuk pelatihan digunakan sumber-sumber yang tersedia untuk umum, termasuk Common Crawl (mencakup hingga 67% data), C4, GitHub, Wikipedia, Books, ArXiv, dan Stack Exchange. Untuk LLaMA 3 juga digunakan data privat berkualitas tinggi.

Performa dan Perbandingan

• Pada benchmark: Model LLaMA 3.1 (405B) menunjukkan hasil yang mendekati GPT-4o: pada tes MMLU mencapai 88,6%, hanya tertinggal 0,1 poin persentase dari GPT-4o. Pada tugas pembuatan kode HumanEval, LLaMA 3.1 menunjukkan 89% (GPT-4o — 90,2%).
• Efisiensi parameter: Model-model LLaMA dengan jumlah parameter yang lebih sedikit sering kali melampaui model-model kompetitor yang lebih besar. Misalnya, LLaMA 1 (13B) melampaui GPT-3 (175B) pada sebagian besar pengujian.
• Biaya: Dengan hosting lokal, biaya inferensi LLaMA dapat hingga 50 kali lebih rendah dibandingkan dengan penggunaan API proprietary, sehingga teknologi ini terjangkau oleh usaha kecil dan menengah.

Lisensi

• LLaMA 1 didistribusikan di bawah lisensi riset non-komersial dengan akses berdasarkan permintaan.
• LLaMA 2 dan versi-versi berikutnya didistribusikan di bawah Llama Community License, yang mengizinkan penggunaan komersial dan modifikasi. Namun, lisensi ini mengandung pembatasan: perusahaan dengan lebih dari 700 juta pengguna aktif per bulan harus mendapatkan izin khusus dari Meta. Hal ini memicu perdebatan tentang apakah LLaMA benar-benar merupakan model yang sepenuhnya terbuka.

Penerapan

Model-model LLaMA telah diintegrasikan ke dalam produk ribuan perusahaan dan digunakan di berbagai bidang:

• Sektor korporat: Zoom menggunakan LLaMA dalam AI Companion untuk ringkasan rapat; Shopify — untuk memproses 40–60 juta permintaan per hari guna memperkaya metadata produk; Instacart — dalam asisten internal Ava.
• Ilmu pengetahuan dan masyarakat: Meditron (adaptasi LLaMA) digunakan untuk diagnosis medis di daerah dengan sumber daya terbatas;
• Sektor pemerintah dan industri: Meta menjalin kemitraan dengan Lockheed Martin dan Palantir. NASA menggunakan LLaMA 3 di ISS sebagai asisten offline untuk menjalankan operasi-operasi kritis tanpa koneksi ke Bumi.

Keterbatasan dan Kritik

• Bias dan keamanan: Audit independen menunjukkan bahwa model-model LLaMA, meskipun telah menerapkan langkah-langkah keamanan, dapat mereproduksi stereotip yang merugikan. Bocornya bobot LLaMA 1 mempertajam pertanyaan tentang potensi penyalahgunaan teknologi secara jahat.
• Kesenjangan pengetahuan: Di bidang-bidang yang sangat khusus, LLaMA dapat menunjukkan kesenjangan pengetahuan. Misalnya, akurasi pada tes medis nephSAP adalah 17–30% dibandingkan 73% untuk GPT-4.
• Konsumsi energi: Pelatihan model-model besar membutuhkan sumber daya yang sangat besar. Pelatihan LLaMA 1 membutuhkan 2.638 MWh, yang setara dengan emisi 1.015 ton CO₂.

Masa Depan

Meta berencana menginvestasikan hingga 65 miliar dolar AS dalam infrastruktur AI pada 2025. Dalam pengembangan terdapat model LLaMA 4 Behemoth dengan 2 triliun parameter, yang akan mendukung lebih dari 200 bahasa dan mendapatkan integrasi mendalam dengan produk-produk metaverse.

Daftar Pustaka

• Ainslie, J. et al. (2023). GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints. arXiv:2305.13245.
• Fedus, W.; Zoph, B.; Shazeer, N. (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961.
• Grattafiori, A. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.
• Jiang, Z. et al. (2023). Pre‑RMSNorm and Pre‑CRMSNorm Transformers: Equivalent and Efficient Pre‑LN Transformers. arXiv:2305.14858.
• Rozière, B. et al. (2023). Code Llama: Open Foundation Models for Code. arXiv:2308.12950.
• Shazeer, N. (2020). GLU Variants Improve Transformer. arXiv:2002.05202.
• Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864.
• Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971.
• Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine‑Tuned Chat Models. arXiv:2307.09288.
• Zhang, B.; Sennrich, R. (2019). Root Mean Square Layer Normalization. arXiv:1910.07467.

Lihat Juga

• GPT
• Model bahasa besar
• Transformer (arsitektur jaringan neural)