Optimisasi Biaya Penggunaan LLM
Optimisasi biaya penggunaan model bahasa besar (LLM) — adalah sekumpulan strategi dan metode teknis yang bertujuan untuk mengurangi sumber daya komputasi dan finansial yang diperlukan untuk pelatihan, fine-tuning, dan terutama inferensi model bahasa besar. Relevansi bidang ini disebabkan oleh besarnya biaya baik dalam pengembangan maupun pengoperasian LLM.
Sebagai contoh, pelatihan model GPT-3 dengan 175 miliar parameter diperkirakan menghabiskan sekitar $4,6 juta pada infrastruktur GPU cloud[1] dan membutuhkan 1,3 juta kWh energi listrik[2]. Namun, biaya utama seringkali jatuh pada tahap inferensi. Diperkirakan, biaya operasional harian untuk mendukung layanan ChatGPT pada awal tahun 2023 mencapai sekitar $700 ribu (sekitar $0,0036 per permintaan), yang jauh melebihi biaya pelatihan satu kali[3].
Optimisasi pada Tahap Pelatihan dan Pemilihan Model
Manajemen biaya yang efektif dimulai dari keputusan-keputusan mendasar yang diambil sebelum tahap inferensi.
Hukum Penskalaan: Ukuran Model vs. Volume Data
Salah satu terobosan kunci dalam memahami ekonomi pelatihan LLM adalah hukum penskalaan Chinchilla, yang dipresentasikan oleh para peneliti DeepMind pada tahun 2022. Mereka menunjukkan bahwa untuk penggunaan anggaran komputasi yang optimal, model sebaiknya dilatih pada volume data yang jauh lebih besar daripada yang dilakukan sebelumnya[4].
Sebelumnya diasumsikan bahwa performa tumbuh terutama dengan meningkatkan jumlah parameter. Namun, penelitian Chinchilla mendemonstrasikan bahwa model Chinchilla (70 miliar parameter), yang dilatih pada 1,4 triliun token, melampaui kualitas model GPT-3 yang jauh lebih besar (175 miliar parameter), yang hanya dilatih pada sekitar 300 miliar token[5]. Rasio yang direkomendasikan adalah sekitar 20 token data pelatihan untuk setiap parameter model. Pendekatan ini memungkinkan pembuatan model yang lebih ringkas dan efisien, mengurangi biaya pelatihan maupun inferensi berikutnya.
Fine-tuning dan Efisiensinya
Alih-alih pelatihan model dari awal yang mahal, semakin umum dipraktikkan fine-tuning model terbuka yang sudah ada (misalnya, keluarga LLaMA, Falcon). Untuk mengurangi biaya lebih lanjut, digunakan metode Parameter-Efficient Fine-Tuning (PEFT).
Metode yang paling populer, LoRA (Low-Rank Adaptation), memungkinkan adaptasi model dengan hanya memperbarui sejumlah kecil parameter tambahan. Penelitian menunjukkan bahwa LoRA dapat mengurangi biaya fine-tuning hingga puluhan persen (hingga ~68% dalam beberapa skenario) dengan dampak yang tidak signifikan terhadap kualitas[6].
Pengurangan Ukuran Model (Model Compression)
Arah optimisasi yang paling penting adalah pengurangan ukuran fisik model sambil mempertahankan performanya.
Distilasi Pengetahuan (Knowledge Distillation)
Distilasi pengetahuan adalah proses di mana model "guru" yang besar dan kuat digunakan untuk melatih model "murid" yang lebih ringkas. Murid belajar meniru respons guru pada sekumpulan data yang luas, mengambil alih "pengetahuan"-nya. Metode ini memungkinkan pencapaian kualitas yang sebanding pada tugas-tugas tertentu dengan biaya yang jauh lebih rendah. Misalnya, model DeepSeek-R1 berhasil didistilasi dari 671 miliar menjadi 70 miliar dan bahkan 1,5 miliar parameter dengan penurunan kualitas yang dapat diterima untuk banyak aplikasi[7].
Kuantisasi (Quantization)
Kuantisasi adalah proses pengurangan presisi numerik yang digunakan untuk merepresentasikan bobot model. Alih-alih angka floating-point 32-bit atau 16-bit standar, digunakan bilangan bulat 8-bit atau bahkan 4-bit.
- Kuantisasi 8-bit mengurangi ukuran model sekitar 50% dengan kehilangan presisi sekitar 1%.
- Kuantisasi 4-bit mengurangi ukuran model sebesar 75%, sambil tetap mempertahankan kualitas inferensi yang kompetitif[7].
Dengan adanya dukungan perangkat keras (misalnya, pada GPU modern dari Nvidia) dan pustaka perangkat lunak (misalnya, TensorRT), kuantisasi dapat mempercepat inferensi 2–4 kali lipat[8].
Optimisasi pada Tahap Inferensi
Ketika model telah dilatih dan diterapkan, porsi utama pengeluaran berkaitan dengan penggunaan sehari-harinya.
Pengelompokan Permintaan (Batching)
Batching adalah penggabungan beberapa permintaan pengguna ke dalam satu "batch" untuk diproses secara bersamaan pada GPU. Hal ini secara signifikan meningkatkan utilisasi perangkat keras dan throughput keseluruhan. Untuk LLM, di mana generasi respons terjadi satu token pada satu waktu, metode yang paling efektif adalah continuous batching (continuous/in-flight batching). Metode ini memungkinkan penambahan permintaan baru secara dinamis ke dalam batch seiring permintaan lain di dalamnya selesai, sehingga menghilangkan waktu idle dan memaksimalkan beban GPU[9].
Penyimpanan Cache Kunci dan Nilai (KV Cache)
Dalam model transformer, untuk menghasilkan setiap token baru diperlukan informasi tentang semua token sebelumnya. Untuk menghindari pertumbuhan komputasi secara eksponensial, digunakan penyimpanan cache kunci dan nilai (KV Cache). Sistem menyimpan hasil antara komputasi mekanisme attention untuk konteks yang telah diproses dan menggunakannya kembali, sehingga membuat generasi urutan panjang dan dialog multi-giliran menjadi jauh lebih efisien[7].
Optimisasi Mekanisme Attention
Penyimpanan KV cache membutuhkan kapasitas memori yang signifikan. Untuk menguranginya, dikembangkan varian mekanisme attention yang dioptimalkan:
- Multi-Query Attention (MQA): Semua head attention menggunakan satu set kunci dan nilai yang sama.
- Grouped-Query Attention (GQA): Kompromi di antara keduanya, di mana head attention dibagi menjadi kelompok-kelompok, dan setiap kelompok menggunakan set kunci dan nilai yang sama.
Perusahaan Meta berhasil menerapkan GQA dalam model LLaMA 2, yang memungkinkan peningkatan signifikan dalam efisiensi inferensi saat bekerja dengan konteks panjang tanpa kehilangan kualitas yang berarti[10].
Optimisasi Infrastruktur dan Arsitektur Sistem
Sistem Hibrida dan Retrieval-Augmented Generation (RAG)
Tidak selalu diperlukan model terbesar dan paling kuat untuk suatu tugas. Pendekatan hibrida atau kaskade menggunakan model kecil dan murah untuk permintaan sederhana, dan hanya jika gagal atau untuk tugas-tugas kompleks, permintaan diarahkan ke model besar dan mahal.
Kasus khusus yang sangat efektif dari pendekatan ini adalah Retrieval-Augmented Generation (RAG). Dalam arsitektur ini, LLM dapat berukuran relatif ringkas, karena untuk menjawab pertanyaan ia menggunakan informasi terkini yang diperoleh dari basis pengetahuan eksternal (misalnya, dari dokumentasi perusahaan atau mesin pencari). Hal ini tidak hanya mengurangi persyaratan ukuran model, tetapi juga mengatasi masalah halusinasi. Penerapan model khusus 70 miliar parameter dengan RAG pada infrastruktur lokal bisa 2–4 kali lebih murah dibandingkan menggunakan API GPT-4 di cloud[11].
Catatan
- ↑ «OpenAI's GPT-3 Language Model: A Technical Overview». Lambda Labs. [1]
- ↑ «The Energy Footprint of Humans and Large Language Models». Communications of the ACM. [2]
- ↑ «The Inference Cost Of Search Disruption - Large Language Model Cost Analysis». SemiAnalysis. [3]
- ↑ Hoffmann, J., et al. (2022). «Training Compute-Optimal Large Language Models». arXiv:2203.15556.
- ↑ Chow, T. (2024). «Three Kuhnian Revolutions in ML Training». Substack. [4]
- ↑ «A Study to Evaluate the Impact of LoRA Fine-tuning on the Performance of Non-functional Requirements Classification». arXiv:2503.07927. (2025).
- ↑ 7.0 7.1 7.2 «LLM Inference Optimization: How to Speed Up, Cut Costs, and Scale AI Models». deepsense.ai. [5]
- ↑ Jin, H., et al. (2024). «GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers».
- ↑ «Continuous vs dynamic batching for AI inference». Baseten Blog. [6]
- ↑ «What is grouped query attention?». IBM. [7]
- ↑ «Inferencing on-premises with Dell Technologies». Dell Technologies Analyst Paper. [8]