Evaluasi LLM

Evaluasi model bahasa besar (LLM) — adalah disiplin dalam bidang kecerdasan buatan yang menyediakan metode terstandarisasi untuk mengukur kemampuan, keterbatasan, dan risiko model bahasa. Seiring dengan integrasi LLM ke dalam sektor-sektor krusial seperti layanan kesehatan dan keuangan, evaluasi objektif terhadapnya menjadi keharusan untuk memastikan keamanan, keandalan, dan keadilan.

Evaluasi LLM menjalankan beberapa fungsi fundamental:

• Pengukuran kemampuan: Perbandingan objektif performa berbagai model pada tugas-tugas terstandarisasi.
• Pelacakan kemajuan: Pencatatan pencapaian dan identifikasi area yang memerlukan perbaikan lebih lanjut.
• Minimalisasi risiko: Identifikasi hasil yang berpotensi merugikan, seperti bias, halusinasi, dan masalah keamanan.
• Informasi bagi pengembang dan pengguna: Penyediaan informasi transparan untuk memilih model yang paling sesuai bagi aplikasi tertentu.

Pendekatan dan Metodologi Utama

Evaluasi LLM modern dimulai dengan munculnya benchmark komprehensif seperti GLUE (General Language Understanding Evaluation), yang menetapkan standar untuk menilai pemahaman bahasa secara umum. Seiring model-model mulai melampaui hasil manusia pada GLUE, dikembangkanlah penerus yang lebih kompleks, seperti SuperGLUE.

Pergeseran fundamental terjadi dengan diperkenalkannya benchmark multitugas seperti MMLU dan BIG-bench, yang menguji model pada spektrum pengetahuan dan kemampuan penalaran yang luas, melampaui sekadar tugas linguistik.

Metrik dan Benchmark Utama

Metrik Otomatis

• Perpleksitas (Perplexity): Metrik fundamental yang mengukur seberapa baik model memprediksi teks. Perpleksitas yang lebih rendah menunjukkan tingkat keyakinan model yang lebih tinggi terhadap prediksinya.
• BLEU dan ROUGE: Metrik berbasis n-gram yang mengukur kesesuaian leksikal antara teks yang dihasilkan dan teks referensi. BLEU berfokus pada presisi, ROUGE pada recall.
• BERTScore: Metrik semantik yang menggunakan embedding dari BERT untuk menghitung kemiripan semantik. Metrik ini mampu menangkap sinonimi dan parafrase, sehingga lebih akurat dibandingkan metrik berbasis n-gram.

Benchmark Khusus

Untuk menilai kemampuan tertentu, dikembangkan benchmark yang ditargetkan:

• Pembuatan kode: HumanEval mengevaluasi kemampuan model dalam menghasilkan kode program yang benar berdasarkan deskripsi teks, dengan memverifikasi fungsionalitasnya menggunakan unit test.
• Akal sehat: HellaSwag menguji pemahaman model tentang dunia fisik dan hubungan sebab-akibat melalui prediksi kelanjutan paling mungkin dari sebuah situasi sehari-hari.
• Pengetahuan akademis: MMLU (Massive Multitask Language Understanding) mencakup 57 mata pelajaran, mulai dari matematika dasar hingga hukum dan kedokteran, untuk menguji keluasan pengetahuan model.
• Batas kemampuan: BIG-bench (Beyond the Imitation Game) adalah proyek kolaboratif yang menggabungkan 204 tugas yang dirancang untuk mengidentifikasi kemampuan emergent — keterampilan yang muncul secara tiba-tiba ketika model mencapai skala kritis.

Evaluasi Keamanan dan Aspek Etis

• Bias: Untuk menilai prasangka sosial dan demografis, digunakan dataset seperti BBQ (Bias Benchmark for Question Answering) dan BOLD (Bias in Open-ended Language generation Dataset).
• Toksisitas: Benchmark seperti RealToxicityPrompts menyediakan prompt yang memicu pembuatan konten toksik guna mengevaluasi ketahanan model.
• Robustness: Dievaluasi menggunakan serangan adversarial. Framework PromptRobust menyediakan sekumpulan prompt komprehensif untuk menguji ketahanan model pada tingkat karakter, kata, dan kalimat.

Standar dan Framework Modern

• HELM (Holistic Evaluation of Language Models): Inisiatif Universitas Stanford yang menawarkan metodologi "holistik". HELM mengevaluasi model berdasarkan berbagai dimensi: akurasi, robustness, keadilan, bias, toksisitas, dan efisiensi.
• ISO/IEC 42001:2023: Standar internasional pertama untuk sistem manajemen AI, yang menetapkan persyaratan tata kelola AI sepanjang seluruh siklus hidupnya.
• Regulasi EU 2024/1689 (EU AI Act): Regulasi AI komprehensif pertama yang mewajibkan evaluasi terstandarisasi untuk model tujuan umum dengan risiko sistemik.
• NIST AI Risk Management Framework 1.0: Framework sukarela untuk pengembangan dan penerapan AI yang andal, yang dikembangkan oleh National Institute of Standards and Technology Amerika Serikat.

Masalah dan Keterbatasan Metode yang Ada

• Kejenuhan benchmark: Banyak model mencapai skor hampir sempurna pada benchmark populer, yang mengarah pada fenomena "perburuan benchmark", di mana model dioptimalkan untuk tes tertentu, bukan untuk kemampuan umum.
• Kontaminasi data: Masalah kritis di mana data uji dari benchmark secara tidak sengaja masuk ke dalam set pelatihan, sehingga menghasilkan skor evaluasi yang meningkat secara tidak wajar dan tidak jujur.
• Korelasi rendah dengan penilaian manusia: Metrik otomatis seperti BLEU dan ROUGE seringkali berkorelasi buruk dengan penilaian kualitas oleh manusia, khususnya pada tugas-tugas kreatif dan open-ended.

Penelitian Terkini dan Tren

• Paradigma LLM-as-a-Judge: Penggunaan LLM yang kuat (misalnya, GPT-4) sebagai "juri" untuk mengevaluasi jawaban model-model lain. Pendekatan ini menyediakan alternatif yang skalabel dibandingkan evaluasi manusia yang mahal.
• Evaluasi dinamis dan adaptif: Platform seperti LMArena menghadirkan sistem crowdsourcing dengan peringkat Elo untuk evaluasi model secara nyata dalam interaksi langsung dengan pengguna.
• Pendekatan hibrida: Penggabungan metrik otomatis dengan penilaian manusia dan evaluasi LLM untuk mendapatkan gambaran performa model yang lebih lengkap dan andal.

Lanskap evaluasi LLM terus berkembang, bergerak menuju pembentukan framework multidimensional, terstandarisasi, dan dapat direproduksi yang mempertimbangkan tidak hanya akurasi, tetapi juga aspek sosial dan etis dari penerapan teknologi AI.

Referensi

• Stanford HELM — situs resmi proyek Holistic Evaluation of Language Models.
• Chatbot Arena — platform untuk evaluasi komparatif chatbot berdasarkan preferensi manusia.

Literatur

• Wang, A. et al. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv:1804.07461.
• Zhang, T. et al. (2019). BERTScore: Evaluating Text Generation with BERT. arXiv:1904.09675.
• Wang, A. et al. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv:1905.00537.
• Zellers, R. et al. (2019). HellaSwag: Can a Machine Really Finish Your Sentence?. arXiv:1905.07830.
• Hendrycks, D. et al. (2020). Measuring Massive Multitask Language Understanding. arXiv:2009.03300.
• Gehman, S. et al. (2020). RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. arXiv:2009.11462.
• Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code. arXiv:2107.03374.
• Parrish, A. et al. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering. arXiv:2110.08193.
• Dhamala, J. et al. (2021). BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation. arXiv:2101.11718.
• Srivastava, A. et al. (2022). Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. arXiv:2206.04615.
• Bommasani, R. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Zhuang, Y. et al. (2023). Through the Lens of Core Competency: Survey on Evaluation of Large Language Models. ACL Anthology:2023.ccl-2.8.
• Zhu, K. et al. (2023). PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts. arXiv:2306.04528.