Benchmark LLM

From Systems analysis Wiki
Jump to navigation Jump to search

Benchmark model bahasa besar — adalah kumpulan uji terstandarisasi yang dirancang untuk mengukur, membandingkan, dan mengevaluasi kualitas serta kemampuan model bahasa besar (LLM)[1]. Biasanya setiap benchmark terdiri dari sekumpulan tugas tetap (misalnya, pertanyaan, teks, atau instruksi) yang jawabannya atau kriteria penilaiannya telah diketahui sebelumnya. Pendekatan ini memastikan perbandingan objektif antara berbagai model dalam kondisi yang sama, memungkinkan pemantauan kemajuan di bidang ini serta mengidentifikasi kekuatan dan kelemahan masing-masing model[2].

Penggunaan benchmark secara rutin memainkan peran kunci dalam pengembangan LLM, mendorong para pengembang untuk meningkatkan model dan memastikan transparansi serta keterbandingan hasil dalam komunitas ilmiah. Evolusi benchmark mencerminkan perkembangan LLM itu sendiri: dari tugas-tugas sederhana pemahaman bahasa hingga pengujian kompleks yang menguji penalaran multi-langkah, akal sehat, etika, dan keamanan[3].

Kategori utama dan contoh-contohnya

Benchmark LLM mencakup berbagai keterampilan dan bidang penerapan. Berikut ini dibahas kategori-kategori utama beserta kumpulan tugas yang paling dikenal dalam masing-masing kategori.

Pemahaman bahasa umum

Kategori ini mengevaluasi kemampuan dasar model dalam memahami dan menginterpretasikan bahasa alami.

  • GLUE (General Language Understanding Evaluation, 2019) — salah satu benchmark komprehensif pertama yang mencakup sejumlah tugas beragam: mulai dari penentuan sentimen hingga penilaian koherensi logis teks. Hasil dari semua tugas diagregasi menjadi satu skor tunggal, yang memungkinkan perbandingan model-model awal berdasarkan efektivitas totalnya[4].
  • SuperGLUE (2019) — penerus GLUE yang "diperkuat", dikembangkan sebagai respons atas fakta bahwa model-model dengan cepat mencapai tingkat mendekati kemampuan manusia pada benchmark tersebut. SuperGLUE mencakup tugas-tugas yang lebih sulit yang memerlukan pemahaman konteks mendalam dan kemampuan menarik kesimpulan[5].
  • WinoGrande (2019) — variasi yang diperluas dari Winograd Schema. Berisi 44 ribu tugas untuk menyelesaikan ambiguitas kata ganti dalam kalimat-kalimat yang memerlukan akal sehat untuk memilih interpretasi yang tepat[6].

Benchmark multitugas dan komprehensif

Kumpulan ini menguji model pada spektrum pengetahuan dan keterampilan yang luas, melampaui batas tugas-tugas linguistik semata.

  • MMLU (Massive Multitask Language Understanding, 2020) — kumpulan tugas berbentuk kuis yang mencakup 57 bidang tematik: dari mata pelajaran sekolah hingga pengetahuan profesional yang sangat terspesialisasi (hukum, kedokteran). MMLU mengukur keluasan wawasan model[7].
  • BIG-bench (Beyond the Imitation Game Benchmark, 2022) — benchmark kolaboratif terbesar pada saat pembuatannya, dikembangkan oleh lebih dari 400 penulis. Benchmark ini mencakup lebih dari 200 tugas dengan berbagai topik, dari linguistik hingga fisika, untuk menguji model di luar pencocokan pola dan mengidentifikasi batasannya dalam situasi tidak standar[8].

Akal sehat dan kejujuran

Benchmark-benchmark ini mengevaluasi kemampuan model untuk menarik kesimpulan logis tentang situasi sehari-hari dan menghindari penyebaran informasi yang salah.

  • HellaSwag (2019) — menguji akal sehat melalui tugas memilih kelanjutan paling masuk akal dari sebuah deskripsi situasi. Keunikan benchmark ini adalah adanya "jebakan": jawaban yang salah dibuat secara otomatis dan terlihat sangat meyakinkan, sehingga model dituntut memiliki pemahaman konteks yang mendalam[9].
  • TruthfulQA (2021) — mengukur kecenderungan model untuk menyebarkan mitos dan kesalahpahaman yang umum beredar. Berisi pertanyaan-pertanyaan yang jawabannya populer di internet justru tidak benar (misalnya, "Apakah vaksin menyebabkan autisme?"). Model dituntut untuk tidak terjebak pada stereotip yang keliru dan memberikan jawaban yang faktual dan akurat[10].

Soal-soal matematika

  • GSM8K (2021) — mencakup ribuan soal cerita matematika setingkat sekolah dasar. Setiap soal memerlukan serangkaian 2–8 langkah aritmatika untuk mendapatkan jawaban, yang menguji kemampuan model dalam penalaran multi-langkah[11].
  • MATH (2021) — kumpulan yang lebih sulit, terdiri dari soal-soal olimpiade dan kompetisi matematika. Mencakup bagian aljabar, geometri, dan teori bilangan, menuntut model untuk menguasai metode penyelesaian yang tidak trivial[12].

Pembuatan kode program

  • HumanEval (2021) — uji standar untuk mengevaluasi kemampuan LLM dalam menulis kode. Berisi 164 tugas pemrograman di mana model harus menghasilkan kode Python yang benar berdasarkan deskripsi yang diberikan. Ketepatan dinilai menggunakan unit test[13].
  • SWE-bench (2023) — benchmark yang lebih realistis, mengumpulkan deskripsi masalah nyata (issues) dari GitHub. Model harus menghasilkan patch (potongan kode) yang menyelesaikan masalah tersebut. Hal ini memerlukan pemahaman atas volume kode orang lain yang besar dan penalaran bertahap yang kompleks[14].

Evaluasi model dialog

  • Chatbot Arena (2024) — platform online terbuka di mana dua model anonim berpartisipasi dalam dialog berpasangan dengan pengguna. Setelah dialog, pengguna memberikan suara untuk jawaban mana yang lebih baik. Berdasarkan ribuan "duel" semacam ini, terbentuk peringkat Elo preferensi pengguna yang mencerminkan kualitas model dalam percakapan nyata[15].
  • MT-Bench (2023) — benchmark otomatis untuk stress-testing kemampuan dialog. Berisi 80 pasang pertanyaan yang meniru dialog multi-giliran. Jawaban model dinilai oleh LLM lain yang lebih kuat ("LLM-as-a-judge", misalnya GPT-4) berdasarkan skala yang telah ditentukan sebelumnya[16].

Keamanan dan keandalan

  • AgentHarm (2024) — benchmark yang mengevaluasi kecenderungan agen LLM untuk melaksanakan instruksi berbahaya. Mencakup 110 skenario yang merepresentasikan tugas-tugas berbahaya (dari penipuan hingga kejahatan siber). Model yang baik harus menolak untuk memenuhi permintaan semacam itu[17].
  • SafetyBench (2023) — kumpulan luas berisi lebih dari 11 ribu pertanyaan yang menguji sejauh mana model secara konsisten menghindari pembuatan konten tidak pantas dan saran berbahaya, termasuk merespons permintaan yang provokatif[18].

Keterbatasan dan permasalahan aktual

  • Kontaminasi data: Ancaman utama terhadap validitas evaluasi adalah kebocoran data pengujian ke dalam kumpulan data pelatihan. Model dapat sekadar menghafal jawaban, yang secara artifisial meningkatkan hasilnya[2].
  • Kejenuhan benchmark: Seiring berkembangnya model, kinerjanya pada benchmark lama (seperti GLUE) mencapai batas tertinggi, dan pengujian tersebut tidak lagi berguna untuk membedakan model-model baru yang lebih kuat. Hal ini menuntut pengembangan tolok ukur yang lebih kompleks secara berkelanjutan[2].
  • Kesenjangan dengan realita: Hasil tinggi pada benchmark tidak selalu menjamin kinerja model yang andal dalam skenario nyata yang tidak terstruktur. Lingkungan nyata sering kali jauh lebih kaya dan tidak terduga dibandingkan kumpulan tugas tetap mana pun[1].

Tautan

  • Open LLM Leaderboard — peringkat model terbuka dari komunitas Hugging Face
  • Chatbot Arena Leaderboard — peringkat model chat berdasarkan preferensi pengguna manusia

Catatan

  1. ↑ 1.0 1.1 «What Are LLM Benchmarks?». IBM. [1]
  2. ↑ 2.0 2.1 2.2 «20 LLM evaluation benchmarks and how they work». Evidently AI. [2]
  3. ↑ Wang, Alex; Singh, Amanpreet; Michael, Julian; et al. «GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding». arXiv. [4]
  4. ↑ Wang, Alex; Pruksachatkun, Yada; Nangia, Nikita; et al. «SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems». arXiv. [5]
  5. ↑ Sakaguchi, Keisuke; Le Bras, Ronan; Bhagavatula, Chandra; Choi, Yejin. «WinoGrande: An Adversarial Winograd Schema Challenge at Scale». arXiv. [6]
  6. ↑ Hendrycks, Dan; Burns, Collin; Basart, Steven; et al. «Measuring Massive Multitask Language Understanding». arXiv. [7]
  7. ↑ Srivastava, Aarohi; et al. «Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models». arXiv. [8]
  8. ↑ Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; et al. «HellaSwag: Can a Machine Really Finish Your Sentence?». arXiv. [9]
  9. ↑ Lin, Stephanie; Hilton, Jacob; Evans, Owain. «TruthfulQA: Measuring How Models Mimic Human Falsehoods». arXiv. [10]
  10. ↑ Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; et al. «Training Verifiers to Solve Math Word Problems». arXiv. [11]
  11. ↑ Hendrycks, Dan; Burns, Collin; Saund, Saurav; et al. «Measuring Mathematical Problem Solving With the MATH Dataset». arXiv. [12]
  12. ↑ Chen, Mark; Tworek, Jerry; Jun, Heewoo; et al. «Evaluating Large Language Models Trained on Code». arXiv. [13]
  13. ↑ Jimenez, Carlos E.; et al. «SWE-bench: Can Language Models Resolve Real-World GitHub Issues?». arXiv. [14]
  14. ↑ Chiang, Wei-Lin; et al. «Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preferences». lmsys.org. [15]
  15. ↑ Zheng, Lianmin; et al. «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena». arXiv. [16]
  16. ↑ Andriushchenko, Maksym; et al. «AgentHarm: A Benchmark for Asessing Agentic AI Harm». arXiv. [17]
  17. ↑ Zhang, Zhexin; et al. «SafetyBench: A Comprehensive Benchmark for Evaluating the Safety of Large Language Models». arXiv. [18]
Retrieved from "https://systems-analysis.info/int/index.php?title=Benchmark_LLM&oldid=754"