HumanEval Benchmark (ID)

From Systems analysis Wiki
Jump to navigation Jump to search

HumanEval — adalah dataset acuan (benchmark) yang dirancang untuk mengevaluasi secara objektif kualitas kode yang dihasilkan oleh model kecerdasan buatan berdasarkan deskripsi tugas dalam bentuk teks[1]. Benchmark ini diperkenalkan pada Juli 2021 oleh para peneliti OpenAI di bawah pimpinan Mark Chen dan menjadi salah satu standar utama untuk mengukur kebenaran fungsional program yang dihasilkan.

Pengembangan HumanEval didorong oleh kebutuhan akan metode evaluasi kode generasi yang andal. Sebelumnya, kualitas kode yang dihasilkan oleh model bahasa sering dinilai menggunakan metrik tidak langsung (misalnya, BLEU) atau secara manual, yang tidak menjamin kesesuaian dengan fungsionalitas program yang sesungguhnya. HumanEval mengatasi masalah ini dengan berfokus pada kebenaran fungsional: kode yang dihasilkan dinilai bukan berdasarkan kemiripan sintaksisnya dengan solusi acuan, melainkan berdasarkan kemampuannya untuk berhasil melewati serangkaian unit test otomatis[1].

Struktur kumpulan soal

Benchmark ini terdiri dari 164 soal pemrograman yang ditulis secara manual khusus untuk dataset ini, guna memastikan bahwa soal-soal tersebut tidak terdapat dalam data pelatihan model. Semua soal dirumuskan dalam bahasa Python dan disajikan dalam bentuk cuplikan kode beserta deskripsinya[2].

Setiap soal mencakup:

  • Header fungsi: Tanda tangan fungsi beserta nama dan parameternya.
  • Deskripsi teks: Docstring dalam bahasa Inggris yang mendeskripsikan fungsionalitas yang diperlukan.
  • Badan fungsi: Bagian kosong yang harus diisi oleh model dengan kode yang dihasilkan.

Untuk setiap soal juga disediakan elemen-elemen yang disembunyikan dari model:

  • Solusi kanonik: Implementasi fungsi yang benar (acuan).
  • Kumpulan unit test: Digunakan untuk memeriksa kebenaran kode yang dihasilkan secara otomatis. Pengujian mencakup kasus-kasus umum maupun kasus tepi.

Soal-soal mencakup berbagai topik: mulai dari konstruksi bahasa dasar dan algoritma hingga matematika sederhana, sehingga menjadikan kumpulan soal ini beragam dan menantang bagi model.

Metodologi evaluasi model

Metrik utama keberhasilan pada HumanEval adalah pass@k, yang mengukur proporsi soal yang berhasil diselesaikan oleh model secara fungsional dengan benar[1]. Suatu solusi dianggap berhasil apabila kode yang dihasilkan lolos semua pengujian otomatis untuk soal tersebut.

  • pass@1: Indikator utama yang paling sering digunakan. Ini menunjukkan persentase soal yang berhasil diselesaikan oleh model pada percobaan pertama (yaitu saat menghasilkan satu varian solusi per soal).
  • pass@k: Secara umum, metrik ini menunjukkan proporsi soal yang memiliki setidaknya satu dari k varian solusi yang dihasilkan model dan berhasil melewati semua pengujian. Misalnya, pass@10 menunjukkan berapa proporsi soal yang mampu diselesaikan oleh model jika diberi hingga 10 percobaan untuk setiap soal.

Karena perhitungan langsung pass@k memerlukan jumlah sampel yang besar, para penulis mengusulkan metode perhitungan yang secara statistik tepat untuk metrik ini, yang memungkinkan diperolehnya estimasi yang tidak bias[1].

Pengujian praktis dilakukan dalam "sandbox" khusus: kode yang dihasilkan dikompilasi dan dijalankan pada serangkaian pengujian verifikasi. Pendekatan ini memungkinkan pengukuran kemampuan model dalam menghasilkan kode yang dapat dieksekusi dan benar, bukan sekadar kode yang mirip secara sintaksis dengan acuan.

Hasil dan pengaruh terhadap industri

Eksperimen awal pada HumanEval menunjukkan kesenjangan signifikan antara model serba guna dan model yang dilatih khusus untuk kode.

  • Pada tahun 2021, model OpenAI Codex (12 miliar parameter, dilatih pada kode dari GitHub) berhasil menyelesaikan ~28,8% soal pada percobaan pertama (pass@1).
  • Sementara itu, model bahasa yang lebih besar GPT-3 (175 miliar parameter), yang tidak dilatih pada kode, tidak mampu menyelesaikan satu pun soal dengan benar[1].

Hasil-hasil ini menegaskan perlunya pelatihan khusus pada data pemrograman agar kode generasi berhasil. Setelah HumanEval muncul, benchmark ini dengan cepat menjadi uji standar untuk membandingkan kemajuan model-model baru.

  • Model-model seri GPT-3.5 (awal 2023) mencapai ~72% pass@1.
  • Model GPT-4 (2023) menunjukkan hasil yang lebih tinggi lagi, mencapai ~67% pada versi dasar dan melampaui 85% setelah fine-tuning tambahan[3].
  • Model-model open-source seperti Code Llama (Meta, 2023) dan WizardCoder (2023) juga menunjukkan hasil yang tinggi (~53% dan ~57% pass@1 secara berturut-turut), melampaui model-model proprietary generasi awal[4].

Ekstensi dan varian benchmark

Keberhasilan HumanEval menginspirasi terciptanya beberapa versi turunan yang bertujuan mengevaluasi model dalam kondisi yang lebih luas.

  • CL-HumanEval (Cross-Lingual HumanEval): Varian lintas bahasa (2024), di mana soal-soal HumanEval asli diadaptasi untuk menguji kemampuan model dalam memahami deskripsi dalam berbagai bahasa (selain bahasa Inggris), sambil menghasilkan kode dalam Python[5].
  • Multilingual HumanEval: Ekstensi (2023) yang ditujukan untuk mengevaluasi generasi kode dalam 12 bahasa pemrograman berbeda (termasuk Java, C#, JavaScript, dan lainnya) berdasarkan deskripsi dalam bahasa Inggris[6].
  • HumanEval-XL: Benchmark berskala besar (2024) yang menggabungkan kedua pendekatan tersebut. Benchmark ini berisi soal-soal dalam 12 bahasa pemrograman dan terjemahan deskripsi teks ke dalam 23 bahasa dunia, termasuk Rusia, Mandarin, Arab, dan lainnya. Secara keseluruhan, HumanEval-XL memiliki lebih dari 22.000 pasangan "deskripsi-kode"[7].

Tautan

  • HumanEval di Hugging Face
  • Halaman HumanEval di Papers with Code

Literatur

  • Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
  • Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
  • Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
  • Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
  • Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
  • Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
  • Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
  • Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
  • Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
  • Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
  • Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
  • Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.

Catatan

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Chen, M. et al. «Evaluating Large Language Models Trained on Code». arXiv:2107.03374, 2021. [1]
  2. ↑ «openai/openai_humaneval». Hugging Face Datasets. [2]
  3. ↑ Niu, C. et al. «On Evaluating the Efficiency of Source Code Generated by LLMs». Proceedings of the 2nd International Conference on AI-generated Content, 2024. [3]
  4. ↑ Lutfullaev, J. «HumanEval on LLMs Revisited in Late 2023». arXiv:2402.14852, 2023. [4]
  5. ↑ Sato, M. et al. «CL-HumanEval: A Benchmark for Evaluating Cross-Lingual Transfer through Code Generation». Proceedings of the 38th Pacific Asia Conference on Language, Information and Computation, 2024. [5]
  6. ↑ Athiwaratkun, B. et al. «Multilingual HumanEval: A Multilingual Code Generation Benchmark». arXiv:2307.11892, 2023. [6]
  7. ↑ Liu, J. et al. «HumanEval-XL: A Multilingual Code Generation Benchmark for Cross-lingual Natural Language Generalization». LREC-COLING 2024. [7]
Retrieved from "https://systems-analysis.info/int/index.php?title=HumanEval_Benchmark_(ID)&oldid=3000"