Humanity's Last Exam (benchmark) (ID)

Humanity's Last Exam (HLE, Ind. «Ujian Terakhir Umat Manusia») — adalah benchmark pengujian komprehensif yang dirancang untuk mengevaluasi kemampuan sistem kecerdasan buatan (AI) mutakhir pada tugas-tugas yang membutuhkan tingkat pengetahuan dan keterampilan penalaran yang sebanding dengan para ahli manusia terbaik. Benchmark ini dikembangkan pada tahun 2024–2025 oleh organisasi nirlaba Center for AI Safety (CAIS) bekerja sama dengan perusahaan Scale AI.

Proyek HLE dirancang sebagai «ujian akademis terakhir» bagi model-model AI — sebuah ujian yang sangat sulit, yang memungkinkan untuk menentukan apakah model-model modern mendekati tingkat keahlian pakar dan di mana kesenjangan kemampuan mereka masih tersisa. Benchmark ini mencakup 2500 pertanyaan yang sangat kompleks, meliputi lebih dari seratus disiplin ilmu yang berbeda.

Sejarah Pembuatan

Pada pertengahan tahun 2020-an, model bahasa besar seperti GPT-4 dan Claude telah menunjukkan hasil yang begitu tinggi pada kumpulan pengujian populer (misalnya, MMLU), sehingga banyak benchmark tidak lagi berfungsi sebagai ukuran kemajuan yang andal. Ujian standar tingkat sarjana hampir «dihancurkan» oleh model-model tersebut, sehingga tidak mungkin dilakukan evaluasi objektif terhadap peningkatan lebih lanjut.

Dalam situasi ini, Dan Hendrycks (Dan Hendrycks), direktur CAIS dan peneliti AI ternama, mengusulkan konsep «Ujian Terakhir Umat Manusia» — sekumpulan pertanyaan dengan tingkat kesulitan maksimal, yang mampu membedakan kemampuan AI dari tingkat seorang pakar sejati. Dorongannya berasal dari percakapan dengan pengusaha Elon Musk, yang menyatakan bahwa pengujian yang ada telah menjadi terlalu mudah.

Untuk merealisasikan ide tersebut, CAIS bergabung dengan Scale AI. Pada 15 September 2024, secara resmi diumumkan pengumpulan pertanyaan-pertanyaan paling sulit secara global untuk ujian mendatang. Para penyelenggara mengundang para ilmuwan dan spesialis di seluruh dunia untuk mengirimkan soal-soal yang mampu membingungkan bahkan model-model AI paling canggih sekalipun. Untuk memotivasi peserta, ditetapkan hadiah senilai $500.000.

Pemilihan soal dilakukan dalam beberapa tahap. Pertama, pertanyaan yang dikirimkan disaring menggunakan model-model AI mutakhir: jika algoritma berhasil menyelesaikan soal dengan yakin, soal tersebut disingkirkan sebagai kurang sulit. Soal-soal yang tidak dapat diselesaikan oleh AI kemudian menjalani verifikasi oleh para ahli untuk menilai kebenaran dan keberadaan satu jawaban yang benar. Pada akhirnya, hampir 1000 pakar dari lebih dari 500 lembaga ilmiah dan pendidikan berpartisipasi dalam pembentukan kumpulan soal ini.

Versi final benchmark, yang mencakup 2500 pertanyaan, dipresentasikan pada awal 2025. Sebagian soal disimpan dalam cadangan tertutup untuk pengujian kontrol dan pencegahan penyesuaian model terhadap kumpulan soal yang tetap.

Struktur dan Isi Benchmark

Kumpulan pertanyaan HLE mencakup spektrum disiplin ilmu akademis yang sangat luas. Soal-soal didistribusikan berdasarkan topik sebagai berikut:

• Matematika: ~41%
• Biologi dan Kedokteran: ~11%
• Ilmu Komputer dan AI: ~10%
• Fisika: ~9%
• Ilmu Humaniora dan Sosial: ~9%
• Kimia: ~7%
• Ilmu Rekayasa: ~4%
• Bidang Lainnya: ~9%

Sekitar 14% dari seluruh soal bersifat multimodal, artinya penyelesaiannya memerlukan analisis gambar (ilustrasi, diagram, teks pada gambar). Sebagian besar (sekitar 3/4) soal merupakan pertanyaan terbuka dengan jawaban singkat, di mana model harus menghasilkan sendiri jawaban yang tepat (angka, istilah, nama). Sisanya adalah pertanyaan pilihan ganda.

Semua soal dalam HLE memiliki sifat-sifat umum:

• Tingkat kesulitan yang sangat tinggi: Setiap permasalahan memerlukan tingkat pengetahuan dan keterampilan yang sebanding dengan seorang spesialis berkualifikasi di bidangnya.
• Jawaban yang dapat diverifikasi: Setiap pertanyaan memiliki jawaban benar yang pasti dan dapat dibuktikan.
• Ketahanan terhadap pencarian: Soal-soal dipilih sedemikian rupa sehingga jawabannya tidak dapat ditemukan hanya dengan kueri pencarian sederhana; keberhasilan memerlukan pemahaman mendalam tentang materi dan penalaran.

Hasil Evaluasi Model

Humanity's Last Exam segera mengonfirmasi reputasinya sebagai ujian yang sangat sulit: tidak satu pun model AI modern yang mampu menunjukkan hasil mendekati tingkat manusia. Model-model bahasa terbaik pada tahun 2025 menunjukkan akurasi yang sangat rendah.

• Berbagai versi GPT-4 dari OpenAI dan Claude dari Anthropic menunjukkan hasil kurang dari 10%.
• Hasil tertinggi di antara LLM standar diraih oleh model Gemini 2.5 Pro (Google DeepMind) dengan akurasi sekitar 21,6%.
• Bahkan model-model terbaik gagal pada sekitar 4/5 pertanyaan HLE, yang menegaskan besarnya kesenjangan antara kemampuan AI saat ini dan tingkat seorang pakar manusia.

Hasil yang menarik perhatian khusus adalah capaian agen eksperimental ChatGPT Deep Research dari OpenAI, yang diizinkan untuk secara otomatis melakukan kueri pencarian. Dengan mensimulasikan cara kerja seorang peneliti, agen ini berhasil menjawab dengan benar 26,6% soal — hasil yang lebih dari 2 kali lebih tinggi dibandingkan model mana pun tanpa alat semacam itu, namun masih sangat jauh dari nilai kelulusan.

Signifikansi dan Prospek

Munculnya HLE menjadi peristiwa penting dalam komunitas AI, karena benchmark ini memenuhi kebutuhan mendesak akan ukuran kemajuan baru yang lebih kompleks.

• Titik acuan bersama. HLE menawarkan kepada para peneliti dan pembuat kebijakan sebuah instrumen objektif untuk mengevaluasi kemampuan AI, memungkinkan pemantauan dinamika peningkatan dan pemahaman sejauh mana mesin mendekati tingkat manusia.
• Instrumen untuk menginformasikan kebijakan. Keberadaan tolok ukur acuan semacam ini mendorong diskusi yang lebih substantif mengenai arah pengembangan AI, potensi risiko, dan langkah regulasi yang diperlukan.
• Batas akhir ujian akademis. Nama «Ujian Terakhir» itu sendiri mencerminkan gagasan bahwa kumpulan soal ini dapat menjadi ujian tertutup terakhir untuk mengevaluasi AI. Kelulusan HLE dengan meyakinkan akan berarti bahwa dalam hal pengetahuan formal dan keterampilan penalaran yang dapat diverifikasi secara ketat, mesin telah mencapai tingkat para pakar manusia terbaik.

Penting untuk dicatat bahwa bahkan kelulusan penuh pada HLE tidak akan berarti tercapainya kecerdasan buatan umum (AGI), karena pengujian ini tidak mengevaluasi kemampuan kreatif, inisiatif, atau kemampuan untuk mengajukan pertanyaan ilmiah baru.

Mempertimbangkan kemajuan yang pesat, para peneliti memperkirakan bahwa model-model dapat melampaui akurasi 50% pada HLE pada akhir tahun 2025. Ini akan berarti bahwa mesin telah mendekati tingkat manusia pada metrik pengetahuan akademis yang sempit namun penting.

Tautan

• Situs resmi Humanity's Last Exam
• Artikel ilmiah yang mempresentasikan benchmark

Literatur

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.