Humanity's Last Exam (benchmark) (HI)
Humanity's Last Exam (HLE, हिन्दी: «मानवता की अंतिम परीक्षा») — यह एक व्यापक test-benchmark है, जो उन्नत कृत्रिम बुद्धिमत्ता (AI) प्रणालियों की क्षमताओं का मूल्यांकन करने के लिए बनाया गया है — विशेष रूप से ऐसे कार्यों में जिनके लिए सर्वश्रेष्ठ मानव विशेषज्ञों के समकक्ष ज्ञान और तर्क-कौशल की आवश्यकता होती है। यह benchmark 2024–2025 में गैर-लाभकारी संस्था Center for AI Safety (CAIS) द्वारा Scale AI कंपनी के सहयोग से विकसित किया गया था[1]।
HLE परियोजना की कल्पना AI मॉडलों के लिए एक «अंतिम अकादमिक परीक्षा» के रूप में की गई है — एक अत्यंत कठिन परीक्षण, जो यह निर्धारित करने में सहायता करेगा कि क्या आधुनिक मॉडल विशेषज्ञ स्तर के निकट पहुँच रहे हैं और उनकी क्षमताओं में अभी भी कहाँ अंतर बना हुआ है[1]। Benchmark में एक सौ से अधिक विभिन्न विषयों को समेटते हुए 2500 अत्यंत जटिल प्रश्न शामिल हैं[2]।
इतिहास
2020 के दशक के मध्य तक, GPT-4 और Claude जैसे बड़े भाषा मॉडलों ने लोकप्रिय test sets (जैसे MMLU) में इतने उच्च परिणाम प्रदर्शित किए कि अनेक benchmarks प्रगति की विश्वसनीय माप के रूप में काम करना बंद कर चुके थे। स्नातक स्तर की मानक परीक्षाएँ मॉडलों द्वारा व्यावहारिक रूप से «ध्वस्त» कर दी गई थीं, जिससे आगे के सुधारों का वस्तुनिष्ठ मूल्यांकन असंभव हो गया था[3]।
इस स्थिति में Dan Hendrycks (Dan Hendrycks), CAIS के निदेशक और AI के प्रसिद्ध शोधकर्ता, ने «मानवता की अंतिम परीक्षा» की अवधारणा प्रस्तावित की — अधिकतम जटिलता वाले प्रश्नों का एक संग्रह, जो AI की क्षमताओं को एक वास्तविक विशेषज्ञ के स्तर से अलग कर सके। इसका प्रेरणा स्रोत उद्यमी Elon Musk के साथ एक वार्तालाप था, जिसमें उन्होंने यह मत व्यक्त किया कि मौजूदा परीक्षण बहुत सरल हो गए हैं[2]।
इस विचार को साकार करने के लिए CAIS ने Scale AI के साथ मिलकर काम किया। 15 सितंबर 2024 को भविष्य की परीक्षा के लिए सबसे कठिन प्रश्नों का वैश्विक संग्रह आधिकारिक रूप से घोषित किया गया। आयोजकों ने दुनिया भर के वैज्ञानिकों और विशेषज्ञों को ऐसी समस्याएँ भेजने के लिए आमंत्रित किया जो सबसे उन्नत AI मॉडलों को भी चुनौती दे सकें। प्रतिभागियों को प्रोत्साहित करने के लिए $500,000 का पुरस्कार कोष स्थापित किया गया[3]।
प्रश्नों का चयन कई चरणों में हुआ। पहले भेजे गए प्रश्नों को उन्नत AI मॉडलों की सहायता से फ़िल्टर किया गया: यदि एल्गोरिदम किसी समस्या को आत्मविश्वास के साथ हल कर लेता था, तो उसे अपर्याप्त कठिन मानकर अस्वीकार कर दिया जाता था। जिन कार्यों को AI हल नहीं कर पाता था, वे शुद्धता और एकमात्र सही उत्तर की उपस्थिति के मूल्यांकन के लिए विशेषज्ञ समीक्षा से गुजरते थे। अंततः 500 से अधिक वैज्ञानिक-शैक्षणिक संस्थानों के लगभग 1000 विशेषज्ञों ने संग्रह के निर्माण में भाग लिया[4]।
Benchmark का अंतिम संस्करण, जिसमें 2500 प्रश्न हैं, 2025 की शुरुआत में प्रस्तुत किया गया। कुछ कार्यों को नियंत्रण परीक्षण के लिए और मॉडलों को एक निश्चित सेट के अनुरूप ढालने से रोकने के लिए एक बंद भंडार में रखा गया है[2]।
Benchmark की संरचना और सामग्री
HLE के प्रश्नों का संग्रह अकादमिक ज्ञान के विषयों की एक अत्यंत व्यापक श्रृंखला को समेटता है। कार्य विषयानुसार निम्नलिखित प्रकार से वितरित हैं:
- गणित: ~41%
- जीव विज्ञान और चिकित्सा: ~11%
- सूचना विज्ञान और AI: ~10%
- भौतिकी: ~9%
- मानविकी और सामाजिक विज्ञान: ~9%
- रसायन विज्ञान: ~7%
- इंजीनियरिंग विज्ञान: ~4%
- अन्य क्षेत्र: ~9%
सभी कार्यों में से लगभग 14% मल्टीमोडल हैं, अर्थात उन्हें हल करने के लिए छवियों (चित्रों, आरेखों, शिलालेखों) के विश्लेषण की आवश्यकता होती है[2]। अधिकांश (लगभग 3/4) कार्य संक्षिप्त उत्तर वाले खुले प्रश्न हैं, जहाँ मॉडल को स्वतंत्र रूप से एक सटीक उत्तर (संख्या, शब्द, नाम) उत्पन्न करना होता है। शेष बहुविकल्पीय प्रश्न हैं।
HLE की सभी समस्याओं में सामान्य गुण हैं:
- अत्यधिक उच्च जटिलता: प्रत्येक समस्या के लिए उस क्षेत्र के एक योग्य विशेषज्ञ के समकक्ष ज्ञान और कौशल की आवश्यकता होती है[5]।
- सत्यापन योग्य उत्तर: प्रत्येक प्रश्न का एक निश्चित और सिद्ध करने योग्य सही उत्तर है।
- खोज के प्रति प्रतिरोध: कार्यों को इस प्रकार चुना गया है कि उत्तर को साधारण खोज क्वेरी से नहीं पाया जा सके; सफलता के लिए विषय की गहरी समझ और तर्कशक्ति आवश्यक है[1]।
मॉडल परीक्षण के परिणाम
Humanity's Last Exam ने तुरंत एक अत्यंत कठिन परीक्षण की प्रतिष्ठा की पुष्टि कर दी: किसी भी आधुनिक AI मॉडल ने इस पर मानव के समकक्ष परिणाम नहीं दिखाया। 2025 तक के सर्वश्रेष्ठ भाषा मॉडलों ने बहुत कम सटीकता प्रदर्शित की।
- OpenAI के GPT-4 और Anthropic के Claude के विभिन्न संस्करणों ने 10% से कम का परिणाम दिखाया[4]।
- मानक LLM में सर्वोच्च परिणाम Google DeepMind के मॉडल Gemini 2.5 Pro का रहा, जिसकी सटीकता लगभग 21.6% थी[4]।
- सर्वश्रेष्ठ मॉडल भी HLE के लगभग 4/5 प्रश्नों में असफल रहे, जो AI की वर्तमान क्षमताओं और मानव विशेषज्ञ के स्तर के बीच के अंतर की व्यापकता को रेखांकित करता है[1]।
विशेष रुचि OpenAI के प्रायोगिक एजेंट ChatGPT Deep Research का परिणाम है, जिसे स्वचालित रूप से खोज क्वेरी करने की अनुमति दी गई थी। एक शोधकर्ता के कार्य का अनुकरण करते हुए, यह एजेंट 26.6% कार्यों को सही ढंग से हल करने में सफल रहा — यह परिणाम ऐसे उपकरणों के बिना किसी भी मॉडल की तुलना में 2 गुने से अधिक है, लेकिन फिर भी उत्तीर्णांक से बहुत दूर है[6]।
महत्व और संभावनाएँ
HLE का प्रकट होना AI समुदाय में एक महत्वपूर्ण घटना बनी, क्योंकि benchmark ने प्रगति के एक नए, अधिक जटिल माप की तत्काल आवश्यकता को पूरा किया।
- साझा संदर्भ बिंदु। HLE शोधकर्ताओं और नीति-निर्माताओं को AI क्षमताओं के मूल्यांकन के लिए एक वस्तुनिष्ठ उपकरण प्रदान करता है, जो सुधारों की गतिशीलता को ट्रैक करने और यह समझने में सहायता करता है कि मशीनें मानव स्तर के कितने निकट पहुँच रही हैं।
- नीति को सूचित करने का उपकरण। ऐसे संदर्भ परीक्षण की उपस्थिति AI विकास की दिशाओं, संभावित जोखिमों और आवश्यक नियामक उपायों के बारे में अधिक ठोस चर्चाओं को बढ़ावा देती है।
- अकादमिक परीक्षणों की अंतिम सीमा। «अंतिम परीक्षा» नाम स्वयं इस विचार को दर्शाता है कि प्रश्नों का यह संग्रह AI के मूल्यांकन के लिए अंतिम बंद परीक्षा बन सकता है। HLE को आत्मविश्वास के साथ उत्तीर्ण करने का अर्थ होगा कि औपचारिक ज्ञान और कड़ाई से सत्यापन योग्य तर्क-कौशल के संदर्भ में मशीन सर्वश्रेष्ठ मानव विशेषज्ञों के स्तर तक पहुँच गई है[4]।
यह ध्यान रखना महत्वपूर्ण है कि HLE को पूरी तरह से उत्तीर्ण करने का अर्थ भी सामान्य कृत्रिम बुद्धिमत्ता (AGI) की प्राप्ति नहीं होगा, क्योंकि परीक्षण रचनात्मक क्षमताओं, पहल या नए वैज्ञानिक प्रश्न उठाने की योग्यता की जाँच नहीं करता[4]।
तीव्र प्रगति को देखते हुए, शोधकर्ताओं का अनुमान है कि मॉडल 2025 के अंत तक HLE पर 50% से अधिक सटीकता प्राप्त कर सकते हैं। इसका अर्थ होगा कि मशीनें अकादमिक ज्ञान की एक संकीर्ण लेकिन महत्वपूर्ण मापदंड पर मानव स्तर के बहुत निकट पहुँच गई हैं[4]।
सन्दर्भ
- Humanity's Last Exam का आधिकारिक वेबसाइट
- Benchmark प्रस्तुत करने वाला वैज्ञानिक लेख
साहित्य
- Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
- Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
- Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
- Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
- Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
- Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
- Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
- Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
- Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
- Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
- Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.
टिप्पणियाँ
- ↑ 1.0 1.1 1.2 1.3 Fan, L. et al. «Humanity's Last Exam: A New Benchmark for AI Alignment». arXiv:2501.14249, 2025. [१]
- ↑ 2.0 2.1 2.2 2.3 «Humanity's Last Exam». In Wikipedia. [२]
- ↑ 3.0 3.1 Dastin, J. & Paul, K. «AI experts ready 'Humanity's Last Exam' to stump powerful tech». Reuters, 2024. [३]
- ↑ 4.0 4.1 4.2 4.3 4.4 4.5 «Humanity's Last Exam». Center for AI Safety. [४]
- ↑ «Could you pass 'Humanity's Last Exam'? Probably not, but neither can AI». TechRadar. [५]
- ↑ «OpenAI's deep research can complete 26% of 'Humanity's Last Exam': What is it and what does it mean?». Hindustan Times. [६]