O Último Exame da Humanidade

O Último Exame da Humanidade (HLE, do inglês Humanity's Last Exam) é um benchmark de teste abrangente, projetado para avaliar as capacidades de sistemas avançados de inteligência artificial (IA) em tarefas que exigem um nível de conhecimento e habilidades de raciocínio comparável ao dos melhores especialistas humanos. O benchmark foi desenvolvido em 2024–2025 pela organização sem fins lucrativos Center for AI Safety (CAIS) em colaboração com a empresa Scale AI.

O projeto HLE foi concebido como o "último exame acadêmico" para modelos de IA — um teste extremamente difícil que permite determinar se os modelos modernos estão se aproximando do nível de especialistas e onde ainda existe uma lacuna em suas capacidades. O benchmark inclui 2.500 questões extremamente complexas, abrangendo mais de cem disciplinas diferentes.

História da Criação

Em meados da década de 2020, grandes modelos de linguagem, como o GPT-4 e o Claude, demonstraram resultados tão altos em conjuntos de testes populares (por exemplo, MMLU) que muitos benchmarks deixaram de ser uma medida confiável de progresso. Os exames padrão de nível de bacharelado foram praticamente "superados" pelos modelos, tornando impossível uma avaliação objetiva de melhorias futuras.

Nesse contexto, Dan Hendrycks, diretor do CAIS e um renomado pesquisador de IA, propôs o conceito do "Último Exame da Humanidade" — um conjunto de questões de máxima complexidade que pudesse distinguir as capacidades da IA do nível de um verdadeiro especialista. O impulso para o projeto veio de uma conversa com o empresário Elon Musk, que expressou a opinião de que os testes existentes haviam se tornado fáceis demais.

Para realizar a ideia, o CAIS uniu forças com a Scale AI. Em 15 de setembro de 2024, foi oficialmente anunciada uma chamada global para a coleta das questões mais difíceis para o futuro exame. Os organizadores convidaram cientistas e especialistas de todo o mundo a enviar problemas capazes de desafiar até os modelos de IA mais avançados. Para motivar os participantes, foi estabelecido um prêmio de US$ 500.000.

A seleção das tarefas ocorreu em várias etapas. Primeiramente, as questões enviadas foram passadas por um filtro usando modelos de IA de ponta: se os algoritmos resolviam a tarefa com confiança, ela era descartada por não ser suficientemente difícil. As tarefas que a IA não conseguia resolver passavam por uma revisão de especialistas para avaliar sua correção e a existência de uma única resposta correta. No final, quase 1.000 especialistas de mais de 500 instituições de pesquisa e educação participaram da formação do conjunto.

A versão final do benchmark, incluindo 2.500 questões, foi apresentada no início de 2025. Uma parte das tarefas foi mantida em uma reserva fechada para testes de controle e para evitar o ajuste fino (overfitting) dos modelos a um conjunto fixo.

Estrutura e Conteúdo do Benchmark

O conjunto de questões do HLE abrange um espectro extremamente amplo de disciplinas acadêmicas. As tarefas são distribuídas por área da seguinte forma:

• Matemática: ~41%
• Biologia e Medicina: ~11%
• Ciência da Computação e IA: ~10%
• Física: ~9%
• Ciências Humanas e Sociais: ~9%
• Química: ~7%
• Engenharia: ~4%
• Outras áreas: ~9%

Cerca de 14% de todas as tarefas são multimodais, ou seja, sua resolução requer a análise de imagens (desenhos, diagramas, legendas). A maioria (aproximadamente 3/4) das tarefas são questões abertas de resposta curta, nas quais o modelo deve gerar de forma independente uma resposta precisa (um número, um termo, um nome). As restantes são questões de múltipla escolha.

Todas as tarefas no HLE possuem características comuns:

• Complexidade extremamente alta: Cada problema exige um nível de conhecimento e habilidade comparável ao de um especialista qualificado na área.
• Resposta verificável: Cada questão tem uma resposta correta, definida e demonstrável.
• Resistência à busca: As tarefas são elaboradas de forma que a resposta não possa ser encontrada com uma simples consulta de busca; o sucesso requer uma compreensão profunda do assunto e raciocínio.

Resultados da Avaliação de Modelos

O Humanity's Last Exam confirmou imediatamente sua reputação como um teste extremamente difícil: nenhum dos modelos de IA modernos conseguiu alcançar um resultado próximo ao de um ser humano. Os melhores modelos de linguagem de 2025 demonstraram uma precisão muito baixa.

• Diferentes versões do GPT-4 da OpenAI e do Claude da Anthropic alcançaram um resultado inferior a 10%.
• O resultado mais alto entre os LLMs padrão foi o do modelo Gemini 2.5 Pro (Google DeepMind), com uma precisão de aproximadamente 21,6%.
• Mesmo os melhores modelos falharam em cerca de 4/5 das questões do HLE, o que destaca a magnitude da lacuna entre as capacidades atuais da IA e o nível de um especialista humano.

De particular interesse é o resultado do agente experimental ChatGPT Deep Research da OpenAI, que tinha permissão para executar consultas de busca automaticamente. Simulando o trabalho de um pesquisador, este agente conseguiu resolver corretamente 26,6% das tarefas — um resultado mais de 2 vezes superior ao de qualquer modelo sem tais ferramentas, mas ainda muito longe de uma pontuação de aprovação.

Significado e Perspectivas

O surgimento do HLE foi um evento significativo na comunidade de IA, pois o benchmark preencheu uma necessidade urgente de uma nova e mais desafiadora medida de progresso.

• Ponto de referência comum. O HLE oferece a pesquisadores e formuladores de políticas uma ferramenta objetiva para avaliar as capacidades da IA, permitindo acompanhar a dinâmica das melhorias e compreender o quão perto as máquinas estão de alcançar o nível humano.
• Ferramenta para informar políticas públicas. A existência de um teste de referência como este promove discussões mais substanciais sobre as direções do desenvolvimento da IA, os riscos potenciais e as medidas regulatórias necessárias.
• Fronteira final dos testes acadêmicos. O próprio nome "Último Exame" reflete a ideia de que este conjunto de tarefas pode se tornar o último exame fechado para avaliar a IA. A aprovação confiante no HLE significará que, em termos de conhecimento formal e habilidades de raciocínio estritamente verificáveis, a máquina atingiu o nível dos melhores especialistas humanos.

É importante notar que mesmo a conclusão bem-sucedida do HLE não significará a conquista da inteligência artificial geral (AGI), pois o teste não avalia capacidades criativas, iniciativa ou a habilidade de formular novas questões científicas.

Considerando o rápido progresso, os pesquisadores preveem que os modelos poderão exceder 50% de precisão no HLE até o final de 2025. Isso significará que as máquinas se aproximaram muito do nível humano em uma métrica estreita, mas importante, de conhecimento acadêmico.

Ligações externas

• Site oficial do Humanity's Last Exam
• Artigo científico que apresenta o benchmark

Literatura

• Liang, P. et al. (2022). Holistic Evaluation of Language Models (HELM). arXiv:2211.09110.
• Chang, Y. et al. (2023). A Survey on Evaluation of Large Language Models. arXiv:2307.03109.
• Ni, S. et al. (2025). A Survey on Large Language Model Benchmarks. arXiv:2508.15361.
• Biderman, S. et al. (2024). The Language Model Evaluation Harness (lm-eval): Guidance and Lessons Learned. arXiv:2405.14782.
• Kiela, D. et al. (2021). Dynabench: Rethinking Benchmarking in NLP. arXiv:2104.14337.
• Ma, Z. et al. (2021). Dynaboard: An Evaluation‑As‑A‑Service Platform for Holistic Next‑Generation Benchmarking. arXiv:2106.06052.
• Goel, K. et al. (2021). Robustness Gym: Unifying the NLP Evaluation Landscape. arXiv:2101.04840.
• Xu, C. et al. (2024). Benchmark Data Contamination of Large Language Models: A Survey. arXiv:2406.04244.
• Liu, S. et al. (2025). A Comprehensive Survey on Safety Evaluation of LLMs. arXiv:2506.11094.
• Chiang, W.-L. et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv:2403.04132.
• Boubdir, M. et al. (2023). Elo Uncovered: Robustness and Best Practices in Language Model Evaluation. arXiv:2311.17295.
• Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models. arXiv:2311.05232.