起源与目标
Humanity’s Last Exam (HLE) 于2025 年初由人工智能安全中心（CAIS）和 Scale AI 联合发布。这一测试更像是一个极限压力测试，而不是传统意义上的基准测试。HLE 的目标非常明确：找到当前 AI 系统的绝对极限，并探索模型逻辑崩溃的地方。
HLE 的诞生背景源于对“基准测试饱和”问题的讨论。据传，这一测试的设计灵感甚至来自与埃隆·马斯克等人物的深入对话。其核心理念是：提出如此困难的问题，以至于即使是最先进的语言模型（LLM）也表现不佳，有时甚至比随机猜测还差。HLE 的目标不是对优秀的模型进行排名，而是挖掘 AI 推理能力中的未知缺陷，从而揭示其逻辑的根本性弱点。
工作原理
HLE 包含2,500道由专家精心设计的高难度问题，覆盖以下学科领域：
- 高级物理学：例如推理关于假设性物理定律的问题；
- 密码学：需要复杂的逻辑解密能力；
- 道德哲学：涉及多层次的人类意图和伦理困境；
- 战略博弈论：测试模型在复杂博弈情境中的决策能力。
这些问题不仅仅是“难”，它们往往是反直觉的，或者故意设计成利用机器学习模型中常见的“捷径”缺陷。例如，某些问题可能需要理解嵌套的人类意图，或者推理关于假想物理学的场景。评估过程非常严格，很多情况下需要依赖人类专家进行评分。
为什么重要：优势与影响
HLE 在 AI 生态系统中扮演了独特且关键的角色，其重要性体现在以下几个方面：
- 揭示前沿弱点：HLE 不在于展示模型能做什么，而在于揭示模型不能做什么。这对指导 AI 安全研究以及理解高能力系统的失败模式至关重要。
- 推动基础研究：HLE 提出了许多仅靠“规模扩展”无法解决的问题，从而激励研究人员探索新颖的模型架构和推理技术。
- 现实清醒剂：在人工智能领域充满炒作的时代，HLE 是对当前 AI 技术与真正通用智能之间差距的冷静提醒。
局限性与缺点
尽管 HLE 在测试 AI 极限方面有巨大的价值，但它也存在一些不可忽视的局限性和争议：
- 非通用性：HLE 并不是一个通用的基准测试，无法用于衡量主流模型的渐进式进步。这使得它不适合大多数标准的模型开发和优化流程。
- 高开发成本：由于问题的极高难度和依赖专家的精心设计，HLE 的开发和扩展成本极为昂贵。
- “刁难”问题的争议：一些批评者认为，HLE 过于注重“陷阱”式问题，这些问题可能并不能准确反映 AI 在实际应用中的智能水平或实用性。
小结
HLE是2025年推出的一个超高难度 AI 测试，主要用来挖掘当前 AI 系统的极限和逻辑缺陷。它包含2,500道复杂问题，涉及物理、密码学、伦理等领域，很多题目专门设计得反直觉或“刁钻”。HLE 的意义在于揭示 AI 的弱点，推动安全研究，但也因高成本和非通用性引发争议。简单来说，这更像是对 AI 的“极限挑战”，而不是传统的性能排名工具。
