BHI框架评估158个LLM评测基准的健康状况
阿里数据和晓天衡宇研究人员提出基准健康指数（BHI），用于判断随着模型能力提升，LLM评测基准是否仍有参考价值。该框架基于117个模型的技术报告，从能力区分度、抗饱和度和影响力三个维度评估158个评测基准。相关论文获NeurIPS 2026 Evaluations and Datasets Track Oral录用。
报道指出，部分基准已接近饱和并出现分数压缩，降低了区分模型的能力。BHI为筛选和定期复核评测基准提供了结构化参考。不过，不同技术报告中的提示词、工具配置和测试条件可能不一致，限制了可比性；其30天饱和预测也无法精确判断基准何时饱和。
机器之心 2026-10-31 15:28 北京
BHI 为评测基准的有效性提供了一份可持续更新的参考。
伴随模型能力提升，模型评测也面临着新的挑战。
部分评测基准已接近饱和，模型分数越来越难拉开差距，跑分的参考价值也随之下降。哪些基准仍然有效，测出的分数还能说明什么？
针对这一现状，来自阿里数据的研究团队在论文《Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs》中尝试给出答案，相关论文已被 NeurIPS 2026 Evaluations and Datasets Track（Oral）接收，是本届该赛道的 15 篇 Oral 论文之一。
#Benchmark Health Index#Alibaba Data#Xiaotian Hengyu#Humanity's Last Exam#Agents' Last Exam#AutomationBench#SWE Marathon#SWE-bench Pro#BrowseComp