TestPrism揭示编码智能体测试短板
南京大学刘佳恒团队提出测试生成基准 TestPrism,包含来自17个来源的300个测试任务和3000个候选实现。其核心指标 Joint Success Function(JSF)要求测试在原始代码上失败、接受所有正确实现并拒绝所有错误实现;报道显示,14种 Coding Agent 配置中最佳 JSF 仅28.00%。研究还分析了286条失败轨迹,并提出通过异构合成、同伴交叉验证和递归自我改进提升结果的 TestHelix 框架。
TestPrism把测试生成评测从单一参考实现扩展到同时检验多种正确和错误实现,揭示当前 Coding Agent 在测试可靠性上的明显缺口;团队声称 TestHelix在相同推理预算下将 JSF 提升11.67至12.00个百分点。
Coding Agent写代码的能力越来越强,写测试的能力也在同步提升。从为函数补单元测试、为GitHub Issue编写复现用例,到为整个代码仓库构建回归测试,Codex、Claude Code等前沿Coding Agent已经能够浏览仓库、修改实现,并借助执行反馈不断修正测试。
测试的地位也随之变化:它不仅是软件质量的保障,还越来越多地充当Agent自我验证的依据、代码评审的证据,甚至强化学习中的奖励信号。
测试写得好不好,直接决定了这些下游环节能否信任它的判断。
那么,怎样才算一份好的测试?
目前主流的测试生成Benchmark通常采用单一参考评测(Single Reference Evaluation):生成的测试只要在原始代码上失败、在一份标准答案(Gold Solution)上通过,就被视为成功。
问题在于,同一个需求往往存在多种正确实现,也存在许多看似合理却暗含缺陷的错误实现。
#TestPrism#TestHelix#Joint Success Function#Coding Agent#Claude Fable 5.1#GPT 5.6 sol -max#Qwen3.8 Max#Kimi K3#DeepSeek V4 Pro#GLM 5.3