创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

TestPrism:用多种实现评测代码测试质量

AI 总结

这篇 arXiv 预印本提出 TestPrism,用 17 个来源的 300 个测试任务和 3000 个候选实现(有效与无效各半)来评测 LLM 编码智能体生成的测试,其主指标 Joint Success Function 要求测试在初始程序上失败、接受所有有效实现并拒绝所有无效实现。在 14 种基线智能体配置下,该指标仅 28.00%,而传统单一参考解的成功率为 59.67%;论文据此指出遗漏行为、断言缺失与测试构造错误等问题。作者同时提出 TestHelix,结合测试与修复对的异构合成、同伴交叉验证和递归自我改进(RSI),在两个模型上将 Joint Success Function 相比原生评测框架提升 8.67 到 9.00 个百分点。

深度见解

它提示以单一参考解衡量智能体写测试的能力会明显高估质量,并给出一个更严格的多实现评测基准。

Computer Science > Software Engineering

arXiv:2610.12289 (cs)

[Submitted on 8 Oct 2026]

Title:TestPrism: Rethinking Test Evaluation Beyond a Single Reference

Authors:Han Li, Lingxiang Hu, Jiacheng Huang, Ziqian Jiang, Jingkai Luo, Wei Gao, Yunfan Tan, Zun Wang, Jiaheng Liu

View a PDF of the paper titled TestPrism: Rethinking Test Evaluation Beyond a Single Reference, by Han Li and 8 other authors

#TestPrism#TestHelix

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。