CR-Bench揭示AI代码评审与评分局限
AI 总结
Nutanix研究人员的CR-Bench-v2在584个含已知缺陷的真实拉取请求上测试了八个代码评审智能体,最强者仅识别约三分之一缺陷,Gemini Code Assist的识别率为8.1%。Masoud Fetanat的另一项重放研究发现,强LLM评委仍会给无效Python代码打出高分,因此报告建议在模型评分旁同时公布语法通过率。
深度见解
这些结果提醒部署和评测AI代码评审的团队用确定性检查校验模型判断,因为报告中的评分及缺陷识别结果可能无法反映代码能否运行或智能体能否发现真实缺陷。
摘要:Nutanix 的新评测集让八个 AI 评审去认 584 个真实 PR 里埋的缺陷,最强的也只认出三分之一。而另一项重放研究发现,一个强评委能给 63% 跑不起来的代码打 93.95 分。
你让 agent 改完一段代码,再把 diff 丢回去让它自己审。它回你一句:整体没问题,只有一处命名可以更好。
你信了。三天后,那个它没点出来的空指针在凌晨把一批定时任务全带崩了。
回头翻 diff,那个缺陷明晃晃地躺在那里。于是你得出一个结论:这个评审 agent 不够聪明。
这个结论可能是错的。
这周有两份新数据,搁在一起看,指向的是另一件事——不是它不够聪明,是「审代码」这件事本身有个天花板,而你以为能衡量它的那把尺子,也在骗你。
#Nutanix#CR-Bench-v2#SWE-Bench Verified#Gemini Code Assist#Qwen-2.5-7B-Instruct