DeepStress 用低质证据测试深度搜索智能体
AI 总结
DeepStress 是一种动态压力测试框架,可将智能体的检索模块替换为动态生成的文档,并分别控制其可信度、相关性和事实性。论文还提出 RAS 与 CoPRAS 指标,用于衡量谨慎作答和计算成本,并在 HotpotQA 与 BrowseComp-Plus 上评测了 12 个系统。作者发现,多个开放权重智能体面对明显的可信度警告仍会自信作答,部分系统甚至在检索文档全部错误时仍依据参数化知识回答 HotpotQA 问题。
深度见解
DeepStress 提供了一种衡量 AI 搜索智能体面对不可靠证据时能否保持谨慎的具体方法,并揭示了部分受测开放权重系统的过度自信。
Computer Science > Computation and Language
arXiv:2607.13920 (cs)
[Submitted on 15 Jul 2026 (v1), last revised 12 Nov 2026 (this version, v2)]
Title:DeepStress: Stress-Testing Deep Search Agents
Authors:Ismael Rousseau, Geraldine Damnati, Frederic Bechet
View a PDF of the paper titled DeepStress: Stress-Testing Deep Search Agents, by Ismael Rousseau and 2 other authors