决策模型鲁棒性基准 DecisionRobust 发布
AI 总结
arXiv 论文预印本提出 DecisionRobust，一个用于系统评估 JEV 类决策模型在文本与视觉输入下鲁棒性的基准。该基准覆盖真实决策场景，并包含语义保持的文本扰动、图像扰动以及两种模态下的提示注入等攻击。作者在文本任务上评估了 30 个模型配置、视觉任务上评估了 17 个，其中分别有 24 个和 12 个为未参与候选筛选的留出模型；结果显示，攻击能暴露构建与筛选所用模型之外的漏洞，但优化后的图像扰动在多个目标间迁移较弱，且对输入扰动的抵抗力并不必然意味着对提示注入的抵抗力。
深度见解
随着 JEV 这类直接输出选择、判断与分数的决策模型被用于自动化决策，该基准把对抗条件下的可靠性测评单独提了出来，并指出标签一致性检查会明显降低测得的攻击成功率。
Computer Science > Computation and Language
arXiv:2610.19118 (cs)
[Submitted on 13 Oct 2026]
Title:DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision
Authors:Yifan Lan, Zhongye Liu, Yurui Chang, Hanyu Wang, Yongkang Du, Lu Lin, Jinghui Chen
View a PDF of the paper titled DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision, by Yifan Lan and 6 other authors