iPrefBench评测移动端Agent的推断与询问能力
AI 总结
iPrefBench论文提出可执行的iOS评测环境，用于检验个性化移动端Agent能否区分可从用户历史推断的信息与必须向用户询问的信息。基准包含26个应用、130个未完全指定的任务和围绕同一用户构造的3051条活动事件，并标注每项缺失信息的唯一来源。对7个前沿Agent的评测显示，动作完成率最高达91.6%，完整任务成功率最高仅47.7%，其中询问缺失信息是明显短板。
深度见解
该基准衡量移动端自动化能否代表用户作出正确选择，同时避免无依据的假设和不必要的追问。
Computer Science > Computation and Language
arXiv:2610.34735 (cs)
[Submitted on 26 Oct 2026]
Title:iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents
Authors:Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols, Eldon Schoop
View a PDF of the paper titled iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents, by Yuting Ning and 9 other authors