UI2App评测截图交互推断
AI 总结
据新智元报道，UI2App基准要求模型仅依据静态UI截图生成可运行的多页面Web应用，不提供功能说明、点击轨迹或交互演示。该基准包含600张截图、95组状态一致的应用和665个应用—交互评测项，并从运行能力、视觉相似度和交互推断实现三个维度进行评估。Claude Sonnet 4.6以36.8取得最高IIS，Gemini 3.1 Pro Preview则以73.2位居VFS第一，但IIS仅为8.1。
深度见解
UI2App将应用行为推断与页面视觉复刻分开评测，其结果表明显现还原能力与正确实现交互并非同一项能力。
新智元 2026-10-24 11:42 北京
新智元报道
给AI几张网站截图，它已经能快速生成一个「看起来很像」的网页。但真正操作起来呢？在商品页加入商品后，购物车会不会更新；切换页面后，刚才的状态还能不能保留？
UI2App关注的正是这个问题：不给功能说明、不给点击轨迹或交互演示，只给静态UI截图，模型能否自行推断并实现其中隐含的应用行为？我们把这种能力称为Interaction Inference，即「交互推断」。