牛津等团队提出交互式视频世界模型 Oneira
AI 总结
牛津大学、莫纳什大学、布里斯托大学等团队提出交互式视频世界模型 Oneira,把“世界中发生了什么”与“画面如何呈现”分开处理:由 Coding Agent 维护 World State Table,记录场景中物体的语义标签、3D BBox 与交互状态,Engine 把该表渲染为简化的条件视频,真实外观与动作细节再交由视频生成模型补全。团队构建了包含 100 个交互测例和 50 个记忆测例的评测集 InteractionBench,并与 MiniMax-H3 Ref2VA、LingBot-World-V2、YUME 1.5、AlayaWorld 进行定性与定量对比。作者称,Oneira 在交互是否发生、时机是否准确、对象是否正确三项指标上分别高出最强基线 29、19、29 个百分点;镜头离开再返回同一位置时,PSNR 和 SSIM 分别提升 93% 和 83%,状态保持率提升 18%,VBench 视频质量也处于最好或接近最好水平。
深度见解
如果把世界状态单独记录的做法可被复现和推广,生成式世界模型有望从“只能导航观看”走向对指定物体的精确、持久交互。
关注AI的 2026-10-13 12:00 北京
在交互准确性和长时一致性上明显优于现有方法。
最近,来自牛津大学&莫纳什大学&布里斯托大学的团队提出了交互式视频世界模型 Oneira,将这类模型从开放式的生成走向开放世界的交互。
现有的视频世界模型已经能够随着镜头的移动不断生成新的场景,但智能体在其中通常只能导航,或进行一些简单的交互。Oneira 通过 Coding Agent 维护的 World State Table 记录场景中的物体及其状态。无论是输入图像中已有的物体,还是镜头移动时新生成的物体,Oneira 都能精确地改变它们,并让改变后的状态在后续视频中持续保留。
#Oneira#University of Oxford#Monash University#University of Bristol#World State Table#InteractionBench#MiniMax-H3 Ref2VA#LingBot-World-V2#YUME 1.5#AlayaWorld