StreamEval评测实时交互视频模型
36氪人工智能报道,清华大学、NVIDIA、CMU、UC Berkeley、Princeton、NUS等机构联合推出实时交互视频生成评测基准StreamEval。该基准覆盖五类任务、300个测试用例和38个模型,评估指令执行、状态一致性、视觉保真度与音画协调,并开放代码、数据集和评分规则供复测。报道显示,视频画面质量较高并不等于模型能稳定执行连续指令或保持长期状态一致。
StreamEval为新兴AI视频模态提供了公开统一的交互与状态保持评测框架,并公布了38个模型的测试结果。
AI 实时交互视频,是今年最热的技术方向之一。
过去大半年,相关模型密集破圈。阿里推出 HappyOyster,昆仑万维发布 Matrix-Game 4.0、爱诗科技发布 PixVerse R2,生数科技 7 月推出 Vidu S1,9 月紧接着发布 Vidu S2……
资本同样在跑步入场,多家公司完成新一轮融资,世界模型、数字人、实时编辑…… 各路人马从不同方向涌入。
但火热背后,这个赛道正处于一种混乱状态。
混乱首先来自定义。同样做实时交互视频,有人叫它「交互世界模型」,有人叫「实时交互多模态模型」,有人把它理解为独立于视频生成和世界模型之外的第三条路线。连赛道叫什么都没有共识,评测标准自然更谈不上。
现有评测工具还在沿用老框架,给模型一段提示词,生成一段视频,看画面清不清晰、动作合不合理、风格符不符合描述,VBench、EvalCrafter 等主流基准都是这个逻辑,但对实时交互视频系统来说,这套方法测的根本不是最难的那部分。
#StreamEval#Tsinghua University#NVIDIA#CMU#UC Berkeley#Princeton University#National University of Singapore#VBench#EvalCrafter#Vidu S2-Avatar#Vidu S2-Editing