ALIVE:首帧引导视频编辑的交互对齐物体插入
AI 总结
论文提出 ALIVE 框架,用编辑后的首帧和只点名新增物体的指令,让插入的物体与原视频内容产生连贯交互,例如被拿起或被操作。作者构建了 35,800 对编辑样本(含 3D 渲染、模型生成与真实视频,并加入 ROSE 的通用编辑对),每对只在目标物体是否出现上不同,同时训练一个 VLM 从相同输入预测交互引导。在 ALIVE-interaction 基准上,无 VLM 引导时 Overall 比最强被测基线提升 43.9%,VLM 预测的引导再让该分数提高 0.95 分。
深度见解
物体插入的难点正从“能不能放进去”转向“能否参与交互”,该工作给出了数据构造方式与统一的评测协议。
Computer Science > Computer Vision and Pattern Recognition
arXiv:2610.08779 (cs)
[Submitted on 6 Oct 2026]
Title:ALIVE: Interaction-Aligned Object Insertion for First-Frame-Guided Video Editing
Authors:Zhenghong Zhou, Zhe Lin, Jiebo Luo, Yuqian Zhou
View a PDF of the paper titled ALIVE: Interaction-Aligned Object Insertion for First-Frame-Guided Video Editing, by Zhenghong Zhou and 3 other authors