EVA-Cap:以事件为中心对齐的音视频字幕框架
AI 总结
EVA-Cap 是一个面向音视频视频字幕(audiovisual video captioning)的新框架,它把字幕拆解为原子级音视频事件,将以往非结构化的文本生成式监督转变为“以事件为中心”的对齐方式。作者用自建数据集 EVA-Data 进行监督微调(SFT)与 GRPO 训练,并针对三项目标优化:全局事件完整性、事件内归因、事件间同步。论文称该方法在事件为中心评测上明显优于现有方法(ChronusAV 平均提升 9.0%),在通用音视频字幕基准 WorldSense 上也取得 3.3% 的提升。该论文已被 NeurIPS 2026 接收,代码将在论文给出的链接发布。
深度见解
它把音视频字幕的质量评估与训练目标从“文风好坏”转向可分解的事件对齐,为多模态模型处理长音视频提供了一种可度量的优化思路。