创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

EVA-Cap:以事件为中心对齐的音视频字幕框架

AI 总结

EVA-Cap 是一个面向音视频视频字幕(audiovisual video captioning)的新框架,它把字幕拆解为原子级音视频事件,将以往非结构化的文本生成式监督转变为“以事件为中心”的对齐方式。作者用自建数据集 EVA-Data 进行监督微调(SFT)与 GRPO 训练,并针对三项目标优化:全局事件完整性、事件内归因、事件间同步。论文称该方法在事件为中心评测上明显优于现有方法(ChronusAV 平均提升 9.0%),在通用音视频字幕基准 WorldSense 上也取得 3.3% 的提升。该论文已被 NeurIPS 2026 接收,代码将在论文给出的链接发布。

深度见解

它把音视频字幕的质量评估与训练目标从“文风好坏”转向可分解的事件对齐,为多模态模型处理长音视频提供了一种可度量的优化思路。

EVA-CapEVA-DataChronusAV

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。