FramePack-U:恒内存长视频帧打包
AI 总结
论文《Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding》提出 FramePack-U,一个无需训练、不需微调也不改动架构的帧打包框架,可在恒定内存开销下把任意长度视频压缩为固定大小的视觉表示,并能直接接入现成的视觉语言模型(VLM)推理流程。方法先按每一帧与文本提示的语义相似度打分、以多样性驱动的方式排序,再把选中的帧以不同分辨率打包进定长上下文窗口,把内存预算集中在既与指令相关又视觉多样的帧上。作者称在 LongVideoBench、MLVU 和 Video-MME 上,FramePack-U 一致优于全分辨率基线以及此前的 token 压缩与关键帧选取方法;在 Qwen3.5-35B-A3B、128 帧预算设置下,三个基准分别比官方模型提升 12.9%、10.6% 和 9.7%。
深度见解
它试图绕开长视频理解中随视频长度线性增长的内存与延迟瓶颈,且无需重新训练即可用于现有 VLM,可能降低长视频推理的部署门槛。