创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Agnes 开源 287 亿参数 MoE 音视频生成模型

AI 总结

Agnes 开源音视频生成模型 Agnes-Video-2.0-MoE,做法是把约 153 亿参数的稠密(Dense)预训练模型 DaVinci-MagiHuman 改造成混合专家架构:保留大部分结构,将 40 层网络中 32 层的部分计算模块各自扩展为三个专家网络,每次只路由到一个专家,单次激活参数量仍约 153 亿,总参数量则增至约 287 亿。据 Agnes 公布的数据,该模型在单张 H200 GPU 上约 30 秒可生成 5 秒视频,推理速度较稠密模型提升约 20%,比同类 MoE 视频模型快两倍以上。团队还用 EENP 弹性专家神经元剪枝方法先分别评估专家计算通道对视频、音频和文字的贡献,再按权重裁剪,在 60% 剪枝配置下平均激活参数量降至约 117 亿、去噪耗时从 26.83 秒降至 20.92 秒(约减少 22%),但 VBench-2.0 得分约为未剪枝 MoE 的 92.4%,属于带质量取舍的提速,剪枝越深越容易在手持工具等高速运动场景退化细节。

深度见解

视频生成进入广告、电商与内容制作流程后,推理效率直接影响平台供给能力与持续使用成本,把已有稠密模型改造成 MoE 再叠加剪枝的路径对批量生产更实用。

AI 视频越来越逼真,生成它的算力却并不便宜。复杂的动作、连贯的镜头和细腻的画面,背后都需要大量计算。一旦进入批量制作,反复生成、修改和重试的开销便会累积,成为创作者与视频平台必须考虑的成本。

Agnes 开源的音视频生成模型 Agnes-Video-2.0-MoE 正是一次针对推理效率的技术探索:单张 H200 GPU 约 30 秒生成 5 秒视频,推理速度较稠密(Dense)模型提升约 20%,较同类 MoE 模型快 2 倍以上。

其做法是把 Dense 模型改造成 MoE 将容量做大,再以专家剪枝把实际计算做小。这为视频生成走向规模化生产趟出了一条降本的新路。

(MoE 模型案例)

已有 Dense 模型的 MoE 化改造

要让视频表现更复杂的场景、动作和时序关系,模型需要更大的学习与表达容量。但如果只是把原有模型做大,通常也会增加每次生成视频所需的计算量。Agnes 选择从已有模型入手,通过 MoE 改造,探索扩大容量与控制计算规模的另一种路径。

#Agnes#Agnes-Video-2.0-MoE#DaVinci-MagiHuman#EENP#Agnes Video 2.5#Pavo#NVIDIA H200#VBench-2.0#Artificial Analysis

原文约 8 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。