PixVid将视频扩散带回像素空间
AI 总结
论文《Back to Pixels: Lifting Latent Video Diffusion into Pixel Space》提出PixVid。该方法保留预训练的扩散Transformer,以卷积头替代VAE解码器,直接在像素空间渲染每一帧。作者称,基于Wan2.1-14B微调的PixVid在使用约130万段训练片段后与潜空间基线表现相当,并可在相同单帧token数下生成2倍分辨率的视频,在快速运动中保持深度条件编辑对齐,并在下一帧响应每个动作。
深度见解
PixVid提供了一种不同的逐帧视频生成与编辑技术路线。其报告结果针对潜空间模型在高分辨率下token数量增长、条件按帧组应用以及交互响应延迟方面的限制;这些主张目前仅来自作者的论文。
Computer Science > Computer Vision and Pattern Recognition
arXiv:2611.17336 (cs)
[Submitted on 12 Nov 2026]
Title:Back to Pixels: Lifting Latent Video Diffusion into Pixel Space
Authors:Yanke Song, Shuo Chen, Chris Rockwell, Guande He, Nan Liu, Desai Xie, Tianpei Gu, Yong-Hyun Park, Aryan V S, Dennis Yuren Menn, Ming-Hsuan Yang, Xun Huang
View a PDF of the paper titled Back to Pixels: Lifting Latent Video Diffusion into Pixel Space, by Yanke Song and 11 other authors