创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

NVIDIA SEED优化混合大模型预填充计算与状态存储

AI 总结

NVIDIA研究人员提出SEED,利用浅层和轻量记忆写入组件为后续生成写入所需记忆,同时在解码阶段保留全深度计算。在Qwen3.8-Flash-Next上,除最后一个输入token外,每token的参数相关预填充计算量从12.1 GFLOP降至9.1 GFLOP,减少约25%。SEED还以压缩表示存储循环状态,使Qwen3.8-Flash-Next的单请求状态从113.2 MB降至刚压缩后的29.2 MB,整个压缩周期平均为43.4 MB。报道称,该方法在五种混合模型上进行了测试,并已发布arXiv预印本。在GB300 GPU和SGLang回放编码智能体会话的测试中,NVIDIA报告每GPU峰值吞吐提高16%至42%,收益随部署方式和负载而异。

深度见解

SEED针对混合大模型服务中的两项不同成本:减少预填充阶段的深层计算,以及降低解码阶段的循环状态存储。报道还指出,该方法不压缩注意力KV Cache,因此在KV Cache占主要显存的较长上下文中,其显存收益可能较小。

机器之心 2026-11-19 12:09 北京

NVIDIA 拆解混合模型的"读写不对称性"。

Qwen3.8-Flash-Next 有 48 层。处理一段输入时,SEED 让除最后一个以外的 token 只运行前 31 层,再由轻量的记忆写入组件,为后续 17 层生成 KV Cache 和循环状态。到了生成阶段,每个 token 仍然运行完整的 48 层。

这个改动利用了一个区别:为后续生成写下记忆,所需的深层计算可以远少于预测下一个 token。SEED 在五种已训练的混合大模型上测量了这种差别,并把它用于减少预填充计算。

#NVIDIA#SEED#Qwen3.8-Flash-Next#SGLang#Nemotron-3.5-Lightning#Nemotron-3.5-Super#Kimi-Linear#GLM-5.3-Flash#Gated DeltaNet#Kimi Delta Attention#Mamba-2#GB300

原文约 10 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。