创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

英伟达以全栈协同设计提升AI内存效率

AI 总结

英伟达于11月5日发布两篇技术文章,介绍“全栈协同设计”方法,将 GPU、CPU、网络、存储和软件作为一个整体设计,以提高 AI 推理中每字节内存的有效产出。公司称,HBM 是最快、最昂贵且最紧张的层级,模型权重与 KV 缓存在其中竞争;CPU 内存、本地 SSD 和共享存储则以速度换取容量及更低的每比特成本。相关机制包括用于权重和 KV 缓存的 NVFP4、在 NVL72 系统中最多分布至 72 颗 GPU 的模型权重、Vera CPU 的大容量 LPDDR、Dynamo 的 KV 缓存卸载与复用、CMX 上下文存储,以及将 RAG 索引保留在 HBM 之外。英伟达援引其 SemiAnalysis AgentX 结果称,在每用户每秒 160 个 token 的条件下,Vera Rubin NVL72 的每兆瓦吞吐量最高为 GB300 NVL72 的 30 倍;另一项比较显示,在每用户每秒 125 个 token 时,其每美元吞吐量最高提升 30 倍,而从 Blackwell Ultra 到 Vera Rubin,每 GPU 的 HBM 容量仅增加约 3%。供应报告未提供独立验证。

深度见解

这些文章把 AI 基础设施的衡量重点从 HBM 原始容量转向每瓦、每美元的有效 token 产出,并给出了 NVFP4、Dynamo、Vera CPU 和 CMX 等可供基础设施建设者评估的具体内存层级方案。不过,相关性能倍数仍由厂商提供,尚无独立验证。

Larger models, longer contexts and agentic applications are increasing GPU memory pressure while supply tightens and prices rise — a trend expected to continue through the near term.

NVIDIA works closely with memory partners to rapidly adopt the latest memory technologies. NVIDIA was first to adopt HBM3e and HBM4 technologies into an accelerated computing stack. 

But the approach isn’t to simply pack more memory onto the GPU. It’s full-stack codesign. NVIDIA intentionally designs GPUs, CPUs, networking, storage and software together to get more useful work out of memory at every layer of the AI factory.

That matters because an AI factory runs on a memory and storage hierarchy. GPU high-bandwidth memory (HBM) is the fastest, most expensive and most contested tier — with model weights and KV cache competing for limited capacity. Below it sit CPU memory, local SSDs and shared storage, each trading speed for more capacity at a lower cost per bit. 

How much useful work a byte does depends on how well the whole hierarchy is used: shrinking what must be stored, placing it on the right tier and bringing it back to the GPU before it’s needed. 

#NVIDIA#Vera Rubin NVL72#GB300 NVL72#NVFP4#NVIDIA Dynamo#NVIDIA Vera CPU#NVIDIA CMX#SemiAnalysis AgentX#DeepSeek R1#H200#NVIDIA BlueField-4

原文约 6 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。