Vast 用分层存储缓解 AI 智能体内存压力
AI 总结
Vast Data 联合创始人兼 CTO Alon Horev 在 CoreWeave Fully Connected 2026 大会期间接受 theCUBE 采访时表示，智能体的记忆需求与普通推理不同：既有会话内的上下文，也有可回溯过往交互的长期记忆。Vast 的思路是按层级使用存储——先用 GPU 显存，再用同一台机器的 CPU 内存，最后是能保存 PB 级 KV cache 的持久化介质，并由 NVIDIA Dynamo 负责编排。Horev 称，一次五十万 token 的会话可占用单块 GPU 显存的一成到二十分之一，将这类会话卸载到存储可避免重复计算；企业还须记录智能体的全部操作并按期留存，这些对话数据也可用于微调或训练专用模型。
深度见解
随着企业部署的智能体会话更长、数量更多，KV cache 的存放与迁移正成为推理基础设施的新瓶颈，存储层被重新纳入调度考量。