联想推存算融合池化系统，缓解大模型KV Cache压力
钛媒体报道，联想集团首席科学家肖利民团队构建了一套存算融合池化系统，把内存池化与近存计算结合，针对大模型推理的两个痛点：KV Cache可用的GPU显存和CPU直连内存容量不足，以及GPU访问外部存储开销过大。肖利民称该系统目前处于G2.5层次，并介绍了团队自测数据：内存池卸载相比NVMe层池化方案，固定输入长度下首Token延迟降低3.5倍、多轮对话降低2.4倍；KV跨实例复用相比完全重算，首Token延迟最高加速12~28倍，相比RDMA分布式内存架构加速2~3倍。团队还把注意力计算下沉到内存池侧，称解码延迟降低2.5倍；端到端推理延迟相比RDMA分布式内存池加速2~3倍，系统吞吐随上下文变长提升6~20倍。团队计划借助超级节点的scale-up高速互连从G2.5向G1.5演进。肖利民表示暂未见到把近存计算引入大容量内存池、同时解决KV Cache容量不足和访存开销大的产品，报道未提及独立第三方验证。
报道认为，随着AI应用从一问一答的对话机器人转向多轮智能体，KV Cache的存放正成为核心瓶颈，并援引中国信通院数据称中国日均Token消耗量从2024年的1000亿升至2025年8月的500万亿。
过去二十年，服务器峰值浮点算力每两年增长约3倍，而DRAM带宽每两年只增长1.6倍，互连带宽仅1.4倍，这就形成了行业内称之为存储墙的痛点，而这个问题其实已经存在很久，而如今的AI时代，随着计算能力的增强及其对数据需求量的扩大，据中国信通院统计，中国每天平均的Token消耗量，从2024年的1000亿，跃升到2025年8月的500万亿，一年多时间增长了约5000倍。在此背景下，存储墙问题也被放大了。
推理时代，算力与存储必须加强融合
大模型推理的核心流程之一，是自回归解码，模型每生成一个Token，都要回头看一遍之前所有的上下文。如果每次都重新计算全部历史数据，算力会被海量的重复计算消耗殆尽。于是KV Cache诞生了，它把中间计算结果缓存起来，用“以存换算”的方式跳过重复计算。这个机制极大地减少了计算开销，但它同时埋下了一颗雷：数据越攒越多，而缓存总得有地方放。
#Lenovo#Lenovo Research#China Academy of Information and Communications Technology#NVMe#CXL#RDMA