京东广告与华为鲲鹏称推理时延降低15%
AI 总结
京东广告与华为鲲鹏部署了基于鲲鹏超节点的生成式广告推理架构,通过灵衢互联、两级KV Cache和RPC通信改造扩展内存池并降低通信开销。合作方称,该系统在618高峰期间承载核心广告场景5%的流量,并将端到端推理时延降低15%。相关性能数据来自合作方,目前该方案尚未覆盖全部搜广推业务。
深度见解
这是生成式AI推理基础设施在高流量电商场景中的实际部署,展示了内存池与数据处理架构对实时广告模型延迟的直接影响。

电商广告的账,最后都记在毫秒上。
京东给全链路的时延预算是300毫秒,留给广告模型推理的部分只有20到100毫秒。超出这个窗口,用户滑动页面时会察觉到卡顿,电商广告成交也就无从谈起。而在最近两年,这套推荐系统正从传统深度学习迁往生成式范式:行为上下文长了10倍,模型结构大了100倍,算力需求随之涨了大约1000倍。机房扩容的周期,却是按季度计的。
当然,这不仅是京东一家所面临的挑战,而是困扰每一家涉及搜广推的互联网企业的共性难题。而在解决这个难点的路上,京东已经先行启程,为行业提供了可借鉴的解题思路。
算力的账:两位数增长与千倍挑战
先看生意本身。京东覆盖超7亿年度活跃用户,平台上70%的商家同时也是广告主,每月帮助顶级品牌触达超4000万核心受众,作为京东集团旗下的营销推广平台,面向B端用户的京准通与C端流量双向协同驱动增长。
#JD Advertising#Huawei Kunpeng#UnifiedBus#KV Cache#Agentic AI