创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

京东广告与华为鲲鹏称推理时延降低15%

AI 总结

京东广告与华为鲲鹏部署了基于鲲鹏超节点的生成式广告推理架构,通过灵衢互联、两级KV Cache和RPC通信改造扩展内存池并降低通信开销。合作方称,该系统在618高峰期间承载核心广告场景5%的流量,并将端到端推理时延降低15%。相关性能数据来自合作方,目前该方案尚未覆盖全部搜广推业务。

深度见解

这是生成式AI推理基础设施在高流量电商场景中的实际部署,展示了内存池与数据处理架构对实时广告模型延迟的直接影响。

电商广告的账,最后都记在毫秒上。

京东给全链路的时延预算是300毫秒,留给广告模型推理的部分只有20到100毫秒。超出这个窗口,用户滑动页面时会察觉到卡顿,电商广告成交也就无从谈起。而在最近两年,这套推荐系统正从传统深度学习迁往生成式范式:行为上下文长了10倍,模型结构大了100倍,算力需求随之涨了大约1000倍。机房扩容的周期,却是按季度计的。

当然,这不仅是京东一家所面临的挑战,而是困扰每一家涉及搜广推的互联网企业的共性难题。而在解决这个难点的路上,京东已经先行启程,为行业提供了可借鉴的解题思路。

算力的账:两位数增长与千倍挑战

先看生意本身。京东覆盖超7亿年度活跃用户,平台上70%的商家同时也是广告主,每月帮助顶级品牌触达超4000万核心受众,作为京东集团旗下的营销推广平台,面向B端用户的京准通与C端流量双向协同驱动增长。

#JD Advertising#Huawei Kunpeng#UnifiedBus#KV Cache#Agentic AI

原文约 13 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。