创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

京东将湖仓负载收敛至Apache Doris

AI 总结

京东正将Presto和StarRocks承载的业务逐步迁移至统一的Apache Doris湖仓引擎,并使用Multi-Catalog、Nereids优化器和向量化执行能力。团队还将扫描任务调度从拉取模式改为推送模式,并优化分区裁剪、文件枚举和执行效率。京东称该平台日均承载百万级查询和PB级数据扫描,智能体查询占比约20%。

深度见解

这一生产迁移展示了京东在统一湖仓引擎的同时,如何针对BI、数据质量和智能体查询等混合负载优化Apache Doris。

在 Doris Summit 2026 上,蔡聪辉(京东零售 OLAP 引擎 Tech Lead、Apache Doris PMC Member)分享了 Apache Doris 湖仓查询底座的优化实践,本文整理自该演讲。


随着业务分析需求持续增长,以及 AI Agent 带来新的查询负载,京东原有多引擎并行的湖仓分析架构面临查询场景复杂、资源调度难度提升与统一治理等挑战。

为构建更加统一、高效的湖仓分析底座,京东逐步将 Presto、StarRocks 等分析引擎承载的业务向 Apache Doris 收敛,并依托 Doris 的 Multi-Catalog、Nereids 优化器和向量化执行引擎,围绕查询调度、分区裁剪、文件扫描及执行资源管理开展全链路优化。

目前,京东基于 Apache Doris 构建的统一湖仓分析引擎已支撑日均百万级查询与 PB 级数据扫描,Agent 智能体查询占比约 20%,承载 BI 报表、数据质量任务与 AI Agent 等多种分析负载。

本文将结合京东的实际生产场景,深入解析其统一湖仓架构演进,以及面向大规模湖仓查询的核心技术优化实践,为大型企业建设高性能、可扩展的湖仓分析平台提供参考。

#JD.com#Apache Doris#Presto#StarRocks#Apache Doris Multi-Catalog#Apache Doris Nereids#Hive#Iceberg#Hudi#Paimon#Apache Doris BE

原文约 12 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。