创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

NeMo-DCR:万亿参数智能体 RL 位精确增量重拟合

AI 总结

NVIDIA 团队发布论文 NeMo-DCR(Delta-Compressed Refit),用只传权重变化量的方式在训练集群与 rollout 集群之间同步策略,且与稠密重拟合逐位一致。论文测量显示 BF16 训练每步约 1% 的权重存储值发生变化;在 3% 与 5% 变化率下,30B–1T 模型的重拟合比仅做传输优化的全量检查点方案快 12–40 倍,1T 模型 3% 变化率下用中继树只需 150 秒,而跨两个 AWS 区域传完整检查点需 87.5 分钟。代码已在 NVIDIA NeMo RL 的 PR #2444 中开源。

深度见解

它把万亿参数规模智能体 RL 的权重同步从近一个半小时压到几分钟量级,可能让跨集群的持续训练—推理循环变得可行。

Computer Science > Distributed, Parallel, and Cluster Computing

arXiv:2610.08430 (cs)

[Submitted on 6 Oct 2026]

Title:NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

Authors:Songlin Jiang, Zhiyu Li, Terry Kong, Yu Yao, Youngeun Kwon, Bernard Nguyen, Ashwath Aithal, Mario Di Francesco

View a PDF of the paper titled NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale, by Songlin Jiang and 7 other authors

#NVIDIA#NeMo RL#NeMo-DCR#AWS

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。