创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Streaming DiLoCo让MaxText支持跨地域训练

AI 总结

Google Developers Blog称,MaxText v0.2.5已加入Streaming DiLoCo,可让分布在不同数据中心的独立学习组开展大语言模型训练,并通过周期性全局更新和细粒度参数流式传输减少跨切片通信。Google使用Qwen3-32B和两组TPU v5p-32切片进行测试,报告跨切片流量比数据并行降低约64至65倍;示例中,Streaming DiLoCo在10 Gbit/s链路上约需1.3 Gbit/s带宽。该功能现已通过PyPI、Docker镜像和GitHub主分支提供。

深度见解

Streaming DiLoCo为AI基础设施团队提供了一套已发布的MaxText方案,可利用受限或跨地域网络汇聚TPU切片,而不必依赖单一的高带宽集群。

Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText - Google Developers Blog

Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText

NOV. 19, 2026

Mohit Khatwani Software Engineer

Chris Zuo Software Engineering Intern

Nova Fallen Software Engineer

#Streaming DiLoCo#MaxText#DiLoCo#Qwen3-32B#Google DeepMind#Google Research#Google Cloud#TPU v5p

原文约 10 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。