Streaming DiLoCo让MaxText支持跨地域训练
AI 总结
Google Developers Blog称,MaxText v0.2.5已加入Streaming DiLoCo,可让分布在不同数据中心的独立学习组开展大语言模型训练,并通过周期性全局更新和细粒度参数流式传输减少跨切片通信。Google使用Qwen3-32B和两组TPU v5p-32切片进行测试,报告跨切片流量比数据并行降低约64至65倍;示例中,Streaming DiLoCo在10 Gbit/s链路上约需1.3 Gbit/s带宽。该功能现已通过PyPI、Docker镜像和GitHub主分支提供。
深度见解
Streaming DiLoCo为AI基础设施团队提供了一套已发布的MaxText方案,可利用受限或跨地域网络汇聚TPU切片,而不必依赖单一的高带宽集群。
Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText - Google Developers Blog
Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText
NOV. 19, 2026
Mohit Khatwani Software Engineer
Chris Zuo Software Engineering Intern
Nova Fallen Software Engineer
#Streaming DiLoCo#MaxText#DiLoCo#Qwen3-32B#Google DeepMind#Google Research#Google Cloud#TPU v5p