MaxText v0.2.4支持Cloud TPU长上下文训练
AI 总结
Google宣布MaxText v0.2.4支持在Cloud TPU上进行长上下文训练,提供All-gather、A2A(DeepSpeed Ulysses)、P2P(Ring Attention)和A2A + P2P(USP)四种上下文并行策略。该框架在TPU 5p和TPU 7上可扩展至1400万token上下文;Google称,Llama 3.1 8B在TPU 5p上训练最长400万token序列时达到70% Model FLOPs Utilization。功能已通过PyPI、Docker镜像和GitHub main提供。
深度见解
这一版本为AI开发者提供了在Cloud TPU上训练百万token级序列的开源JAX框架,针对长上下文训练中的内存与通信瓶颈给出了可用的解决方案。
Announcing Long-Context Training on TPUs with MaxText Context Parallelism - Google Developers Blog
Announcing Long-Context Training on TPUs with MaxText Context Parallelism
NOV. 9, 2026
Michael Tran Software Engineering Intern Google Cloud
Nuojin Cheng Software Engineer Google Cloud
Deepak Patil Group Product Manager