创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

MaxText v0.2.4支持Cloud TPU长上下文训练

AI 总结

Google宣布MaxText v0.2.4支持在Cloud TPU上进行长上下文训练,提供All-gather、A2A(DeepSpeed Ulysses)、P2P(Ring Attention)和A2A + P2P(USP)四种上下文并行策略。该框架在TPU 5p和TPU 7上可扩展至1400万token上下文;Google称,Llama 3.1 8B在TPU 5p上训练最长400万token序列时达到70% Model FLOPs Utilization。功能已通过PyPI、Docker镜像和GitHub main提供。

深度见解

这一版本为AI开发者提供了在Cloud TPU上训练百万token级序列的开源JAX框架,针对长上下文训练中的内存与通信瓶颈给出了可用的解决方案。

Announcing Long-Context Training on TPUs with MaxText Context Parallelism - Google Developers Blog

Announcing Long-Context Training on TPUs with MaxText Context Parallelism

NOV. 9, 2026

Michael Tran Software Engineering Intern Google Cloud

Nuojin Cheng Software Engineer Google Cloud

Deepak Patil Group Product Manager

#MaxText#Cloud TPU#TPU 5p#TPU 7#Llama 3.1 8B#Google Cloud

原文约 10 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。