创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

谷歌开源 TorchTPU:PyTorch 原生支持 TPU

AI 总结

谷歌周二宣布,其面向 TPU 的 PyTorch 版本 TorchTPU 已作为开源项目发布,提供原生的 torch.device("tpu") 后端,现有 PyTorch 训练脚本只需对设备初始化代码做少量修改。谷歌与 Meta 在 TorchTitan 中共同开发了 TPU 原生执行流程,TorchTitan 的 TPU 分支已在 GitHub 发布;谷歌称还与 Hugging Face、Inferact(vLLM)和 RadixArk(SGLang)合作确保工具兼容。谷歌自报的基准显示,Llama 3 405B 在 128 至 1024 颗 TPU v7x 芯片上约为 57% MFU,Qwen3 235B 在单个 1024 芯片切片上为 32.42% MFU;此前一天,亚马逊也为 Trainium 和 AWS 发布了其 PyTorch 版本 TorchNeuron。

深度见解

该发布为 PyTorch 开发者提供了通往谷歌 TPU 的原生路径,并与亚马逊 TorchNeuron 一道成为削弱 Nvidia 在 AI 应用中默认地位的努力之一,不过谷歌的性能数据为厂商自报。

Integrating TorchTPU into TorchTitan and Optimizing Models for TPU - Google Developers Blog

Integrating TorchTPU into TorchTitan and Optimizing Models for TPU

OCT. 20, 2026

Aleksey Vlasenko Software Engineer

Rob Torres Senior Product Manager

Will Constable Meta

#Google#Meta#TorchTPU#TorchTitan#PyTorch#Amazon#Trainium#Hugging Face#vLLM#SGLang#Tensor Processing Units

原文约 21 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。