创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

谷歌 Tunix 实现 Zero-TIM,令 TPU 强化学习训练与推理误差归零

AI 总结

谷歌宣布了在 Tunix(其基于 JAX、面向 Cloud TPU 上大语言模型强化学习与后训练的开源库)中实现的零训练—推理不匹配方案 Zero-TIM。该方案使采样器与训练器对同一动作和 token 历史给出逐位相同的 logprob,并在 64 块 TPU v5p 芯片的 DP8×TP8 网格上完成多机验证,手段包括固定核内累加顺序、显式排序跨分片归约、共享动作 logprob 路径以及为服务前向定制微分规则。在使用公开 Qwen3-8B 检查点的 FrozenLake 单随机种子实验中,Zero-TIM 在每个记录步骤的采样器—训练器 logprob 平均绝对差为零,观察到的求解率高于标准训练与 token 级截断重要性采样。

深度见解

谷歌称训练与推理的 logprob 差异源于浮点归约顺序在 rollout 解码与训练批量前向中不一致,形成会随多轮轨迹累积的隐性 off-policy 偏差;其模块化核模式与三方验证契约面向现有多机 JAX/TPU 服务与训练流水线的采用,并正在扩展对线性注意力和混合专家架构的支持。

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch - Google Developers Blog

Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch

NOV. 16, 2026

Yuxuan Zhang Software Engineer

Lin Chai Senior Software Engineer

Lance Wang Senior Software Engineer

#Google#Tunix#JAX#Pallas#Cloud TPU#Qwen3-8B

原文约 7 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。