谷歌 Tunix 实现 Zero-TIM,令 TPU 强化学习训练与推理误差归零
AI 总结
谷歌宣布了在 Tunix(其基于 JAX、面向 Cloud TPU 上大语言模型强化学习与后训练的开源库)中实现的零训练—推理不匹配方案 Zero-TIM。该方案使采样器与训练器对同一动作和 token 历史给出逐位相同的 logprob,并在 64 块 TPU v5p 芯片的 DP8×TP8 网格上完成多机验证,手段包括固定核内累加顺序、显式排序跨分片归约、共享动作 logprob 路径以及为服务前向定制微分规则。在使用公开 Qwen3-8B 检查点的 FrozenLake 单随机种子实验中,Zero-TIM 在每个记录步骤的采样器—训练器 logprob 平均绝对差为零,观察到的求解率高于标准训练与 token 级截断重要性采样。
深度见解
谷歌称训练与推理的 logprob 差异源于浮点归约顺序在 rollout 解码与训练批量前向中不一致,形成会随多轮轨迹累积的隐性 off-policy 偏差;其模块化核模式与三方验证契约面向现有多机 JAX/TPU 服务与训练流水线的采用,并正在扩展对线性注意力和混合专家架构的支持。
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch - Google Developers Blog
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch
NOV. 16, 2026
Yuxuan Zhang Software Engineer
Lin Chai Senior Software Engineer
Lance Wang Senior Software Engineer