PyTorch 发布 Zephon：弹性确定性数据加载
AI 总结
PyTorch 博客介绍了 Zephon，这是一个为 TorchTitan 提供的训练数据加载器，目标是在改变 GPU 数量后仍产出完全相同的全局批次。文中用 1B 参数模型在 8 至 64 个 GPU 上从零训练 20B token 做对比：使用标准数据加载器时，DCLM Core v1 分数最多相差 0.82 分、FineWeb 分数相差 0.64 分，约为数据筛选方法常用阈值的四倍；换成 Zephon 后分别只有 0.05 和 0.011 分。Zephon 在训练任务内即时完成分词、打包、混洗与数据集混合，靠 lane、单线程累加器和周期性 flush 来复现状态，检查点仅几 MiB，并可在不同数据并行规模上恢复；作者称在视觉语言流水线上其吞吐与 Google Grain 相当。
深度见解
数据配方消融很容易把 GPU 数量带来的差异误当成数据改动的效果，弹性确定性让不同规模下的实验结果可以直接比较。