论文《A Fix for Softmax and Cross-Entropy》报告了PyTorch、JAX、TensorFlow等标准Softmax与交叉熵实现中的两个浮点缺陷。这些问题可能在分类模型高度自信时错误归零正确类别梯度，也可能在学生模型与教师模型完全一致时留下残余梯度。研究提出的修复保留原有数学定义且无需提高浮点精度，并在模运算与知识蒸馏实验中展现出更平稳的训练表现。