DPO损失下降,但最终答案正确数未增加
AI 总结
项目作者称,DPO将验证损失从0.628564降至0.155683,验证偏好分数也上升,但Qwen3-0.6B在32项受控测试中答对29项,不及原始模型的30项。其评估流程包括规则评分、成对LLM评委、位置偏见检查、人工校准和配对bootstrap;六组模型对照最终均被判定为证据不足。该32项研究使用受控思维链样本,涵盖算术和多轮数值更新,人工标签来自单一标注者。
深度见解
报告指出,训练指标只是代理指标,不能直接作为能力结论。在宣称后训练提升能力之前,需要检验任务表现、评委可靠性及统计不确定性。
最近,我在给自己的手搓 LLM 项目补后训练。
做到 DPO 时,训练指标看起来非常舒服:
val loss: 0.628564 → 0.155683
val score: 1.3776 → 22.8115
loss 降了约 75%,偏好 score 也大幅上涨。
如果只看这两条曲线,我完全可以写一句:DPO 偏好优化取得了明显效果。
但把训练后的模型放到同一套行为测试里,结果却是:
#Qwen3-0.6B#DeepSeek#Qwen4 Max#EleutherAI lm-evaluation-harness#Inspect AI#OpenCompass#Promptfoo