创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

DPO损失下降,但最终答案正确数未增加

AI 总结

项目作者称,DPO将验证损失从0.628564降至0.155683,验证偏好分数也上升,但Qwen3-0.6B在32项受控测试中答对29项,不及原始模型的30项。其评估流程包括规则评分、成对LLM评委、位置偏见检查、人工校准和配对bootstrap;六组模型对照最终均被判定为证据不足。该32项研究使用受控思维链样本,涵盖算术和多轮数值更新,人工标签来自单一标注者。

深度见解

报告指出,训练指标只是代理指标,不能直接作为能力结论。在宣称后训练提升能力之前,需要检验任务表现、评委可靠性及统计不确定性。

最近,我在给自己的手搓 LLM 项目补后训练。

做到 DPO 时,训练指标看起来非常舒服:

val loss:  0.628564 → 0.155683
val score: 1.3776   → 22.8115

loss 降了约 75%,偏好 score 也大幅上涨。

如果只看这两条曲线,我完全可以写一句:DPO 偏好优化取得了明显效果。

但把训练后的模型放到同一套行为测试里,结果却是:

#Qwen3-0.6B#DeepSeek#Qwen4 Max#EleutherAI lm-evaluation-harness#Inspect AI#OpenCompass#Promptfoo

原文约 11 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。