LoCo用局部偏好学习决定何时停止推理
AI 总结
一篇新论文提出LoCo,这是一种基于DPO的方法:它从推理模型的轨迹中识别候选过度思考状态,冻结相应的推理前缀,重新生成更短且经验证的续写,并使用状态相关的偏好对进行训练。作者报告,LoCo在五项数学基准上将完成长度减少41.7%至45.4%,在三项代码生成基准上减少23.4%至36.3%,同时维持或提高准确率。
深度见解
该论文针对推理模型在已获得足够信息后仍继续推演所造成的推理成本。LoCo会根据当前状态决定继续推理还是结束,而不是简单地缩短所有推理轨迹。
Computer Science > Artificial Intelligence
arXiv:2611.04814 (cs)
[Submitted on 3 Nov 2026]
Title:Think Less, Locally: Local Preference Learning for Reasoning Compression
Authors:Muyao Yuan, Liyan Xu, Weizhan Zhang, Muyan Jiao, Jiangnan Li, Jinchao Zhang, Jie Zhou
View a PDF of the paper titled Think Less, Locally: Local Preference Learning for Reasoning Compression, by Muyao Yuan and 6 other authors