SQAM:用标量伴随匹配微调流策略的Q学习
AI 总结
arXiv 预印本提出 Q-Learning with Scalar Adjoint Matching(SQAM):作者观察到预训练流策略的批平均速度雅可比矩阵集中在对角线上,据此推导出闭式标量伴随,把最终动作上的价值梯度按流时间缩放,从而省去逐步的向量-雅可比乘积计算。SQAM 还结合了针对策略生成动作的价值惩罚。在 OGBench 四个最难领域上,其成功率比各自最强基线高出 18 至 35 个百分点;在真实双臂机器人上微调视觉-语言-动作策略时,三个任务均优于监督微调。
深度见解
若这一简化成立,可显著降低用离线强化学习微调流策略与机器人策略的计算成本。
Computer Science > Machine Learning
arXiv:2610.10437 (cs)
[Submitted on 7 Oct 2026]
Title:Q-Learning with Scalar Adjoint Matching
Authors:Yonghoon Dong, Minsung Yoon, Jaehyuk Kim, Jungwoo Park, Changyeon Kim, Jinwoo Shin
View a PDF of the paper titled Q-Learning with Scalar Adjoint Matching, by Yonghoon Dong and 5 other authors