Reframe 对齐视觉智能体的观测状态
AI 总结
一篇发布于 arXiv 的论文提出 Reframe,这是一种面向智能体视觉推理的后训练框架,除输出分布外也对齐观测状态。其 Ground-Drop-GRPO 阶段使用证据感知奖励和随机移除原始视觉输入,训练空间与时间专家。Observation-Gated-MOPD 随后在 rollout 过程中将有缺陷的工具动作替换为规范动作,并从修复后的观测继续蒸馏。作者称,Reframe 在14个图像和视频基准上优于 Mix-RL 和标准多教师在线策略蒸馏;消融实验显示,与基于结果的 GRPO 相比,GD-GRPO 提高了观测依赖性和工具收益。
深度见解
Reframe 将观测对齐的强化学习与观测修复式蒸馏结合起来,以应对视觉智能体忽视工具返回证据或采取依据不足动作的问题。作者报告了该方法在14个图像和视频基准上的优势,但所提供报道未对结果进行独立验证。
Computer Science > Computer Vision and Pattern Recognition
arXiv:2611.12886 (cs)
[Submitted on 9 Nov 2026]
Title:Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning
Authors:Haozhi Yuan, Handong Li, Yifan Zhang, Qianshan Wei
View a PDF of the paper titled Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning, by Haozhi Yuan and 3 other authors