苹果与CMU提出SSR:推理选择化,延迟降超90%
AI 总结
苹果与卡内基梅隆大学的研究团队提出 SSR(Selection-Based Structured Reasoning),把智能体每一步的自由形式推理(free-form thinking)改为从包含 6 条预定义推理选项的推理库中做选择:选项打分复用模型自身似然并一次性并行 prefill,不需要自回归生成任何新 token,也不需额外的分类头或 SFT warm start。在 Qwen3-VL 2B/4B 模型、H100 + SGLang 环境下,论文在 MMSearch、InfoSeek、SimpleVQA 等 7 个多模态搜索 benchmark 上报告每轮推理延迟降低超过 90%、每题总推理延迟降低 28–54%,成功率与自由推理版本相当(4B SSR+GRPO 平均成功率 61.37%,2B 达 51.26%)。作者称该方法可接入现有 SFT 与 RL 训练流程,并强调 SSR 是把推理空间从开放语言空间重组为紧凑的策略空间,适用于搜索与工具调用这类高层决策较少的场景,而开放式数学推理、定理证明和代码设计仍需要自由生成式思考。
深度见解
它给出了一条在几乎不牺牲任务成功率的前提下压缩智能体推理开销的通用思路,对小模型端侧智能体尤其有现实意义。
AppleCarnegie Mellon UniversitySSR (Selection-Based Structured Reasoning)