Mosaic:多会话智能体强化学习方法
AI 总结
10月15日提交至 arXiv 的论文《Mosaic: Multi-Session Agentic Reinforcement Learning》提出“多会话智能体强化学习”这一更一般的设定,允许一条轨迹包含任意数量的会话,以匹配上下文压缩、子智能体分叉等推理时执行方式。作者指出常见做法是把轨迹级优势广播到所有会话,但无法区分各会话贡献,于是提出 Mosaic:一种无 critic 的分层优化方法,在轨迹层引入会话使用信号,在会话层按估计的边际贡献调整各会话优势。在 BrowseComp 上使用 Qwen3.5-4B 的实验显示,Mosaic 在上下文压缩与子智能体分叉两种场景下均优于广播式做法,且平均使用的会话数更少。
深度见解
它把训练假设与推理时多会话执行方式对齐,为多会话智能体强化学习提供了一个可参考的优化目标。