Firefly反转任务合成:先探索真实API,再反向生成可验证的tool-call任务
在机器之心报道的NeurIPS 2026工作中,Firefly团队提出先在真实MCP Server上探索,再据此反向(back-chaining)生成问题与标准答案的pipeline。团队称,该流水线覆盖240个server、993个工具,生成了5,144个可验证任务,并配套Retrieval-Augmented Tool-Call Simulator:缓存探索阶段观察到的每一次tool call,使强化学习训练与评估可完全离线且可复现。报道提到,为保证可验证性,筛选阶段排除了有状态和需要用户认证的server;团队关于更大模型(如30B及以上)可能从可验证监督中获益更多的推测仍待实验验证。
报道将可验证、可复现的tool-call训练数据视为一个开放问题:人工标注难以规模化,纯模拟环境偏离真实API行为,前向合成的ground truth缺乏正确性保证。Firefly的“先探索、后出题”设计与模拟器回应了这些缺口,使RL rollout可离线进行、无需承担live API的成本与可用性顾虑,且训练与评估使用完全相同的工具行为。
机器之心 2026-11-07 12:04 辽宁
研究社区探索可验证Agent学习的一个起点
在训练 Tool-Calling Agent 的过程中,我们反复遇到一个看似简单、却非常关键的问题:训练数据从哪里来?
Tool-Calling Agent 需要根据用户意图调用外部 API、整合中间结果,并最终给出答案。要通过 Reinforcement Learning 训练这样的 Agent,我们需要大量任务,每个任务都应当带有正确的中间 tool calls 和可以被验证的最终答案。即使是数据效率较高的 RL 方案,也往往需要数千个这样的任务;而目前主流的 agent benchmark,每个通常只提供几十到几百个任务。
#Firefly#Retrieval-Augmented Tool-Call Simulator#MCP Server#Tool Graph