用 BM25 构建智能体工具发现流程
一篇文章介绍了一套不绑定特定模型 API 的纯 Python 流程:用 BM25 检索工具,通过硬性规则过滤风险,递归补全已声明的依赖,并只向模型提供最终候选工具的 Schema。文章区分模型可见工具与完整可执行注册表,并指出执行层仍需校验权限、参数、审批、幂等键及本轮允许调用的工具集合。文章建议评测工具召回率、Completeness@K、风险暴露、Schema token 数、工具选择准确率和端到端成功率。文中引用 Anthropic 文档介绍延迟加载方案,并称工具目录超过约 30—50 个后,工具选择能力可能下降;该阈值未在此独立核验。文章对多工具检索研究及其 AppWorld 结果的引用属于二手引述,其演示示例也不足以证明生产环境中的召回率或任务成功率。
该流程提供了一种可实现的工程方法,在控制模型上下文规模的同时补齐已声明的前置工具并实施风险边界。通过区分模型可见工具和可执行工具,它还支持分层防护:检索层减少暴露,执行层负责最终授权校验。
一个 Agent 只有三五个工具时,最简单的做法是把所有工具名称、描述和参数 Schema 一次性交给模型。
接入更多 MCP Server 后,问题会变得明显。GitHub、Slack、日历、邮件、数据库和监控平台可能带来几十甚至几百个工具。每次模型调用都携带全部定义,不但消耗 token,相似工具还会相互干扰。
Anthropic 的 Tool Search 文档给出了一个多服务器示例:GitHub、Slack、Sentry、Grafana 和 Splunk 的工具定义合计约 5.5 万 token;其文档还指出,工具数量超过 30—50 个后,工具选择能力会下降。官方方案是延迟加载工具,只在需要时搜索并展开少量定义。Anthropic Tool Search 文档
这篇文章不绑定特定模型 API,而是用纯 Python 实现一个本地版本:
用户请求
↓
BM25 工具检索
↓
风险等级过滤
↓
依赖工具递归补全
↓
只把候选工具 Schema 交给模型
↓
执行层校验并调用真实工具