Cloudflare 推出 Auto Router 公测
AI 总结
Cloudflare 已通过 AI Gateway 推出 Auto Router 公测版,用户可将模型设为 cloudflare/auto,由分类器逐次请求选择模型。AI Gateway 会按请求格式、凭证、计费、访问控制和支出限制筛选候选模型,随后通过 Workers AI 运行多头分类器,评估任务类型、复杂性、歧义性、风险和上下文依赖。Cloudflare 称该路由器在可靠性提高约 10 个百分点的同时,成本约为原来的三分之一,但基准结果尚无独立验证。
深度见解
Auto Router 为团队提供了内置的质量与成本平衡机制,其审计请求头、单次模型限制和 8 KiB 上下文上限也提供了实际部署时需要评估的约束。

Cloudflare 最近通过 AI Gateway 推出了 Auto Router 公测版"。只需将模型设置为 cloudflare/auto,分类器就会为每个请求选择一个模型。公告中最有价值的内容,是一项 Cloudflare 自家路由器反而落败的基准测试。
路由分为两个阶段。AI Gateway 首先构建候选模型池,过滤掉无法处理当前请求格式的模型,并应用凭证、计费配置、访问控制和支出限制。随后,一个多头分类模型会在 Cloudflare 边缘 GPU 上通过 Workers AI 运行,为 14 类任务分配概率,并从四个维度对请求进行 1~5 级评分:复杂性、歧义性、风险程度,以及对先前上下文的依赖程度。最后,评分矩阵将这些结果与基准测试数据相结合,其公开公式为:“效用 = 预期质量 - 自适应成本惩罚”。