创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Cloudflare 推出 Auto Router 公测

AI 总结

Cloudflare 已通过 AI Gateway 推出 Auto Router 公测版,用户可将模型设为 cloudflare/auto,由分类器逐次请求选择模型。AI Gateway 会按请求格式、凭证、计费、访问控制和支出限制筛选候选模型,随后通过 Workers AI 运行多头分类器,评估任务类型、复杂性、歧义性、风险和上下文依赖。Cloudflare 称该路由器在可靠性提高约 10 个百分点的同时,成本约为原来的三分之一,但基准结果尚无独立验证。

深度见解

Auto Router 为团队提供了内置的质量与成本平衡机制,其审计请求头、单次模型限制和 8 KiB 上下文上限也提供了实际部署时需要评估的约束。

Cloudflare 最近通过 AI Gateway 推出了 Auto Router 公测版"。只需将模型设置为 cloudflare/auto,分类器就会为每个请求选择一个模型。公告中最有价值的内容,是一项 Cloudflare 自家路由器反而落败的基准测试。

路由分为两个阶段。AI Gateway 首先构建候选模型池,过滤掉无法处理当前请求格式的模型,并应用凭证、计费配置、访问控制和支出限制。随后,一个多头分类模型会在 Cloudflare 边缘 GPU 上通过 Workers AI 运行,为 14 类任务分配概率,并从四个维度对请求进行 1~5 级评分:复杂性、歧义性、风险程度,以及对先前上下文的依赖程度。最后,评分矩阵将这些结果与基准测试数据相结合,其公开公式为:“效用 = 预期质量 - 自适应成本惩罚”。

#Cloudflare#Auto Router#AI Gateway#Workers AI

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。