HiRoute为本地编程引入分阶段模型路由
AI 总结
澄潭介绍了开源本机 AI 网关 HiRoute,可在保持同一编程会话的同时,按任务阶段选择模型。在 Higress 并发缺陷的受控复跑中,据作者所述,分流方案三次均通过验收,而全程使用 Qwen 3.8 Flash 仅通过一次,估算 API 等价成本比全程使用 GPT-6 Astra 低 59%。项目进展、测试及成本数据均来自作者单方陈述。
深度见解
HiRoute 提供了一套可操作的本地分工思路:在统一验收标准下,把关键判断交给更强模型,将常规测试等任务交给低成本模型。
作者:澄潭
整理本机环境时,我打开 LoongSuite Pilot 看了眼近 30 天的用量。面板上是 30020.4M token,约合 300 亿。
LoongSuite Pilot 的本机用量总览。近 30 天共 500 个会话、150,578 次模型请求和 149,656 次工具调用。
如果还停留在一问一答写代码片段的阶段,300 亿很难想象。把一个缺陷交给 Coding Agent 后,它要读代码、查调用链、改实现、跑编译和测试,遇到报错再改一轮。
我的记录里,一个会话平均要发出约 300 次模型请求。这 300 亿 token 中,约 98% 是长上下文的缓存读取。
#HiRoute#Higress#Alibaba Cloud AI Gateway#GPT-6 Astra#Qwen 3.8 Flash#Codex#Claude Code#LoongSuite Pilot#Pi#DeepSeek Harness