合同摘要服务灰度迁移至 M2 模型
AI 总结
合同摘要服务团队称,主模型从 M1 切换到 M2 时,采用 10%、50% 和 100% 三档流量灰度,历时九天完成。上线过程中,M2 因日期格式变化导致下游解析失败率达到 24%,并发额度不足时 p99 延迟一度超过七秒;团队随后修复问题、提高并发额度,并在收到 HTTP 429 时自动从 M2 降级到 M1。团队称迁移后月度模型费用从 3,300 元降至 2,000 元,受影响的 41 份合同均由下游脚本自动重试。
深度见解
该案例展示了分级灰度、下游解析检查、尾延迟监控和自动降级如何降低生产环境更换 LLM 的运营风险,但相关数据仅来自单一第一人称来源。
十月中旬,我们要把合同摘要服务的主模型从 M1 换成 M2。M2 便宜 40%,离线评测准确率还高了 1.5 个点。
换模型这件事,团队之前做过一次,方式是周五晚上直接改配置。周一早上法务部来了三个人,说摘要里的金额单位全错了——M2 在某类合同上会把「万元」写成「元」。那次回滚花了半天,返工了两百多份摘要。
这一次,我们按发布普通服务的方式做了灰度:10%、50%、100% 三档,每档跑够时间、看够指标再往下走。前后九天,期间发现并修掉了两个离线评测没测出来的问题。
一、为什么模型切换必须灰度
离线评测再全,也只是一个固定的测试集。线上有三样东西是测试集没有的:
- 真实的输入分布。 我们的测试集 600 份合同,线上一周就有 4,000 多份,类型更杂。
- 真实的负载。 新模型在高并发下的延迟、限流表现,离线测不出来。
- 下游的反应。 摘要格式变一点点,下游的解析脚本、人的阅读习惯都可能出问题。