创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

合同摘要服务灰度迁移至 M2 模型

AI 总结

合同摘要服务团队称,主模型从 M1 切换到 M2 时,采用 10%、50% 和 100% 三档流量灰度,历时九天完成。上线过程中,M2 因日期格式变化导致下游解析失败率达到 24%,并发额度不足时 p99 延迟一度超过七秒;团队随后修复问题、提高并发额度,并在收到 HTTP 429 时自动从 M2 降级到 M1。团队称迁移后月度模型费用从 3,300 元降至 2,000 元,受影响的 41 份合同均由下游脚本自动重试。

深度见解

该案例展示了分级灰度、下游解析检查、尾延迟监控和自动降级如何降低生产环境更换 LLM 的运营风险,但相关数据仅来自单一第一人称来源。

十月中旬,我们要把合同摘要服务的主模型从 M1 换成 M2。M2 便宜 40%,离线评测准确率还高了 1.5 个点。

换模型这件事,团队之前做过一次,方式是周五晚上直接改配置。周一早上法务部来了三个人,说摘要里的金额单位全错了——M2 在某类合同上会把「万元」写成「元」。那次回滚花了半天,返工了两百多份摘要。

这一次,我们按发布普通服务的方式做了灰度:10%、50%、100% 三档,每档跑够时间、看够指标再往下走。前后九天,期间发现并修掉了两个离线评测没测出来的问题。

一、为什么模型切换必须灰度

离线评测再全,也只是一个固定的测试集。线上有三样东西是测试集没有的:

  • 真实的输入分布。 我们的测试集 600 份合同,线上一周就有 4,000 多份,类型更杂。
  • 真实的负载。 新模型在高并发下的延迟、限流表现,离线测不出来。
  • 下游的反应。 摘要格式变一点点,下游的解析脚本、人的阅读习惯都可能出问题。

#Contract-summary service#M1#M2#OpenAI-compatible API

原文约 4 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。