生产级大模型平台：智能体幻觉率从15%降至1.5%
InfoQ 中文刊出的一篇实战文章介绍，某大型零售企业把基于大模型的库存推荐系统投入生产后，第一个月末约 15% 的智能体返回结果属于幻觉；六个月后该比例降至 1.5%。作者称关键不在于换用更强的基座模型，而是把重试与故障分类、提示词注册表与版本管理、Schema 强制校验、按请求统计 token 成本、行为可观测性、工具调用路由等能力下沉到共享平台层，目前该平台服务数十个应用团队，覆盖库存审计、补货审查与差异分诊。文章还描述了基于谷歌 ADK 的根协调智能体、通过 LiteLLM 统一调用 Gemini、GPT 等模型、基于 MCP 的工具服务，以及配套的开源代码库（本地用 Ollama 运行 llama3.1 以避免 API 费用）。
文章给出的核心论点是：抑制生产环境幻觉靠的不是更强的基座模型，而是把校验、版本管理、可观测与成本归因做成平台契约，这一经验对多团队共享大模型能力的企业具有直接参考价值。
在我们将基于 LLM 的库存推荐系统投入生产运行的第一个月末，约 15% 的智能体返回结果是幻觉——听起来言之凿凿，但内容毫无事实依据。
六个月后，幻觉率降到了 1.5%。推动这一数字下降的关键，并非换用更强大的基础模型，而是我们做出的一个决定：不再将大模型相关能力视作应用层的业务问题，而是把它当作平台基础设施来对待。
本文所描述的项目，是一家大型零售企业的库存准确性平台。系统库存记录会因错放、损坏、盗窃和计数错误而与货架实际商品产生偏差，这种偏差会影响下单、补货以及商品供给。
我们的多智能体大模型系统对数百万 SKU、数十亿条历史库存记录中的异常信号进行分析，为业务方生成库存修正建议，助力业务始终保持库存数据准确。
#Gemini#GPT#Google ADK#LiteLLM#Model Context Protocol#FastMCP#Ollama#llama3.1#Pydantic