ModelSphere详解开源LLM流式响应断流续写网关
AI 总结
ModelSphere介绍了一个开源网关,部署在客户端与 SGLang、vLLM 等推理引擎之间,用于续写中断的流式响应。该设计最多使用两条请求链,根据已恢复的 reasoning 和 content 构造续写提示,并统一响应字段、令牌预算与 usage 估算。ModelSphere表示,不同模型与引擎的兼容性存在差异,需要逐个组合验证。网关不支持结构化 JSON 输出,也无法在 tool call 分片已发送给客户端后续写;原文还称,断点处的语义连续性没有自动化保证。
本文是 ModelSphere 核心技术硬核拆解系列第一篇。我们将讲清生产级流式推理里,「断流续写」如何在网关层落地:为什么整段重试不够、续写请求怎么构造、模型 × 引擎组合要踩哪些坑,以及哪些边界我们刻意不支持。
大模型的长回答,很少是一口气吐完的。更多时候,字是一段一段流出来的:你这边看着屏幕往下蹦,服务那边在算、在调度、在占着一张卡。
麻烦往往出在半路上。流到一半,负责生成的那台机器挂了、被挪走了,或者连接断了——屏幕上的字突然停住。刚才等了很久才出来的那一大段,常规做法几乎只有整段重试:推倒重来,用户再等一轮。
对用户,是重等;对平台,是已经烧出去的算力打了水漂。很多人把它当成「再试一次」的运维问题,其实卡点不在能不能重启服务,而在:已经生成出来的内容,能不能被接着用。