创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

ModelSphere详解开源LLM流式响应断流续写网关

AI 总结

ModelSphere介绍了一个开源网关,部署在客户端与 SGLang、vLLM 等推理引擎之间,用于续写中断的流式响应。该设计最多使用两条请求链,根据已恢复的 reasoning 和 content 构造续写提示,并统一响应字段、令牌预算与 usage 估算。ModelSphere表示,不同模型与引擎的兼容性存在差异,需要逐个组合验证。网关不支持结构化 JSON 输出,也无法在 tool call 分片已发送给客户端后续写;原文还称,断点处的语义连续性没有自动化保证。

本文是 ModelSphere 核心技术硬核拆解系列第一篇。我们将讲清生产级流式推理里,「断流续写」如何在网关层落地:为什么整段重试不够、续写请求怎么构造、模型 × 引擎组合要踩哪些坑,以及哪些边界我们刻意不支持。

大模型的长回答,很少是一口气吐完的。更多时候,字是一段一段流出来的:你这边看着屏幕往下蹦,服务那边在算、在调度、在占着一张卡。

麻烦往往出在半路上。流到一半,负责生成的那台机器挂了、被挪走了,或者连接断了——屏幕上的字突然停住。刚才等了很久才出来的那一大段,常规做法几乎只有整段重试:推倒重来,用户再等一轮。

对用户,是重等;对平台,是已经烧出去的算力打了水漂。很多人把它当成「再试一次」的运维问题,其实卡点不在能不能重启服务,而在:已经生成出来的内容,能不能被接着用。

#ModelSphere#continuation_gateway#SGLang#vLLM#Kimi-K3#Qwen

原文约 17 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。