创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

是石科技发布TokenFleet推理集群调度框架

AI 总结

在2026 CCF全国高性能计算学术大会期间,是石科技发布TokenFleet分布式调度框架,重点用于请求路由、跨机房容量协同与混合负载治理。该框架包含TokenPilot、FleetMind和SLOMax三项技术,分别负责实例选点、跨机房容量协同和按服务等级治理队列与容量。是石科技称,在GLM5.3调优数据及所测显卡集群与负载条件下,预测延迟路由使P95首Token延迟降低32.4%、P50降低71.3%;SLOMax测算示例中达标输出吞吐提高约29.4%,但文中也注明延迟下降不直接等于成本下降,收益仍需结合实际负载验证。

深度见解

该发布针对是石科技所描述的“请求排队与资源闲置同时发生”的集群级问题,目标是提高现有GPU算力的有效Token产出。

首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效 – 量子位

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

思邈 2026-10-20 16:01:25 来源:量子位

最新发布TokenFleet调度框架

#METASTONE#TokenFleet#TokenPilot#FleetMind#SLOMax#GLM5.3#Meta-Infer

原文约 9 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。