是石科技发布TokenFleet推理集群调度框架
AI 总结
在2026 CCF全国高性能计算学术大会期间,是石科技发布TokenFleet分布式调度框架,重点用于请求路由、跨机房容量协同与混合负载治理。该框架包含TokenPilot、FleetMind和SLOMax三项技术,分别负责实例选点、跨机房容量协同和按服务等级治理队列与容量。是石科技称,在GLM5.3调优数据及所测显卡集群与负载条件下,预测延迟路由使P95首Token延迟降低32.4%、P50降低71.3%;SLOMax测算示例中达标输出吞吐提高约29.4%,但文中也注明延迟下降不直接等于成本下降,收益仍需结合实际负载验证。
深度见解
该发布针对是石科技所描述的“请求排队与资源闲置同时发生”的集群级问题,目标是提高现有GPU算力的有效Token产出。
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效 – 量子位
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

最新发布TokenFleet调度框架
#METASTONE#TokenFleet#TokenPilot#FleetMind#SLOMax#GLM5.3#Meta-Infer