港科大与华为提出BalanceRoute，解码吞吐提升约15%
AI 总结
香港科技大学研究团队与华为2012实验室理论部联合提出 BalanceRoute，用于缓解大模型推理中的数据并行负载均衡瓶颈：解码各工作单元必须同步推进，最忙的一组会迫使其他组空等。该方法通过数学建模刻画同步等待，把短期负载预测转化为在线路由决策，在96卡昇腾910C、运行 DeepSeek-V3 671B（W8A8）的主实验中，采用实际预测器的 BR-H 相比所比较的最强基线，在两个数据集上解码吞吐分别提升15.4%和14.5%，输出 token 间隔的尾部延迟也同时降低。论文称单轮调度耗时中位数1.20毫秒、99%分位2.77毫秒，该工作已被 NeurIPS 2026 接收，并部署于双方共建的 MaaS 推理服务系统 MathBot-Pie。
深度见解
它把推理性能瓶颈从单纯堆算力转向跨组调度，为大规模 MoE 在线服务提供了一套可落地的路由优化思路。