九章云极开源 Alaya-DFlash2，称 GLM-5.3 解码提速 3.41 倍
九章云极发布并开源 Alaya-DFlash2，这是一套为 GLM-5.3 打造的推测解码加速方案，由可并行起草的草稿模型和并行路径选择机制组成。按其自述评测，在 TP=8、8×H200、单并发条件下，解码速度约 288.2 tokens/s，为原生自回归 84.5 tokens/s 的 3.41 倍，总输出吞吐从 78.95 提升至 236.47 tokens/s。报道还称，在 1k 至 32k 的低熵上下文测试中，其接受长度均高于 IncoAI-DFlash2 与 RedHat-DSpark；64 并发下总输出吞吐 608.71 tokens/s，较原生自回归提升 44.9%。
九章云极称，该方案在长上下文与较高并发下同时提高单用户解码速度和总输出吞吐，为 GLM-5.3 长文本生成与多请求服务提供了可量化的推理加速路径；相关数据由其自行评测给出，且仅覆盖本轮已测负载范围。
长文本的等待，发生在输出阶段。
32k 的文档读进去了，模型开始回答。第一个字很快，后面每个字都要等——主模型一次只往前一步，每生成一个 token，都要把整段上下文重新算一遍。上下文越长，这一步越贵。
推测解码换了个做法：让一个更小的草稿模型先往后猜几步，主模型一次性验证。猜中的部分直接接收，一轮就能推进好几个 token。猜得准不准，用一个指标衡量——接受长度，即每次验证平均能通过多少个候选。
Alaya-DFlash2 是九章云极为 GLM-5.3 打造的一套推测解码加速方案：一个能并行起草的草稿模型，加一套路径选择机制，让它在长上下文里依然猜得准。评测显示，它在长上下文下保持了较高的草稿接受长度，并在从单并发到 64 并发的全部已测档位中，同时取得高于原生自回归解码的单用户解码速度与总输出吞吐。
#九章云极 (AlayaNeW)#GLM-5.3#Alaya-DFlash2#AlayaNeW 智算引擎#IncoAI-DFlash2#RedHat-DSpark#Nvidia H200