ORL开源:扩散LLM单卡推理达2788 tokens/s
AI 总结
研究团队在Reddit发布ORL(On-Policy Residual Learning),一种让扩散语言模型(dLLM)在更少前向次数内收敛、从而加速生成的方法,并同步开源模型、训练代码、评测流程与自研推理引擎dlmrt。作者自报称,LLaDA-2.1-mini搭配ORL在NVFP4下单张RTX 5090可达2,788 tokens/s,DiffusionGemma 26B MoE在8×B200上达7,708 tokens/s,QwenDLM-4B端到端吞吐最高提升6.9倍,HumanEval pass@1从82.9%升至89.6%。团队同时说明,以上数字均为batch size 1的单请求解码峰值,并非任意提示词下的平均值或并发总吞吐;与DFlash、EAGLE3的对比是端到端系统比较,ORL用dlmrt而投机解码器用vLLM。
深度见解
若作者自报数据可复现,扩散语言模型在单请求低延迟场景下可能成为自回归解码之外的一条可行路径,且相关代码与权重已全部开放。