扩散语言模型学习式解掩码策略受控研究
AI 总结
一篇于2026年10月22日提交至arXiv的预印本对掩码扩散语言模型的学习式解掩码策略进行了受控研究，分别考察教师标签、模仿状态、策略输入、模型容量和计算开销的影响。其85.6万参数的轨迹收缩策略在LLaDA-8B-Instruct上取得论文报告的最佳精度—NFE前沿和GSM8K最高吞吐量，并在MATH-500、HumanEval上表现具有竞争力，结果大部分可迁移至Dream-7B-Instruct。
深度见解
该预印本报告称，小型学习策略能够改善扩散语言模型的精度—计算量权衡，并明确了影响策略效果的关键设计与监督因素。
Computer Science > Artificial Intelligence
arXiv:2610.31576 (cs)
[Submitted on 22 Oct 2026]
Title:What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
Authors:Jinya Sakurai, Xun Xu, Jaehong Yoon
View a PDF of the paper titled What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models, by Jinya Sakurai and 2 other authors
#LLaDA-8B-Instruct#Dream-7B-Instruct#GSM8K#MATH-500#HumanEval