潜在反馈或提升语言模型训练效率
AI 总结
一篇arXiv预印本报告称,潜在反馈将每个token的顶层状态输入下一个token,在测试条件下可用更少计算量或独立数据达到标准Transformer的损失。作者报告最高可节省48%的计算量和47%的独立数据;节省幅度随每参数独立数据量和重复训练次数增加而扩大,而当独立数据相对模型规模稀缺时,收益会减弱。基于6000万至2.71亿参数模型拟合的缩放定律预测,在7.78亿参数的保留规模上,损失误差不超过0.3%,两种模型的差距不超过0.05%。
Computer Science > Machine Learning
arXiv:2611.20404 (cs)
[Submitted on 16 Nov 2026]
Title:Latent Feedback Is a Compute and Data Amplifier
Authors:Benhao Huang, Chaitanya Dwivedi, Xuezhe Ma, Alexander Moreno, Hector Liu
View a PDF of the paper titled Latent Feedback Is a Compute and Data Amplifier, by Benhao Huang and 4 other authors