LatentLoop为循环MoE非对称分配算力
AI 总结
LatentLoop压缩循环Mixture-of-Experts模型第一次访问的序列，保留第二次访问的完整分辨率，并将节省的算力用于扩大隐藏层规模。该方法在两次访问间共享MoE权重但使用独立的注意力参数；作者报告称，在1.3B至7B参数的15种配置中，其验证NLL均更低，并在九项基准测试中取得更高的平均分。
深度见解
论文提出通过非对称算力分配改进循环MoE模型；在拟合NLL为1.988时，预测算力较vanilla MoE节省19.0%，较循环基线节省7.9%。
Computer Science > Machine Learning
arXiv:2610.19975 (cs)
[Submitted on 14 Oct 2026]
Title:LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
Authors:Zefeng He, Yunkai Chai, Xiaoyang Chen, Tong Zhu, Zongliang Wu, Yun Luo, Yafu Li, Yu Cheng
View a PDF of the paper titled LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation, by Zefeng He and 7 other authors