研究者分享PHSMLP与Pilot架构实验
AI 总结
Reddit用户/u/WAMFT分享了PHSMLP和Pilot两种小型神经网络架构实验的代码与结果。PHSMLP在各Transformer层复用同一个MLP并加入学习式头池化;Pilot则将FFT计算的输入历史与非线性循环矩阵记忆结合。报告测试显示,共享MLP加池化的PHSMLP参数量减少13.4%,参数量相当的Pilot测试困惑度比四头Transformer低16.7%,但Pilot在记忆探针上表现较弱,训练速度约慢60倍。
深度见解
这些实验为参数高效的Transformer权重共享和兼容FFT的循环记忆提供了代码与初步结果,但单随机种子、小规模测试及记忆任务表现不佳使其仍属探索性研究。