创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

研究者分享PHSMLP与Pilot架构实验

AI 总结

Reddit用户/u/WAMFT分享了PHSMLP和Pilot两种小型神经网络架构实验的代码与结果。PHSMLP在各Transformer层复用同一个MLP并加入学习式头池化;Pilot则将FFT计算的输入历史与非线性循环矩阵记忆结合。报告测试显示,共享MLP加池化的PHSMLP参数量减少13.4%,参数量相当的Pilot测试困惑度比四头Transformer低16.7%,但Pilot在记忆探针上表现较弱,训练速度约慢60倍。

深度见解

这些实验为参数高效的Transformer权重共享和兼容FFT的循环记忆提供了代码与初步结果,但单随机种子、小规模测试及记忆任务表现不佳使其仍属探索性研究。

#PHSMLP#Pilot#FineWeb-Edu#Transformer#FFT#T4

原文约 3 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。