Claude用iWSP编写可解释Transformer权重
AI 总结
微软研究院与三所大学提出可解释权重空间编程(iWSP),让Claude生成Python代码,并依据验证反馈直接设置Transformer权重,全程不使用基于梯度的训练。报道称,该方法生成的神经网络在13类算法任务、26次运行中均于隐藏测试集达到100%准确率,并在脑数据建模中揭示可解释特征与混杂因素。其在自然语言任务上表现较弱,模型规模增至约19万个参数时,情感分类准确率也仅为72%。
深度见解
这项研究为构建可审查的神经网络提供了新路径,但算法任务的突出结果并不能证明复杂语言任务或基础模型已不再需要梯度训练。
在13类复杂的算法任务、26次独立运行中,一个全新的神经网络在隐藏测试集上全部达到了100%的准确率。
更不可思议的是,整个过程没有喂给它海量数据,甚至完全没有使用「反向传播」和「梯度下降」。
这个晶莹剔透、小巧至极的满分神经网络,是Claude Opus 5.5,用代码一行一行直接「手写」出来的。
近日,微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学的团队,发表了新研究「可解释权重空间编程(iWSP)」。
这项研究证明:前沿大语言模型已经可以直接越过传统的优化器,依据固定的评测反馈,像外科医生一样精准构思计算逻辑,并用代码将算法直接写进Transformer的权重里。
#Microsoft Research#Johns Hopkins University#Columbia University#New York University#Anthropic#Claude Opus 5.5#Claude Opus 4.7#Claude Sonnet 5.5#Claude Haiku 5.5