前OpenAI研究员：神经网络早已「干净」
AI 总结
OpenAI前研究员Nick Cammarata与Goodfire团队发布长文《神经网络早已「干净」》，主张神经网络内部计算大多有规律可循，而非一团乱麻。文章称，在一个320亿参数语言模型中，团队把神经元正负响应分开统计后粗略估计，约90%的神经元各有一个主要任务，约2%至4%仍未理解；在一项实验中，关掉20个被标为「圣诞节」的神经元后模型回答「圣诞老人」的概率仍有76%，换成另外8个关键神经元则骤降到6%。团队还公开1000份随机神经元研究报告，并称在结构更现代的ConvNeXt模型中，Nick估计最后一层约99%的神经元可以解释。文中描述的多项盲测显示，仅凭一份「功能说明书」写出的句子能比从100亿token文本中找到的样本更强地激活神经元；在183个正向解释中，目标例子的强激活比例为76%，干扰例子为11%。作者强调这些是等待更多检验的工作假说，并设想让智能体持续运行自动化「科学实验室」推进机制研究。
深度见解
若模型内部计算真能变得可追踪，研究者或能在输出难以判断时发现潜在风险；但这些结论目前仍是待检验的假说。