神经网络安全可解释性新论引争议
AI 总结
Goodfire 研究员 Nick Cammarata 发表长文《Neural Networks Are Already Clean》,主张大模型内部结构比此前认为的容易理解得多。他重新解读了 InceptionV1 中著名的"猫脸-汽车"神经元,认为它其实是尖形检测器,并把《Zoom In》里的叠加电路理解为普通泛化,还提出"递归泛化"来解释剩余模糊性。他给出初步数据:在 Qwen3-32B 中约 90% 的神经元极点只有一个主要功能,约 7% 有两个相关功能,仅 2% 至 4% 无法解释;Goodfire 称在参数量达万亿级的模型上看到类似结果,大量分析工作由智能体自动完成。OpenAI 的 Roon 称这可能是科学史上的重要时刻,Google DeepMind 的 Neel Nanda 则认为这只是有用的工具而非突破,并坚持叠加现象真实存在;配套技术论文尚未发布。
深度见解
如果模型内部真的更易读懂,AI 安全监测可能多出一条可行路径,但该结论仍待独立验证,Goodfire 自身也有商业利益。