创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

神经网络安全可解释性新论引争议

AI 总结

Goodfire 研究员 Nick Cammarata 发表长文《Neural Networks Are Already Clean》,主张大模型内部结构比此前认为的容易理解得多。他重新解读了 InceptionV1 中著名的"猫脸-汽车"神经元,认为它其实是尖形检测器,并把《Zoom In》里的叠加电路理解为普通泛化,还提出"递归泛化"来解释剩余模糊性。他给出初步数据:在 Qwen3-32B 中约 90% 的神经元极点只有一个主要功能,约 7% 有两个相关功能,仅 2% 至 4% 无法解释;Goodfire 称在参数量达万亿级的模型上看到类似结果,大量分析工作由智能体自动完成。OpenAI 的 Roon 称这可能是科学史上的重要时刻,Google DeepMind 的 Neel Nanda 则认为这只是有用的工具而非突破,并坚持叠加现象真实存在;配套技术论文尚未发布。

深度见解

如果模型内部真的更易读懂,AI 安全监测可能多出一条可行路径,但该结论仍待独立验证,Goodfire 自身也有商业利益。

GoodfireNick CammarataNeel Nanda

原文约 7 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。