可解释性大佬推翻十年结论：神经网络本就清晰
AI 总结
可解释性研究者 Nick Cammarata 发布约需 65 分钟阅读的长文《Neural Networks Are Already Clean》，推翻自己十年前参与提出的经典结论，称在现代视觉模型（如 ConvNeXt）中最后一层 99%～100% 的神经元都能找到清晰解释。他重新解读 InceptionV1 中编号 4e:55 的“猫与汽车”神经元，认为它检测的是 V 字几何形状与圆形轮廓，此前误读源于可视化工具的奖励作弊与数据集偏差；对 InceptionV1 3b 层做 48 倍压缩（480 个神经元压到 10 个）重训后神经元依然清晰，而 SAE 解缠出的特征响应范围反而更宽。Google DeepMind 的 Neel Nanda 认为文章没有实质突破，指出被推翻的是“任意叠加”，而语言模型中承载海量事实的“表征叠加”仍然成立；Cammarata 承认这只是工作假设，研究仅覆盖视觉与语言单模态模型，且在未压缩层中 SAE 与原生神经元形状匹配度达 0.96～1.00。
深度见解
若原生神经网络确实比过去认为的更易读，可解释性与对齐研究的工具路线和优先级可能需要重新评估，但该结论目前仍是受争议的工作假设。