90%神经元只有一个功能:神经网络可解释性被AI破解?
AI 总结
前OpenAI可解释性团队创建人、现任Goodfire研究员Nick Cammarata发表长文《Neural Networks Are Already Clean》,认为神经网络内部并不存在此前普遍假定的严重「叠加」(superposition),研究者可以直接观察神经元本身,而无需先用稀疏自编码器(SAE)等辅助模型拆解特征。他称团队对Qwen3-32B的初步审查估计,约90%的神经元的正、负两极各自只有一项主要工作,约7%有两项相关工作,仅2%~4%尚无法理解;在Kimi K3等万亿参数模型上也观察到类似现象。文章还称,智能体工具可自动检查神经元、提出解释并设计证伪实验,但他并未宣称可解释性问题已经解决,注意力机制与完整模型审计仍有大量工作待做。
深度见解
若这一判断成立,AI安全研究可能从依赖复杂特征拆解工具,转向直接审计模型内部结构。