理解 AI 系统内部在进行怎样的推理,对于保障其安全十分重要,尤其是随着系统能力不断提升。对于欺骗等危险能力,在高风险情境下,这可能是少数能够提供安全保障的方法之一。逆向分析神经网络学到了什么,也有望帮助我们确认模型能否安全泛化;随着 AI 系统的能力远超人类,这一点尤为重要。
即使不考虑安全问题,能力强大的 AI 系统本身也是很有意思的研究对象。与生物神经系统相比,对 AI 开展数字神经科学研究要容易得多。
目前,大多数以逆向工程为重点的可解释性研究都采用稀疏字典学习,但这种方法存在多种问题(参见Sharkey 等,2025)。为解决这些问题,我和 Goodfire(以及此前 Apollo Research)的团队开发了随机参数分解(SPD)方法,它建立在基于归因的参数分解(APD)之上,用于分解神经网络。
我们认为,SPD 类方法最有希望解决字典学习的问题,也可能帮助解决机制可解释性研究中的许多难题,例如注意力头中的分布式表征、电路识别和特征几何分析。
经过大量研究,我们认为 SPD 已经可以应用于真正有研究价值的模型,例如语言模型和视觉模型。我们期待运用 SPD 逆向分析非玩具级的神经网络。SPD 也启发了另一类方法,或许能帮助我们开发从架构上就具备可解释性的模型。
我研究方向中的 MATS 项目至少应在概念上参考 SPD,最好能直接在此基础上继续推进。
London
Lee Sharkey is a Principal Investigator at [Goodfire](https://www.goodfire.ai/).
His team has focused on improved interpretability methods, including parameter decomposition methods such as [Attribution-based Parameter Decomposition](https://arxiv.org/abs/2501.14926) and [Stochastic Parameter Decomposition](https://arxiv.org/abs/2506.20790) and [adVersarial Parameter Decomposition](https://www.goodfire.ai/research/interpreting-lm-parameters#).
Previously, Lee was Chief Strategy Officer and cofounder of [Apollo Research](https://www.apolloresearch.ai/), and a Research Engineer at Conjecture, where he worked on [sparse autoencoders as a solution to representational superposition](https://www.alignmentforum.org/posts/z6QQJbtpkEAX3Aojj/interim-research-report-taking-features-out-of-superposition).
以下是我评估候选人的一些参考维度(不是评分表,排名不分先后):
上一届学员中,我选择了优势各异的候选人,效果很好。有些学员在某些维度特别突出,另一些则各方面都很出色。
总体而言,我希望这个研究方向的项目至少能参考 SPD,最好直接在其基础上推进。学员会与我共同讨论项目,并就合适的方向达成共识。我不会要求学员研究某个指定方向,因为根据我的经验,对研究方向有内在动力很重要,有助于产出高质量研究。