理解 AI 系统在思考什么,是保障其安全的重要一环,尤其是在系统能力不断增强的情况下。对于欺骗等危险能力,在高风险情境中,理解模型内部机制可能是少数能提供安全保障的途径之一。
逆向分析神经网络学到了什么,有望帮助我们确认模型能否安全泛化;随着 AI 系统的能力远超人类,这一点尤为重要。
即使不考虑安全因素,能力强大的 AI 系统本身也是极有意思的研究对象。与研究生物神经系统相比,对 AI 开展数字神经科学研究要容易得多。
目前,大多数以逆向工程为重点的可解释性研究都采用稀疏字典学习,但这种方法存在多种问题(参见Sharkey 等,2025)。为解决这些问题,我和 Goodfire(以及此前 Apollo Research)的团队开发了一种新的神经网络分解方法,称为“参数分解”(Parameter Decomposition)。我们已用参数分解解决特征拆分问题、识别注意力头中的分布式计算和电路等。
我们认为,这种方法仍有一些问题有待解决。无论是使用稀疏自编码器(SAE)还是参数分解,我们的工作都会尽量缩短“描述长度”,但我们尚不确定选取的“描述类型”是否正确。我们认为,理解计算流形(激活流形的投影)可能是答案的一部分,因为相比 SDL 潜变量或 VPD 参数子组件,它们或许能更简洁地描述神经网络计算。
我研究方向中的 MATS 项目至少应在概念上参考参数分解、流形和最小描述长度等可解释性框架,最好能直接在这些基础上继续推进。
London
Lee Sharkey is a Principal Investigator at [Goodfire](https://www.goodfire.ai/).
His team has focused on improved interpretability methods, including parameter decomposition methods such as [Attribution-based Parameter Decomposition](https://arxiv.org/abs/2501.14926) and [Stochastic Parameter Decomposition](https://arxiv.org/abs/2506.20790) and [adVersarial Parameter Decomposition](https://www.goodfire.ai/research/interpreting-lm-parameters#).
Previously, Lee was Chief Strategy Officer and cofounder of [Apollo Research](https://www.apolloresearch.ai/), and a Research Engineer at Conjecture, where he worked on [sparse autoencoders as a solution to representational superposition](https://www.alignmentforum.org/posts/z6QQJbtpkEAX3Aojj/interim-research-report-taking-features-out-of-superposition).
以下是我评估候选人的一些参考维度(不是评分表,排名不分先后):
上一届学员中,我选择了优势各异的候选人,效果很好。有些学员在某些维度特别突出,另一些则各方面都很出色。
我希望本研究方向的项目至少在概念上借鉴参数分解、流形和最小描述长度等可解释性视角;如果能直接在这些方法基础上推进研究,则更好。
我会与学员一起讨论项目,并共同确定合适的方向。我不会要求学员研究某个特定方向,因为根据我的经验,对研究方向有内在动力很重要,这有助于产出高质量研究。