Lee Sharkey

Lee 的研究方向主要致力于改进机制可解释性方法,以逆向分析神经网络。

研究小组概览

理解 AI 系统在思考什么,是保障其安全的重要一环,尤其是在系统能力不断增强的情况下。对于欺骗等危险能力,在高风险情境中,理解模型内部机制可能是少数能提供安全保障的途径之一。

​

逆向分析神经网络学到了什么,有望帮助我们确认模型能否安全泛化;随着 AI 系统的能力远超人类,这一点尤为重要。

​

即使不考虑安全因素,能力强大的 AI 系统本身也是极有意思的研究对象。与研究生物神经系统相比,对 AI 开展数字神经科学研究要容易得多。

​

目前,大多数以逆向工程为重点的可解释性研究都采用稀疏字典学习,但这种方法存在多种问题(参见Sharkey 等,2025)。为解决这些问题,我和 Goodfire(以及此前 Apollo Research)的团队开发了一种新的神经网络分解方法,称为“参数分解”(Parameter Decomposition)。我们已用参数分解解决特征拆分问题、识别注意力头中的分布式计算和电路等。

​

我们认为,这种方法仍有一些问题有待解决。无论是使用稀疏自编码器(SAE)还是参数分解,我们的工作都会尽量缩短“描述长度”,但我们尚不确定选取的“描述类型”是否正确。我们认为,理解计算流形(激活流形的投影)可能是答案的一部分,因为相比 SDL 潜变量或 VPD 参数子组件,它们或许能更简洁地描述神经网络计算。

​

我研究方向中的 MATS 项目至少应在概念上参考参数分解、流形和最小描述长度等可解释性框架,最好能直接在这些基础上继续推进。

项目期间的工作地点:

London

导师

Lee Sharkey
Goodfire AI
,
首席研究员
Interpretability
AI 技术治理

Lee Sharkey is a Principal Investigator at [Goodfire](https://www.goodfire.ai/).

​

His team has focused on improved interpretability methods, including parameter decomposition methods such as [Attribution-based Parameter Decomposition](https://arxiv.org/abs/2501.14926) and [Stochastic Parameter Decomposition](https://arxiv.org/abs/2506.20790) and [adVersarial Parameter Decomposition](https://www.goodfire.ai/research/interpreting-lm-parameters#).

​

Previously, Lee was Chief Strategy Officer and cofounder of [Apollo Research](https://www.apolloresearch.ai/), and a Research Engineer at Conjecture, where he worked on [sparse autoencoders as a solution to representational superposition](https://www.alignmentforum.org/posts/z6QQJbtpkEAX3Aojj/interim-research-report-taking-features-out-of-superposition).

阅读更多

我们希望招收的学员

以下是我评估候选人的一些参考维度(不是评分表,排名不分先后):

​

  • 科学研究背景:有哪些迹象表明候选人具备科学思维、能独立开展研究项目,或有效协助他人开展研究?

​

  • 定量能力:候选人掌握可用于可解释性研究的数学知识的可能性有多大?这也可能包括尚未广泛应用于可解释性研究、但具有潜力的高阶数学主题。

​

  • 工程能力:候选人的工程背景如何?是否充分使用过 Python 和相关库(如 PyTorch、scikit-learn)?

​

​

  • 安全研究兴趣:候选人对相关 AI 安全文献了解多深入?其研究方向是否建立在成熟、清晰的影响理论之上?

​

  • 认真负责:可解释性研究与艺术相似,项目往往不是完成,而是被搁置。候选人是否足够认真负责,能把项目推进到足以交付的状态?

​

上一届学员中,我选择了优势各异的候选人,效果很好。有些学员在某些维度特别突出,另一些则各方面都很出色。

项目遴选

我希望本研究方向的项目至少在概念上借鉴参数分解、流形和最小描述长度等可解释性视角;如果能直接在这些方法基础上推进研究,则更好。

我会与学员一起讨论项目,并共同确定合适的方向。我不会要求学员研究某个特定方向,因为根据我的经验,对研究方向有内在动力很重要,这有助于产出高质量研究。