Dan Murfet, Jesse Hoogland

我们研究奇异学习理论(SLT)在 AI 安全中的应用,重点关注可解释性与对齐。理想的学员应具备数学、物理、计算机科学或生物学方面的扎实技术背景,也愿意亲自开展机器学习实验。无需深入掌握 SLT,但了解一些基础会有所帮助。

研究小组概览

我们希望支持将奇异学习理论(SLT)应用于 AI 安全的研究项目,尤其是可解释性与对齐方向。

​

项目既可以是实证研究(例如运用贝叶斯影响函数研究或改进机器遗忘),也可以是理论研究(例如证明基于 SGMCMC 的采样方法具有收敛性)。多数项目会兼具这两个方面,具体侧重取决于你的背景和兴趣。

​

实证项目通常会用到以下 SLT 工具:

  • 局部学习系数(LLC)及其改进形式,用于刻画奇异情形下的模型复杂度与泛化能力。
  • 易感度(susceptibility),用于衡量模型各组成部分对扰动或分布变化的响应。
  • 贝叶斯影响函数(BIF),用于衡量模型预测对扰动或分布变化的响应。

​

运用这些工具,我们会探索多个方向,例如:

  • 发展性可解释性:模型在训练过程中如何逐渐形成内部结构?
  • 光谱分析(“电路发现”):如何找出哪些结构支撑了模型的泛化能力?
  • 机器遗忘:能否有针对性地移除模型中的特定结构或知识?
  • 涌现错位:能否预测训练数据中有害代码达到什么比例时,会出现涌现错位?
  • 能力诱发:能否通过改变数据来诱发模型输出有害内容?

项目期间的工作地点:

SF Bay Area

导师

Daniel Murfet (Dan)
Timaeus
,
研究主任
Interpretability
Theoretical Alignment and Formal Methods
对齐训练方法

直到不久前,我还是墨尔本大学的一名职业数学家,研究领域包括代数几何、数理逻辑、数理物理的若干方向,以及最近的统计学习理论。2025 年初,我离开学术界,加入 Timaeus 负责 AI 安全研究。

阅读更多
Jesse Hoogland
Timaeus
,
执行主任
Interpretability
Misalignment Science

Jesse 是 Timaeus 的联合创始人兼执行主任。Timaeus 是一家 AI 安全非营利组织,研究奇异学习理论(SLT)在 AI 安全中的应用,尤其关注可解释性和对齐。Jesse 拥有物理学背景,除参与外联和运营外,还领导 Timaeus 的多个研究项目。

阅读更多

我们希望招收的学员

If you're interested in working on more of the empirical side, you should have prior experience with ML engineering (at least at the level of a program like ARENA) and prior research experience (potentially in a field outside of ML). A bonus would be prior familiarity with designing and running ML experiments or research specifically in AI safety.

​

If you're interested in working on more of the theoretical side, you should have prior research experience in a relevant field like mathematics, theoretical physics, or theoretical computer science.

​

Please make sure that your background and interests are clearly described in your application. By default, we'll be looking for evidence of research ability in the form of publications.

​

We do not expect you to already be aware of SLT, but if you pass the first round, please prepare by conducting some background reading (see: timaeus.co/learn).

项目遴选

导师会与学员讨论项目构想,并提供几个方向供选择。