Abram Demski

Agent Foundations 方向的研究旨在厘清:在什么条件下,人们有充分理由信任 AI 系统?一个有限理性的学习过程又应在什么情况下信任另一个过程?

研究小组概览

从方法论上说,一项 AI 安全技术是否可靠,取决于它是否有扎实的安全论证。这并不意味着我们必须在毫无假设的前提下,用数学证明绝对安全(这不可能做到);但我们需要明确论证依赖哪些假设,并严谨地将它们串联起来。最有现实意义的风险论证(例如“如果有人造出来,所有人都会死”)和安全论证(例如可纠正性盆地论证,或通过自然抽象实现默认对齐)目前仍然高度非正式。我希望逐步建立形式化论证:先接受一些简化以推动进展,再逐步转向更贴近现实的模型。

​

我的主要研究直接分析智能体之间的信任关系,以此厘清人们如何有充分理由信任 AI 系统。写这段内容时,我对本项目研究方向的最新想法见这里;较早的一份说明已不太新,但内容更全面,见这里。如果研究顺利,成果将能为 AI 工程实践(例如 LLM 研究)提供有用建议。

​

过去,我主要研究较为理论化的决策理论问题,通过寻找在尽可能广泛的决策问题中都值得信任的决策程序来探讨信任。具体来说,我尝试将 Wei Dai 的无更新决策理论与学习结合,也研究因果决策理论(CDT)和证据决策理论(EDT)的一些问题。近来,我降低了完善决策理论本身的优先级,转而尝试建立更接近前沿实验室实际情况的模型。具体做法是研究会根据新信息更新信念的情形,并用 Garrabrant 归纳(也称逻辑归纳)作为有限理性的模型。一个归纳器代表人类科学与哲学的进展,另一个代表 AI 的进展。那么,一个归纳器应在什么情况下信任另一个?

导师指导方式:

Standard (1-2 hours of weekly 1:1s)

伦敦办公偏好:

Indifferent

伯克利办公偏好:

Indifferent

导师

Abram Demski
AFFINE
,
研究科学家
Agent Foundations
Theoretical Alignment and Formal Methods

Abram Demski 是一位专攻智能体基础的 AI 安全研究者,因与 Scott Garrabrant 合著《Embedded Agency》而知名。他的研究主要通过澄清概念来理解 AI 风险相关议题,包括能动性、优化、信任、意义、理解、可解释性和计算不确定性(通常称为有界理性,但这一说法不够精确)。他近期重点研究如何建模信任,以明确人类在什么条件下能够合理地信任 AI。

阅读更多

我们希望招收的学员

  • 能够阅读和撰写数学证明
  • 熟悉概率论和期望效用理论

​

整体匹配度大致取决于哲学思辨能力与数学能力的结合。哲学功底很强但数学基础薄弱的人也可能适合,不过可能难以提出或评估证明;数学功底很强但缺少哲学训练的人同样可能适合,但可能不容易判断哪些假设和定理真正有用或值得研究。

我目前的项目大量依赖 Garrabrant 归纳(也称逻辑归纳),因此熟悉这套形式体系会很有帮助。了解 John Wentworth 的自然潜变量(也称自然抽象)和/或 Sam Eisenstat 的凝聚理论,也会是加分项。

项目遴选

学员在具体项目方向上有一定选择空间。Abram 会介绍当前研究进展,了解学员感兴趣的主题,并争取在第二周或之前确定研究方向。