Abram Demski

Agent Foundations 方向的研究旨在厘清:在什么条件下,人们有充分理由信任 AI 系统。

研究小组概览

从方法论上说,一项 AI 安全技术是否可靠,取决于其安全论证是否扎实。这并不意味着我们必须在毫无假设的前提下,用数学证明绝对安全(这不可能做到);但我们需要明确论证依赖哪些假设,并严谨地将它们串联起来。在我看来,如何构建这样的论证仍有一些根本性问题尚未解决,尤其是一个智能体如何信任另一个智能体。智能体的智能和自主行动能力会让实证观察更难推广,因为智能体可能破坏原本稳健的经验规律,而且往往是有意为之。

​

我的主要研究直接探讨这个问题:分析智能体之间的信任关系,从较简单(但仍然困难)的情形入手,也就是智能体如何信任自身,进而厘清人们如何有充分理由信任 AI 系统。

​

写这段内容时,我对本项目研究方向的最新想法见这里。

​

较早的一份研究方向说明已经不太新,但内容更全面,见这里。

​

如果这条研究路线进展顺利,成果将能为 AI 工程实践(例如 LLM 研究)提供建议。我还在开展另一条更具推测性、但近期可能更快见效的研究路线:提前推想这些建议可能是什么,从而提出近期的机器学习研究构想,帮助提升当前常见类型 AI 系统的安全性。

项目期间的工作地点:

Grand Rapids

导师

Abram Demski
AFFINE
,
研究科学家
Agent Foundations
Theoretical Alignment and Formal Methods

Abram Demski 是一位专攻智能体基础的 AI 安全研究者,因与 Scott Garrabrant 合著《Embedded Agency》而知名。他的研究主要通过澄清概念来理解 AI 风险相关议题,包括能动性、优化、信任、意义、理解、可解释性和计算不确定性(通常称为有界理性,但这一说法不够精确)。他近期重点研究如何建模信任,以明确人类在什么条件下能够合理地信任 AI。

阅读更多

我们希望招收的学员

必备条件:

  • 能够阅读和撰写数学证明
  • 熟悉概率论和期望效用理论

​

优先考虑:

  • 熟悉无更新决策理论(Updateless Decision Theory)[更重要]
  • 熟悉逻辑归纳(Logical Induction,也称 Garrabrant Induction)[次重要]

​

整体匹配度大致取决于哲学思辨能力与数学能力的结合。哲学功底很强但数学基础薄弱的人也可能适合,不过可能难以提出或评估证明;数学功底很强但缺少哲学训练的人同样可能适合,但可能不容易判断哪些假设和定理真正有用或值得研究。

项目遴选

学员可在具体项目方向上有一定选择空间。Abram 会与学员介绍当前研究进展,了解大家感兴趣的主题,并争取在第二周或之前确定研究方向。