从方法论上说,一项 AI 安全技术是否可靠,取决于其安全论证是否扎实。这并不意味着我们必须在毫无假设的前提下,用数学证明绝对安全(这不可能做到);但我们需要明确论证依赖哪些假设,并严谨地将它们串联起来。在我看来,如何构建这样的论证仍有一些根本性问题尚未解决,尤其是一个智能体如何信任另一个智能体。智能体的智能和自主行动能力会让实证观察更难推广,因为智能体可能破坏原本稳健的经验规律,而且往往是有意为之。
我的主要研究直接探讨这个问题:分析智能体之间的信任关系,从较简单(但仍然困难)的情形入手,也就是智能体如何信任自身,进而厘清人们如何有充分理由信任 AI 系统。
写这段内容时,我对本项目研究方向的最新想法见这里。
较早的一份研究方向说明已经不太新,但内容更全面,见这里。
如果这条研究路线进展顺利,成果将能为 AI 工程实践(例如 LLM 研究)提供建议。我还在开展另一条更具推测性、但近期可能更快见效的研究路线:提前推想这些建议可能是什么,从而提出近期的机器学习研究构想,帮助提升当前常见类型 AI 系统的安全性。
Grand Rapids
Abram Demski 是一位专攻智能体基础的 AI 安全研究者,因与 Scott Garrabrant 合著《Embedded Agency》而知名。他的研究主要通过澄清概念来理解 AI 风险相关议题,包括能动性、优化、信任、意义、理解、可解释性和计算不确定性(通常称为有界理性,但这一说法不够精确)。他近期重点研究如何建模信任,以明确人类在什么条件下能够合理地信任 AI。
必备条件:
优先考虑:
整体匹配度大致取决于哲学思辨能力与数学能力的结合。哲学功底很强但数学基础薄弱的人也可能适合,不过可能难以提出或评估证明;数学功底很强但缺少哲学训练的人同样可能适合,但可能不容易判断哪些假设和定理真正有用或值得研究。
学员可在具体项目方向上有一定选择空间。Abram 会与学员介绍当前研究进展,了解大家感兴趣的主题,并争取在第二周或之前确定研究方向。