我目前从事 AI 控制研究,感兴趣的方向包括:针对具体威胁模型制作并评估缓解措施原型;通过研究厘清 AI 控制中的关键问题;以及为与控制相关的能力开发评估方法。
现在距离项目开始还有一段时间,具体课题可能会变化。以下是我过去感兴趣的一些项目(其中部分后来已发表为论文),实际项目的方向会相似,但不一定完全相同:
London
Mary 是 DeepMind 前沿安全团队失控防范小组的研究科学家,负责 AGI 控制(安全保障和监控)。她的工作包括确保内部部署的潜在不对齐模型即使有意图,也无法造成严重伤害或蓄意破坏。此前,她研究过与密谋相关的危险能力前兆(隐蔽性和情境意识),以及可能被灾难性滥用的能力,并为这些方向开发评估方法。
我会提出大约五个项目供学员进行红队测试、完善构想,并从中选择一个由自己负责。我也欢迎学员提出有潜力的项目;不过,对于自拟课题,我能提供的指导会相对有限。