Mary Phuong

本项目聚焦 AI 控制,预计主要在伦敦线下开展。

研究小组概览

我目前从事 AI 控制研究,感兴趣的方向包括:针对具体威胁模型制作并评估缓解措施原型;通过研究厘清 AI 控制中的关键问题;以及为与控制相关的能力开发评估方法。

​

现在距离项目开始还有一段时间,具体课题可能会变化。以下是我过去感兴趣的一些项目(其中部分后来已发表为论文),实际项目的方向会相似,但不一定完全相同:

  • 研究思维链监测与行动监测各自的优缺点
  • 研究一种不可信监测方案:让监测器采用经过诚实性调优的智能体版本
  • 建立研究内部人员数据投毒威胁模型的实验环境,并研究该环境中的攻击与防御
  • 将一致性检验发展为发现蓄意破坏的方法,并在模型生物上进行评估
  • 开展研究破坏行为的控制评估
  • 研究两个不可信模型之间的辩论
  • 构建用于校准思维链监测器的“密谋思维”数据集
  • 开发用于评估密谋前兆的基准测试,以帮助实验室开展控制前安全论证,并为推进 AI 控制提供依据

项目期间的工作地点:

London

导师

Mary Phuong
Google DeepMind
,
研究科学家
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations

Mary 是 DeepMind 前沿安全团队失控防范小组的研究科学家,负责 AGI 控制(安全保障和监控)。她的工作包括确保内部部署的潜在不对齐模型即使有意图,也无法造成严重伤害或蓄意破坏。此前,她研究过与密谋相关的危险能力前兆(隐蔽性和情境意识),以及可能被灾难性滥用的能力,并为这些方向开发评估方法。

阅读更多

我们希望招收的学员

  • 协作式机器学习与软件工程能力:能独立、高效地编写高质量代码,尤其是开源 LLM 实验,例如训练模型、操作模型内部、搭建脚手架或构建智能体,以及使用 Inspect。能调试代码,也能理解并拓展他人编写的代码库。
  • 熟悉能力评估和模型生物,尤其是 AI 控制。例如,了解可信与不可信监测、思维链监测为何有用,以及“自证其罪”机制。掌握这些内容有助于我们顺畅沟通、统一项目目标,也能支持日常决策。
  • 具备概念研究能力:能提出有意思、符合项目计划的实验构想,并合理安排优先级。例如,曾作为主要实验设计决策者发表论文。
  • 沟通能力强,善于团队合作:能清楚地口头或书面表达研究想法、实验方法和结果,其中写作尤为重要。能察觉并表达困惑、不确定、不同意见或不满,也愿意一起解决分歧。能客观考虑他人的想法、尊重地表达异议、承认错误,并支持团队共同确定的方向。

项目遴选

我会提出大约五个项目供学员进行红队测试、完善构想,并从中选择一个由自己负责。我也欢迎学员提出有潜力的项目;不过,对于自拟课题,我能提供的指导会相对有限。