Alan Cooney

本研究方向聚焦 AI 控制的实证研究,包括防范 AI 驱动的数据投毒、评估和攻击思维链的可监测性,以及其他监测和红队测试项目。适合已经关注 AI 安全、熟练使用 Python 的申请者;如果还有研究经验,或熟悉控制领域的文献与工具(如 Inspect/ControlArena),则更理想。

研究小组概览

  • 针对数据投毒的控制研究:分析 AI 系统暗中向另一个 AI 系统投毒的情景,例如植入后门或隐秘忠诚。
  • 思维链的可监测性:评估 AI 以自然语言表达的推理过程是否可被监测,并研究可能削弱这种可监测性的方式。
  • 其他 AI 控制项目:可在此处查看相关想法。

项目期间的工作地点:

London

导师

Alan Cooney
UK AISI
,
研究员
AI Control and Monitoring
Capability and Propensity Evaluations

Alan 是英国 AI 安全研究所(UK AI Security Institute)自主系统与控制部门的负责人,研究 AI 控制和监控的实证方法。他与他人共同开发了 RepliBench,这是一套用于衡量语言模型智能体自主复制能力的评估工具。

阅读更多

我们希望招收的学员

必备条件:

  • 对 AI 安全已有兴趣
  • 有 Python 或类似语言的编程经验

​

如果还具备以下一些条件,会很适合:

​

  • 有研究经验,例如曾参与任意主题的 AI 研究
  • Python 技能扎实(思维链可监测性评估项目尤其需要)
  • 熟悉控制研究文献:请见此处
  • 熟悉 Inspect 或 ControlArena

​

不太适合的情况:

  • 主要对概念性研究感兴趣,而非实证研究

项目遴选

通常我会提出几个项目供学员选择;学员也可以提出自己感兴趣的研究想法。