本研究方向聚焦 AI 控制的实证研究,包括防范 AI 驱动的数据投毒、评估和攻击思维链的可监测性,以及其他监测和红队测试项目。适合已经关注 AI 安全、熟练使用 Python 的申请者;如果还有研究经验,或熟悉控制领域的文献与工具(如 Inspect/ControlArena),则更理想。
London
Alan 是英国 AI 安全研究所(UK AI Security Institute)自主系统与控制部门的负责人,研究 AI 控制和监控的实证方法。他与他人共同开发了 RepliBench,这是一套用于衡量语言模型智能体自主复制能力的评估工具。
必备条件:
如果还具备以下一些条件,会很适合:
不太适合的情况:
通常我会提出几个项目供学员选择;学员也可以提出自己感兴趣的研究想法。