Peter Henderson

Peter Henderson 的项目聚焦开发安全、对齐的 AI 智能体,研究方向包括借鉴法律与博弈论制定可扩展监督规则、实现智能体的长期安全探索,以及衡量能力与安全边界的“锯齿状”特征。学员将在工程实践密集、鼓励自主推进的研究环境中,与其他 MATS 学员和博士生合作,并获得每周一对一交流和持续的异步指导。

研究小组概览

我目前对许多项目方向都感兴趣,尤其包括以下三类:

​

  • 制定更完善的 AI 智能体规则以实现可扩展监督:在近期研究 中,我们发现不同模型解释 AI 相关法律时会采取不同策略。但要为 AI 智能体制定完整规范,还有很多问题待解:法律工具能带来哪些启发?奖励规范和博弈论又能发挥什么作用?
  • 实现智能体的长期安全探索:当智能体以探索和发现为目标时,奖励设定不当带来的风险会增加。如何让智能体具备自主行动能力并善于探索,同时长期保持对齐?在 AI 研发、生物研究和网络安全研究等高风险应用中,是否存在特定的错位信号?如何区分智能体在执行长期任务,与其隐含地追求生存、自主性等长期错位目标?如果希望智能体自主学习和探索,怎样才能确保其长期保持对齐?
  • 衡量能力前沿的锯齿状特征:能力和安全领域都存在锯齿状边界。随着这种不均匀性加剧,看似能力很强的模型也可能以意想不到的方式失败。如何把模型的这种特征作为一项属性加以测量?又如何利用测量结果理解安全风险和越狱风险?

项目期间的工作地点:

New York City

导师

Peter Henderson
Princeton University
,
助理教授
Policy and Governance
Capability and Propensity Evaluations
AI 技术治理
结构性风险与社会动态
对齐训练方法

Peter 是普林斯顿大学助理教授,研究方向包括强化学习、对齐和法律。他在斯坦福大学获得法学博士和计算机科学博士学位。

阅读更多

我们希望招收的学员

必备条件:

​

  • 有机器学习工程经验,尤其是能在 Slurm 集群等环境中实现并训练模型
  • 有研究经验:至少独立主导过一个研究方向,例如作为第一作者或作出同等贡献
  • 熟悉强化学习的基本原理和算法

​

​

有帮助但非必需的条件:

​

  • 发表过强化学习论文
  • 具备理论研究背景
  • 具备博弈论背景
  • 具备法律背景

​

​

不太适合的情况:

​

  • 只了解机器学习的高层概念,没有动手实现经验
  • 需要高度结构化指导的人(我会提供指导,也希望大家作为更大团队的一员合作,但学员仍需在团队会议和一对一交流之间自主推进研究)

项目遴选

团队导师会介绍各自的项目,学员可以先试做自己感兴趣的方向一周。第一周结束时,我们会一起调整,再于第二周确定最终分工。