OpenAI Safety Team

本研究方向的项目主要分布在实证研究的几个领域:可扩展监督、AI 控制、可监测性与可解释性、对抗稳健性和安全。

大多数学员会与一到两位导师密切合作,参与导师正在推进的研究。上方列出的导师安排目前仍为暂定。

研究小组概览

本研究方向的项目主要涉及实证研究的几个领域:可扩展监督、AI 控制、可监测性与可解释性、对抗稳健性和安全。更具体的主题包括模型人格与角色训练、奖励作弊、模型规范、自动化 AI 研究,以及安全评估基础设施。以下项目来自本方向导师当前正在开展的工作;团队已发表的更多研究可见 alignment.openai.com。大多数学员会与一到两位导师密切合作,参与导师现有研究方向上的项目。

项目示例:

  • 自主编程智能体的监督,例如由评估器批准或拒绝沙盒智能体提出的权限提升请求(auto-review);研究智能体与监督者之间的互动,例如串通或被拒绝后的行为;比较自动监督与人工监督。
  • 思维链(CoT)与激活的可监测性、基于表征的可解释性,以及长上下文模型的隐私保护嵌入或可监测性。
  • AI 控制与反密谋研究,包括控制红队测试,以及利用生产环境数据构建评估的思维链监测研究。
  • 对抗稳健性与自动化红队测试,包括针对未参与训练的防御系统开发通用越狱方法、提示注入、利用游戏开展训练,以及对一次性账号和客户身份核验等滥用防护措施进行压力测试。
  • 与预训练和对齐有关的数据投毒及合成数据研究。
  • 模型人格与角色的训练和评估。
  • 安全训练基础设施、评分器与评估工具,以及将安全研究投入生产环境的 Codex 或智能体工作流。
  • 围绕模型规范、自动化 AI 研究和权力集中的概念性研究。

​

项目期间的工作地点:

SF Bay Area

导师

Gabe Wu
OpenAI
,
Member of Technical Staff (Alignment Research)
Interpretability
Misalignment Science
Theoretical Alignment and Formal Methods
对齐训练方法
对抗鲁棒性与安全防护

Gabriel Wu 是 OpenAI 的 AI 对齐研究员。此前,他在 Harvard 负责AI Safety Student Team,并在 Harvard 获得计算机科学硕士学位和数学学士学位。

阅读更多
Dylan Sam
OpenAI
,
技术团队成员
AI Control and Monitoring
对齐训练方法

Dylan 是 OpenAI 的安全研究员,负责整理质量更高、更安全的训练数据,并监测模型是否表现出有害行为。

此前,他在 Carnegie Mellon University 机器学习系完成博士学位。

阅读更多
Kaiwen Wang
OpenAI
,
安全强化学习研究员
对齐训练方法
对抗鲁棒性与安全防护

Kaiwen 是 OpenAI 的研究员,研究 AI 安全和强化学习。他在 Cornell Tech 获得博士学位,期间研究并教授强化学习、因果推断和大型语言模型。

​

此前,他曾在 Google、Microsoft 和 Netflix 工作,参与的项目涵盖强化学习基础理论和可扩展的大型语言模型算法。在读研究生之前,Kaiwen 还在 Facebook 工作了两年,负责构建强化学习平台。

阅读更多
Tom Dupre la Tour
OpenAI
,
可解释性研究科学家
Interpretability
Misalignment Science

Tom 是 OpenAI 的研究科学家,致力于研究语言模型的可解释性,以推动 AI 安全。他还曾在 2015 至 2022 年间担任 scikit-learn 核心开发者。

阅读更多
Isak Czeresnia Etinger
OpenAI
,
技术团队成员
Interpretability
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations
AI 系统安全

Isak 是 OpenAI 的技术团队成员。此前,他曾在 Google 担任软件工程师,研究计算机视觉、自然语言处理和大型语言模型的应用。

​

Isak 在 Carnegie Mellon University 获得计算机科学硕士学位,发表的研究涉及自然语言处理、风格迁移、多语言字素到音素建模和计算机视觉。

阅读更多
Xiangyu Qi
OpenAI
,
技术团队成员
AI 系统安全
对齐训练方法
对抗鲁棒性与安全防护

Xiangyu 是 OpenAI 的研究员,致力于提升大型语言模型的鲁棒性。他此前在 Princeton University 攻读博士,导师是 Prateek Mittal 教授和 Peter Henderson 教授。

阅读更多
Joseph Millman
OpenAI
,
技术团队成员(检测与响应)
AI 系统安全

Joseph 在 OpenAI 检测与响应团队工作。他公开发表的安全研究包括利用大型语言模型检测 macOS 上的恶意活动。

阅读更多
Juan Felipe Ceron Uribe
OpenAI
,
AI 对齐研究工程师
AI Control and Monitoring
对齐训练方法
对抗鲁棒性与安全防护

Juan 是 OpenAI 安全系统团队的研究员,广泛关注如何降低灾难性风险。他的工作包括对抗鲁棒性训练和自动化红队测试(近期研究)。

阅读更多
Hani Mir
OpenAI
,
软件工程师
Interpretability
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations
AI 系统安全

Hani 是 OpenAI 的软件工程师。

阅读更多
Capability and Propensity Evaluations
AI 系统安全
对齐训练方法
对抗鲁棒性与安全防护

我目前主要研究对抗性机器学习,包括前沿模型的安全保障、系统安全和对齐。我尤其关注对齐与安全方向的强化学习,以及评估。此前,我研究过语言建模中的记忆、隐私和安全危害,包括审查相关风险并探索缓解方法。我还从事过差分隐私训练算法、机器遗忘、协作式学习,以及所有权验证方法的研究。

阅读更多
James Campbell
OpenAI
,
技术团队成员
Interpretability
Misalignment Science
对齐训练方法

James 是 OpenAI 的研究员,研究模型个性、后训练和个性化。

阅读更多
Jason Wolfe
OpenAI
,
技术团队成员
Misalignment Science
对齐训练方法

Jason 是 OpenAI 的技术团队成员,负责对齐和模型行为方面的工作。

阅读更多
Ollie Matthews
OpenAI
,
技术团队成员(对齐团队)
AI Control and Monitoring
Capability and Propensity Evaluations
对抗鲁棒性与安全防护

Ollie 是 OpenAI 对齐团队的研究员,关注红队测试和控制。此前,他曾在英国 AI 安全研究所(UK AISI)的控制团队工作。

阅读更多
Micah Carroll
OpenAI
,
安全系统技术团队成员
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations
结构性风险与社会动态
对齐训练方法

Micah 是 OpenAI 安全团队的研究员,关注 AI 欺骗、可扩展监督和可监控性。他目前暂时离开加州大学伯克利分校的博士项目;该项目研究如何让 AI 与可影响其行为的人类对齐、强化学习训练可能导致的 AI 操纵,以及推荐系统的影响。

阅读更多
Bijan Varjavand
OpenAI
,
技术项目经理
对抗鲁棒性与安全防护

Bijan 是 OpenAI 的技术项目经理。此前,他曾在 Scale AI 担任研究工程师,并与他人合著了关于大型语言模型越狱和红队测试流程的研究。

阅读更多
Maja Trebacz
OpenAI
,
技术团队成员
AI Control and Monitoring
对齐训练方法

Maja 是 OpenAI 的研究员,致力于改进控制和对齐技术,帮助应对 AI 系统能力和自主性不断提升带来的挑战。她的团队将长期研究与实际部署结合起来:一方面研究如何监督、约束和纠正日益智能的系统等长期问题,另一方面也构建目前已在内部和外部实践中使用的监督系统(参见近期的 代码审查和Codex 操作监控工作)。

阅读更多
Sam Arnesen
OpenAI
,
技术团队成员
AI Control and Monitoring
对齐训练方法

Sam 是 OpenAI 对齐团队的研究工程师。此前,他在 NYU Alignment Research Group 研究可扩展监督,也曾在 Amazon 担任软件工程师。他的研究包括通过自我博弈训练语言模型赢得辩论,以及 OpenAI 近期开展的智能体操作自动审查工作。

阅读更多
Tomek Korbak
OpenAI
,
技术团队成员
Misalignment Science
AI Control and Monitoring
对齐训练方法

我目前是 OpenAI 的技术团队成员,负责监控 LLM 智能体是否出现不对齐行为。此前,我曾在英国 AI 安全研究所研究 AI 控制和安全案例,也曾在 Anthropic 从事诚实性后训练研究。再之前,我在 Chris Buckley 和 Anil Seth 指导下于 University of Sussex 攻读博士,研究基于人类反馈的强化学习(RLHF);期间还曾访问 NYU,与 Ethan Perez、Sam Bowman 和 Kyunghyun Cho 合作研究。

阅读更多

我们希望招收的学员

必备条件:

  • 具备扎实的研究能力和技术判断力,并能在项目期间完成一项有分量的成果,例如论文、基准、数据集或达到生产质量的工具。
  • 确实关心 AI 安全,并对上述至少一个项目领域有兴趣。学员会根据契合度与导师匹配,因此与一两位导师的研究兴趣具体重合,比兴趣面广更重要。

优先考虑(满足以下至少一项):

  • 具备大语言模型实证机器学习研究经验,并熟练使用 Python、拥有扎实的软件工程能力。
  • 在上述某个项目领域有研究或应用经验。
  • 如果从事模型规范、自动化 AI 研究或权力集中的概念性研究,则应具备出色的写作和概念分析能力;不要求实证机器学习经验。

​

项目遴选