本研究方向的项目主要涉及实证研究的几个领域:可扩展监督、AI 控制、可监测性与可解释性、对抗稳健性和安全。更具体的主题包括模型人格与角色训练、奖励作弊、模型规范、自动化 AI 研究,以及安全评估基础设施。以下项目来自本方向导师当前正在开展的工作;团队已发表的更多研究可见 alignment.openai.com。大多数学员会与一到两位导师密切合作,参与导师现有研究方向上的项目。
项目示例:
SF Bay Area
Gabriel Wu 是 OpenAI 的 AI 对齐研究员。此前,他在 Harvard 负责AI Safety Student Team,并在 Harvard 获得计算机科学硕士学位和数学学士学位。
Dylan 是 OpenAI 的安全研究员,负责整理质量更高、更安全的训练数据,并监测模型是否表现出有害行为。
此前,他在 Carnegie Mellon University 机器学习系完成博士学位。
Kaiwen 是 OpenAI 的研究员,研究 AI 安全和强化学习。他在 Cornell Tech 获得博士学位,期间研究并教授强化学习、因果推断和大型语言模型。
此前,他曾在 Google、Microsoft 和 Netflix 工作,参与的项目涵盖强化学习基础理论和可扩展的大型语言模型算法。在读研究生之前,Kaiwen 还在 Facebook 工作了两年,负责构建强化学习平台。
Tom 是 OpenAI 的研究科学家,致力于研究语言模型的可解释性,以推动 AI 安全。他还曾在 2015 至 2022 年间担任 scikit-learn 核心开发者。
Isak 是 OpenAI 的技术团队成员。此前,他曾在 Google 担任软件工程师,研究计算机视觉、自然语言处理和大型语言模型的应用。
Isak 在 Carnegie Mellon University 获得计算机科学硕士学位,发表的研究涉及自然语言处理、风格迁移、多语言字素到音素建模和计算机视觉。
Xiangyu 是 OpenAI 的研究员,致力于提升大型语言模型的鲁棒性。他此前在 Princeton University 攻读博士,导师是 Prateek Mittal 教授和 Peter Henderson 教授。
Hani 是 OpenAI 的软件工程师。
我目前主要研究对抗性机器学习,包括前沿模型的安全保障、系统安全和对齐。我尤其关注对齐与安全方向的强化学习,以及评估。此前,我研究过语言建模中的记忆、隐私和安全危害,包括审查相关风险并探索缓解方法。我还从事过差分隐私训练算法、机器遗忘、协作式学习,以及所有权验证方法的研究。
Ollie 是 OpenAI 对齐团队的研究员,关注红队测试和控制。此前,他曾在英国 AI 安全研究所(UK AISI)的控制团队工作。
Micah 是 OpenAI 安全团队的研究员,关注 AI 欺骗、可扩展监督和可监控性。他目前暂时离开加州大学伯克利分校的博士项目;该项目研究如何让 AI 与可影响其行为的人类对齐、强化学习训练可能导致的 AI 操纵,以及推荐系统的影响。
Bijan 是 OpenAI 的技术项目经理。此前,他曾在 Scale AI 担任研究工程师,并与他人合著了关于大型语言模型越狱和红队测试流程的研究。
Maja 是 OpenAI 的研究员,致力于改进控制和对齐技术,帮助应对 AI 系统能力和自主性不断提升带来的挑战。她的团队将长期研究与实际部署结合起来:一方面研究如何监督、约束和纠正日益智能的系统等长期问题,另一方面也构建目前已在内部和外部实践中使用的监督系统(参见近期的 代码审查和Codex 操作监控工作)。
Sam 是 OpenAI 对齐团队的研究工程师。此前,他在 NYU Alignment Research Group 研究可扩展监督,也曾在 Amazon 担任软件工程师。他的研究包括通过自我博弈训练语言模型赢得辩论,以及 OpenAI 近期开展的智能体操作自动审查工作。
我目前是 OpenAI 的技术团队成员,负责监控 LLM 智能体是否出现不对齐行为。此前,我曾在英国 AI 安全研究所研究 AI 控制和安全案例,也曾在 Anthropic 从事诚实性后训练研究。再之前,我在 Chris Buckley 和 Anil Seth 指导下于 University of Sussex 攻读博士,研究基于人类反馈的强化学习(RLHF);期间还曾访问 NYU,与 Ethan Perez、Sam Bowman 和 Kyunghyun Cho 合作研究。
必备条件:
优先考虑(满足以下至少一项):