研究小组概览

我感兴趣的指导项目涵盖几个方向:

​

  1. 安全或对齐预训练:方向包括利用合成预训练数据提升模型的稳健性、对齐人类价值观,或帮助模型遵守安全政策。
  2. 数据投毒:合成数据在预训练语料中的占比不断增加,也让新型、更隐蔽的数据投毒方式成为可能。我希望指导开发相关方法,用于检测、分析和防御这类新攻击。
  3. 有害数据在构建更安全模型中的作用:越来越多证据表明,预训练阶段保留部分有害内容,而不是将其全部过滤,可能有助于模型推理伤害,并在后训练后变得更安全。我希望指导能够加深我们对这一现象理解的研究:接触有害数据何时有益、何时有害?我们又该如何负责任地设计预训练流程,利用这一发现?

项目期间的工作地点:

SF Bay Area

导师

Dylan Sam
OpenAI
,
技术团队成员
AI Control and Monitoring
对齐训练方法

Dylan 是 OpenAI 的安全研究员,负责整理质量更高、更安全的训练数据,并监测模型是否表现出有害行为。

此前,他在 Carnegie Mellon University 机器学习系完成博士学位。

阅读更多

项目遴选