Joshua Engels

我希望更深入地理解并掌控后训练如何塑造与对齐相关的模型行为。这个领域范围很广,我愿意尝试多种研究方法,例如构建模型生物、分析训练过程并开展消融实验、追查异常行为的根源,或研究如何稳健地让模型形成特定行为、价值观或信念。

研究小组概览

我欢迎学员在“理解并掌控后训练如何塑造与对齐相关的行为”这一广泛领域内自主选题。我会在项目开始时介绍一些想法,学员也可以提出自己的选题;我们再一起判断哪些方向最有前景。

​

未来可能开展的项目:

​

  • 能否量化模型的角色特征在后训练过程中的变化?例如,监督微调(SFT)之后,模型是否更偏向“PSM”风格;经过大量基于结果的强化学习后,这种倾向是否又会减弱?
  • 开源后训练流程中是否存在值得研究并系统描述的意外泛化现象?
  • 能否训练模型生成经过混淆处理的思维链(CoT)?如果可以,我们就能测试各种监测和解释方法;如果不行,这一有力的负面结果本身也很有意义。

​

​

我过去参与过的相关项目:

​

导师指导方式:

Standard (1-2 hours of weekly 1:1s)

项目期间的工作地点:

London

伦敦办公偏好:

Indifferent

伯克利办公偏好:

Strong preference

导师

Joshua Engels (Josh)
Google DeepMind
,
研究科学家
Interpretability
AI Control and Monitoring

Josh 是 Google DeepMind AGI 安全与对齐团队的研究科学家,目前从事后训练科学和对齐压力测试。此前,他在 Max Tegmark 的团队攻读博士,研究机制可解释性。

阅读更多

我们希望招收的学员

  • 有研究经验:至少主导过一个研究项目的方向(第一作者或同等贡献)。
  • 善于快速迭代:能迅速判断项目是否可行,并尽早识别风险;对自己的工作有准确判断,例如知道何时该深入调查存疑的结果、何时应转向新实验。
  • 熟悉机器学习和 LLM。
  • 有成功研究的证明:过去开展过研究项目(尤其是 AI 安全领域),并取得新颖、有趣且有影响力的发现。
  • 具备良好的研究判断力:能识别某个领域中的好想法,也能判断一个想法是否值得继续探索。
  • 概念分析能力强:有在定义不清的问题上取得进展的经验。
  • 能够清晰地传达想法和研究结果。

项目遴选