Google DeepMind

本研究方向聚焦监测、对安全方法进行压力测试和构建评估,尤其关注 AI 密谋带来的风险。项目示例包括黑盒 AI 控制方法、白盒监测器(如探针)、思维链监测与忠实度、构建评估环境,以及对缓解措施进行压力测试。

研究小组概览

Google DeepMind(GDM)研究方向聚焦于发现并降低 AI 谋划行为带来的风险。项目通常会构建评估、开发并压力测试缓解措施、研究相关威胁模型或权衡问题,或搭建支持上述工作的实验环境。

​

项目开始前,我们会分享具体提案。项目思路大致类似于以下示例,但不会完全相同;其中许多方向是我们过去指导过的项目:

​

风险评估:我们应当多担心 AI 谋划行为带来的风险?

  • 评估欺骗性推理或其前兆能力
  • 评估不透明推理能力
  • 评估隐写式通信与推理能力
  • 评估模型对监测的认知,以及其规避监测的倾向
  • 构建仅根据行动(而非思维链 CoT)触发的蜜罐评估
  • 为研究破坏以外的情境设计蜜罐评估
  • 评估除自我保全之外的其他工具性目标倾向,例如获取资源或维持目标
  • 构建探索投机或泛化投机的模型生物
  • 构建激活混淆的模型生物
  • 研究谋划型模型若持续采取看似可疑的边缘行为,能在多大程度上规避控制措施

​

风险缓解:AI 控制与对齐

  • 开发更完善的白盒监测方法
  • 为不可信监测机制开发防串通措施
  • 开发适用于分布式攻击情境的 AI 控制方法
  • 探索利用跨情境一致性检测破坏行为
  • 对思维链监测进行压力测试
  • 对“自举式”监测进行压力测试,即由可信和不可信监测环节组成的混合链路
  • 研究一种不可信监测方案:监测器是经过诚实性微调的智能体版本
  • 研究在性格训练期间,模型若隐藏秘密会发生什么
  • 检验不同类型的 RL 训练如何影响思维链的可读性
  • 找出智能体失配、例如谎报结果的原因
  • 搭建用于研究数据投毒缓解措施的环境/数据集
  • 搭建用于研究决策破坏缓解措施的环境/数据集

​

(可选项目会很多,你不必对每个方向都感兴趣。)

项目期间的工作地点:

London

导师

Victoria Krakovna
Google DeepMind
,
研究科学家
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations

I am a research scientist on the AGI Safety & Alignment team at Google DeepMind. I focus on deceptive alignment and AI control, particularly [scheming propensity evaluations](https://arxiv.org/abs/2605.29729). My past research includes dangerous capability evals, power-seeking incentives, specification gaming, and avoiding side effects.

阅读更多

我们希望招收的学员

我们希望招募技术能力扎实,并愿意长期投身于推动变革性 AI 向善发展的学员。你不必精通下面列出的每项技术,但应具备基本能力,并在其中一些方面表现出色或进步迅速。

​

使命感

  • 你认为 AGI/ASI 的发展是人类历史上最重大的事件之一,并希望将职业生涯投入到推动其产生良好结果。

​

技术能力

  • 编程/软件工程:能够快速编写高质量、易读的代码(善用 AI),理解自己未曾编写的大型代码库,并迅速、彻底地排查问题。你能判断何时应编写稳定、可复用的代码,何时适合快速原型;也知道何时值得重构、完善工具或加快迭代,并会检查和理解 AI 生成的成果。
  • ML 与 LLM 工程:熟悉模型训练(通过 SFT/RL API 或自行编写训练代码)、高质量合成数据生成和训练调试。能够编写推理代码、脚手架和评估流程(如 Inspect),知道需要记录哪些信息,也能从日志和交互记录中提取洞见。
  • 研究能力:能围绕研究问题设计可靠实验,理解混杂因素、竞争性假设、基线、消融实验和统计显著性,并能提出符合项目计划的优质实验或研究问题。
  • 研究背景与全局视野:熟悉欺骗性对齐、AI 控制、模型对齐、模型评估、模型生物和安全论证。了解项目描述中的大多数术语、领域尚待解决的问题,以及自己的项目如何帮助 AGI 朝良好方向发展;并能在设计和优先级决策中体现这些理解。
  • 沟通能力:能够通过口头和书面方式清晰说明研究想法、项目进度、实验方法和结果。

​

工作方式

  • 独立性:我们每周提供研究指导,但大多数时候希望你能独立开展实验并作出具体执行决策。
  • 团队合作:能公正地考虑他人观点、尊重地表达异议、承认自己的错误,并在团队确定方向后共同推进。愿意与 2–3 人组成团队合作。

项目遴选

项目开始前不久,我们会分享拟议项目清单,并为每个项目指定一位主要导师(部分项目还可能有副导师)。随后,你可以花些时间思考、查阅相关文献、向导师提问并与其他学员交流。之后我们会请你填写表格,将最感兴趣的 N 个项目排序,并注明团队成员或导师偏好。最后,我们会优化学员、团队和项目的分配,尽可能满足大家的偏好。