Victoria Krakovna

本研究方向将开展欺骗性对齐的概念研究,设计密谋行为倾向评估和蜜罐测试。项目将在伦敦线下进行,学员将分组合作。

研究小组概览

本研究方向将开展欺骗性对齐的概念研究,设计密谋行为倾向评估和蜜罐测试。项目方向示例:

  • 构建贴近现实部署环境的密谋行为倾向评估和蜜罐测试,同时尽量避免触发模型的评估意识
  • 测试除自我保全以外的其他工具性目标倾向,例如获取资源、维护目标
  • 研究不同形式的评估意识会如何影响模型在行为倾向评估中的表现,并探讨影响模型对当前评估类型(例如能力评估或安全评估)判断的可行性和价值

项目期间的工作地点:

London

导师

Victoria Krakovna
Google DeepMind
,
研究科学家
Misalignment Science
AI Control and Monitoring
Capability and Propensity Evaluations

I am a research scientist on the AGI Safety & Alignment team at Google DeepMind. I focus on deceptive alignment and AI control, particularly [scheming propensity evaluations](https://arxiv.org/abs/2605.29729). My past research includes dangerous capability evals, power-seeking incentives, specification gaming, and avoiding side effects.

阅读更多

我们希望招收的学员

  • 善于团队协作的软件工程能力:能快速独立编写高质量代码,熟悉版本控制等标准工程实践,能够理解并有效改进自己未从头编写的代码库。
  • 熟悉欺骗性对齐、安全论证、能力评估、AI 控制等相关主题。这样更容易理解项目目标,也有助于每天作出概念上站得住脚的研究决策。
  • 具备概念研究能力:能提出符合项目计划、有意思的实验想法,并做好优先级判断。
  • 沟通能力强、善于团队合作:能通过口头或书面方式清楚表达研究想法、实验方法和结果,尤其重视写作。能发现并表达困惑、不确定、不同意见或不满,也愿意一起解决分歧;能客观考虑他人想法、尊重地提出异议、承认错误,并愿意支持团队共同确定的方向。

项目遴选

我会与学员一起讨论研究想法。