Pegah Maham

该研究流开展高级 AI 失控风险相关的政策与治理研究,例如递归式自我改进和错位风险。

研究小组概览

我希望开展有关 AI 失控风险(如递归式自我改进、错位等)的政策与治理研究。第一步可能包括严谨的威胁建模和情景分析。如果 MATS 项目开始前已有足够案例发表,我们可以在此基础上继续,提出评估和缓解相关风险的最佳实践建议。

项目期间的工作地点:

SF Bay Area

导师

Pegah Maham
Google DeepMind
,
政策制定经理
Policy and Governance
Forecasting and Strategy
AI 系统安全
AI 技术治理

Pegah Maham 是 Google DeepMind 前沿政策制定团队的政策制定与战略经理,工作聚焦技术 AI 安全、安全保障与国际治理的交叉领域。她主要关注前沿 AI 风险,例如生物安全和 AGI 安全,并研究风险评估与缓解、威胁建模、外部测试、透明度、系统完整性和模型权重安全等议题。

阅读更多

我们希望招收的学员

不要求具备 STEM 或机器学习背景。你应了解当前 LLM 的开发方式,以及强化学习、奖励钻空子等相关概念,并熟悉关于“失控风险”的主要论据与反方观点。

​

你还应关注现有的相关政策讨论和政策环境,并愿意认真考虑方案的可行性。

项目遴选

我们会结合政策需求以及你的兴趣和专业经验,一起构思并完善项目。