我希望开展有关 AI 失控风险(如递归式自我改进、错位等)的政策与治理研究。第一步可能包括严谨的威胁建模和情景分析。如果 MATS 项目开始前已有足够案例发表,我们可以在此基础上继续,提出评估和缓解相关风险的最佳实践建议。
SF Bay Area
Pegah Maham 是 Google DeepMind 前沿政策制定团队的政策制定与战略经理,工作聚焦技术 AI 安全、安全保障与国际治理的交叉领域。她主要关注前沿 AI 风险,例如生物安全和 AGI 安全,并研究风险评估与缓解、威胁建模、外部测试、透明度、系统完整性和模型权重安全等议题。
不要求具备 STEM 或机器学习背景。你应了解当前 LLM 的开发方式,以及强化学习、奖励钻空子等相关概念,并熟悉关于“失控风险”的主要论据与反方观点。
你还应关注现有的相关政策讨论和政策环境,并愿意认真考虑方案的可行性。
我们会结合政策需求以及你的兴趣和专业经验,一起构思并完善项目。