I am a research scientist on the AGI Safety & Alignment team at Google DeepMind. I focus on deceptive alignment and AI control, particularly [scheming propensity evaluations](https://arxiv.org/abs/2605.29729). My past research includes dangerous capability evals, power-seeking incentives, specification gaming, and avoiding side effects.
Mauricio 在 RAND 和牛津大学从事 AI 政策研究,主要关注国际 AI 协议的核查,也对技术性 AI 治理有更广泛的兴趣。此前,他曾与 OpenAI 合作,并在斯坦福大学取得计算机科学硕士学位。
Alex 是 Redwood Research 的技术团队成员。
Abram Demski 是一位专攻智能体基础的 AI 安全研究者,因与 Scott Garrabrant 合著《Embedded Agency》而知名。他的研究主要通过澄清概念来理解 AI 风险相关议题,包括能动性、优化、信任、意义、理解、可解释性和计算不确定性(通常称为有界理性,但这一说法不够精确)。他近期重点研究如何建模信任,以明确人类在什么条件下能够合理地信任 AI。
James 是 Redwood Research 的技术团队成员。
Aryan 是 Redwood Research 的高级技术团队成员。
你好,我是 Jack!我希望理解现代语言模型的认知机制,让它们更可靠,也更符合人类价值观。目前,我负责 Anthropic 的“Model Psych”团队。我们研究内省、情境意识、角色人格和情绪表征等高级认知现象的内部机制,并将这些方法用于审查 Anthropic 的生产模型。例如,我们会监测模型神经活动中的信号,以发现欺骗、操纵或意识到自己正在接受评估等迹象。此前,我在哥伦比亚大学的理论神经科学中心攻读博士。我的论文列表见 Google Scholar。
Vivek 是 Redwood Research 的技术团队成员。
我曾在 DeepMind 的对齐团队和 OpenAI 的治理团队工作。目前,我是一名独立研究员,专注于多智能体智能。我的研究延续自然哲学的传统,尝试把信任、身份、诚信等模糊的直觉概念逐步发展为严谨的概念基础,进而为新的科学范式提供起点。
Alek 在 Redwood Research 从事 AI 安全研究。他最近从 MIT 毕业,学习数学、计算机科学和 AI。在转向 AI 安全之前,他从事理论计算机科学研究,涵盖数据结构、在线算法和算法图论。
MATS 项目是一项为期 10 周的研究奖学金计划,旨在培养和支持从事 AI 对齐、透明度和安全研究的新兴研究者。学员将与世界一流的导师合作,获得专门的研究管理支持,并加入位于伯克利、致力于推动安全、可靠 AI 发展的活跃社群。项目提供必要的架构、资源和指导,帮助学员产出有影响力的研究成果,并开启长期的 AI 安全职业生涯。
MATS 导师来自 AI 安全、对齐、治理、领域建设和系统安全等多个方向,都是各自领域的资深研究者。导师包括学界人士、业界研究人员及独立专家。他们会指导学员开展研究、提供反馈,并支持学员成长为研究者。导师的专业领域涵盖:
查看 往届及现任导师
关键日期
申请:
主项目将于 9 月 28 日至 12 月 4 日进行,获选学员的延展阶段将于 12 月开始。
MATS 欢迎来自不同学术和专业背景的申请者:从机器学习、数学和计算机科学,到政策、经济学、物理学、认知科学、生物学和公共卫生;也欢迎没有传统研究背景的创业者、运营人员和领域建设者。主要要求是对 AI 安全有强烈的贡献意愿,并展现出技术能力、研究潜力或相关运营经验。有 AI 安全相关经验会有所帮助,但并非必要条件。