MATS 导师正在拓展 AI 对齐、透明度和安全研究的前沿

Jan 是 Institute for AI Policy and Strategy(IAPS)的研究员,致力于通过技术治理降低 AI 带来的灾难性风险。他目前在分析国家安全领域使用前沿 AI 可能带来的严重风险,并设计蜜罐机制来保护内部 AI 智能体。

​

加入 IAPS 之前,他曾参加 GovAI 冬季项目和 Pivotal 项目,并在 CISPA Helmholtz Center for Information Security 攻读博士。他此前的研究涉及可解释性、机器学习安全和 AI 对齐。他拥有信息系统学士学位和计算机科学硕士学位。

研究方向:
政策与治理
AI Control and Monitoring, Alignment Training Methods, Technical AI Governance, Interpretability, AI Systems Security

Alex is a co-founder of [Resolution](https://resolution.org/), a research nonprofit using empirics, theory, and automation to get to higher confidence in alignment. He previously worked at the UK AI Security Institute, where he led strategy and operations for the £30m [Alignment Project](https://alignmentproject.aisi.gov.uk/). Before that, he built [80,000 Hours](https://80000hours.org/)’ automated headhunting product, which has made 50+ placements in AI safety and governance. He also co-founded [LASR](https://www.lasrlabs.org/) and [Leaf](https://leaf.courses/), and co-authored the original [Effective Altruism introductory programme curriculum](https://www.effectivealtruism.org/courses/introductory-program).

研究方向:
创业与领域建设
Founding and Field-Building
Samuel Hammond
Foundation for American Innovation
,
人工智能政策主任兼首席经济学家
—

Samuel Hammond 是 Foundation for American Innovation 的人工智能政策主任兼首席经济学家,研究重点是 AI 政策,以及新兴技术对制度的影响。他曾任 Niskanen Center 社会政策主任,目前仍是该中心的高级研究员;也曾担任加拿大政府的经济学家,专注于区域经济发展,并在 George Mason University 的 Mercatus Center 从事研究。

​

Sam 获得了 Saint Mary’s University 经济学学士学位,以及 George Mason University 和 Carleton University 的经济学硕士学位。

研究方向:
政策与治理
Policy and Governance, Forecasting and Strategy, Structural Risk and Societal Dynamics

Buck 是 Redwood Research 的首席执行官。

研究方向:
实证研究
AI Control and Monitoring, Misalignment Science, Forecasting and Strategy
Ethan Perez
Anthropic
,
技术团队成员
—

Ethan Perez 是 Anthropic 的研究员,领导一个研究 AI 控制、对抗鲁棒性和其他 AI 安全议题的团队。他的兴趣涵盖 LLM 安全的多个领域,曾领导睡眠代理、用语言模型对语言模型进行红队测试、利用 LLM 通过辩论实现 AI 安全,以及展示和改善思维链推理中不忠实现象的研究。更多信息请访问他的个人网站。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, Misalignment Science
Samuel Marks
Anthropic
,
技术团队成员
—

Sam 负责 Anthropic 对齐科学团队中的认知监督小组。该小组希望监督 AI 系统时,不仅看其输入和输出是否良好,也要检查支撑这些行为的认知过程是否存在可疑之处。例如,他们研究如何发现语言模型是否在说谎,包括仅凭输入和输出难以判断的情况。团队同时关注白盒方法(例如基于可解释性的技术)和黑盒方法(例如设计有效提问,了解模型的思维过程和动机)。如需了解更多研究方向,可阅读他的这篇文章。

研究方向:
实证研究
AI Control and Monitoring, Misalignment Science, Interpretability
Neel Nanda
Google DeepMind
,
资深研究科学家
—

Neel 负责 Google DeepMind 的机械可解释性团队,尝试通过研究模型内部机制来加深对模型的理解,并以此提升安全性,例如检测欺骗、分析令人担忧的行为,以及监控已部署系统是否产生有害行为。

​

自 2024 年年中以来,Neel 对大规模推进机械可解释性基础研究的前景更加谨慎,同时更看好务实方法所能带来的实际价值。他减少了基础科学方面的工作,转而更多研究模型生物学,并将可解释性用于监控等现实安全问题。

​

他花了很多时间指导 MATS 学员,目前已有约 50 位项目校友,也期待继续指导更多学员!

研究方向:
实证研究
AI Control and Monitoring, Interpretability

Marius Hobbhahn 是 Apollo Research 的首席执行官,并领导该组织的监控团队。Apollo 是一家 AI 安全研究机构,重点研究密谋行为、评估,以及控制和监控。他入选了 2025 年《TIME》AI 领域百大人物榜单。创立 Apollo 之前,Marius 攻读贝叶斯机器学习博士学位,并在 Epoch 从事 AI 预测研究。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Misalignment Science, Forecasting and Strategy
Fabien Roger
Anthropic
,
技术团队成员
—

Fabien Roger 是 Anthropic 的 AI 安全研究员,此前曾在 Redwood Research 工作。他的研究聚焦于AI 控制和应对虚假对齐。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Misalignment Science, Alignment Training Methods

Nicholas 是 Anthropic 的研究科学家(此前在 Google DeepMind 工作),研究对抗性机器学习。他也喜欢找系统的漏洞。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, AI Systems Security

常见问题解答

什么是 MATS 项目?
MATS 导师是谁?
MATS 项目的关键日期有哪些?
谁有资格申请?
申请和导师选择流程是怎样的?