MATS 导师正在拓展 AI 对齐、透明度和安全研究的前沿

Eric Neyman 是 Alignment Research Center(ARC)的研究员。ARC 正以系统且有理论依据的方法推进机械可解释性研究。加入 ARC 之前,他在哥伦比亚大学攻读博士,研究算法贝叶斯认识论。

研究方向:
Theory
Interpretability, Theoretical Alignment and Formal Methods

He He 是 New York University 的副教授。她关注大型语言模型的工作原理,以及这项技术可能带来的风险。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, Misalignment Science

Alan 是英国 AI 安全研究所(UK AI Security Institute)自主系统与控制部门的负责人,研究 AI 控制和监控的实证方法。他与他人共同开发了 RepliBench,这是一套用于衡量语言模型智能体自主复制能力的评估工具。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations
Alexis Carlier
Asymmetric Security
,
联合创始人兼首席执行官
—

Alexis 是 Asymmetric Security 的联合创始人兼首席执行官。此前,他曾参加 RAND 的 AI 安全项目,并是 GovAI 创始团队成员。

研究方向:
实证研究
Capability and Propensity Evaluations, Policy and Governance, AI Systems Security

Paul Riechers is a researcher and scientific leader with deep expertise in the physics of information and the fundamental limits of learning and prediction. He co-founded Simplex, an AI safety research organization, with Dr. Adam Shai, applying insights from theoretical physics and neuroscience to build foundational understanding of internal representations and emergent behavior in neural networks. Paul earned a PhD in theoretical physics and an MS in electrical and computer engineering from UC Davis. Prior to founding Simplex, he spent five years as a Research Fellow at Nanyang Technological University in Singapore. He is also co-founder of the Beyond Institute for Theoretical Science (BITS), a former Senior Fellow at UCLA’s Mathematics of Intelligences program at IPAM, and has served as both a MATS scholar and mentor. Paul has co-organized multiple workshops on AI interpretability and alignment, and now co-leads the growing Simplex team with support from the Astera Institute.

研究方向:
实证研究
Interpretability
Megan Kinniment
METR
,
技术团队成员
—

我在 METR 担任研究员。

​

我认为,AI 的发展会让世界经历一段充满不确定性的时期。我希望提供可靠的证据和方法,帮助人们追踪 AI 的发展与风险,让人类能够据此作出审慎决策。

​

我曾担任过不同职务,包括负责任务开发和监控工作流。我喜欢尝试设计新型评估,也认为阅读模型对话记录很有价值。我关注胜任的智能体需要具备哪些能力,以及当前 AI 智能体为何还做不到。我很庆幸能投入时间去理解这些模型。

​

此前,我曾在 Centre on Long-Term Risk 和 FHI 工作。更早之前,我在大学学习物理,并参与疟疾诊断研究。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations

Peter 是普林斯顿大学助理教授,研究方向包括强化学习、对齐和法律。他在斯坦福大学获得法学博士和计算机科学博士学位。

研究方向:
实证研究
Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, Alignment Training Methods, Policy and Governance, Technical AI Governance, Structural Risk and Societal Dynamics

Cristian 是 Artificial Intelligence Underwriting Company(AIUC)的研究学员。保险公司有时也会扮演私人监管者的角色(例如商用核电领域)。他的工作重点是探索如何引导 AI 保险市场,形成有效的私人治理机制。

​

此前,他曾参加 Centre for the Governance of AI 冬季项目,也曾在 Harvard AI Safety Student Team 担任独立研究员。他拥有 University of British Columbia 哲学硕士学位。

研究方向:
政策与治理
Policy and Governance, Forecasting and Strategy
Milad Nasr
Anthropic
,
研究科学家
—

Milad 是 Anthropic 的研究科学家,研究语言模型对计算机安全的影响。加入 Anthropic 之前,他曾在 OpenAI 和 Google DeepMind 研究 AI 安全与隐私。

研究方向:
实证研究
Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, AI Systems Security

我在 Anthropic 研究 AI 安全与对齐。此前,我是 Google DeepMind 的研究科学家,并在加州大学伯克利分校攻读博士,师从 Stuart Russell,研究方向为人类兼容 AI(Center for Human-Compatible AI)。我还共同创立了 FAR.AI,这是一家 501(c)(3) 研究非营利机构,致力于孵化并推动有益 AI 研究方向的发展。

​

我致力于构建 AI 对齐框架、检验其边界,并将研究发现转化为领域广泛采用的方法。我证明了在推理能力可能导致错位时,思维链监控是一项重要防护;设计了在模型开发中保持可监控性的实用指标;展示了混淆激活如何绕过潜在空间防御;还开发了 StrongREJECT 越狱基准,目前已被 OpenAI、美国和英国 AI 安全研究所(AISI)、Amazon 等机构采用。

研究方向:
实证研究
AI Control and Monitoring, Adversarial Robustness and Safeguards, Misalignment Science, Agent Foundations

常见问题解答

什么是 MATS 项目?
MATS 导师是谁?
MATS 项目的关键日期有哪些?
谁有资格申请?
申请和导师选择流程是怎样的?