MATS 导师正在拓展 AI 对齐、透明度和安全研究的前沿

Sam Bowman
Anthropic
,
技术团队成员
—

Sam Bowman 在 Anthropic 负责一个研究团队,研究 AI 对齐与福祉,尤其关注评估。他目前暂时离开纽约大学,那里他担任计算机科学与数据科学副教授。自 2012 年以来,他一直研究神经网络语言模型。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Misalignment Science, AI Welfare
Joe Benton
Anthropic
,
技术团队成员
—

Joe 是 Anthropic 对齐科学团队成员,目前研究可扩展监督,也关注控制、思维链监控和对齐评估。近期项目示例(包括与 MATS 的合作)见:https://joejbenton.com/research/。

研究方向:
实证研究
AI Control and Monitoring, Adversarial Robustness and Safeguards, Misalignment Science
Yoshua Bengio
Mila, LawZero
,
LawZero 联席主席兼科学总监/蒙特利尔大学正教授/Mila 创始人兼科学顾问
—

Yoshua Bengio 是蒙特利尔大学计算机科学正教授、LawZero 联席主席兼科学总监,也是 Mila 的创始人和科学顾问。他还担任加拿大 CIFAR AI 讲席教授。他被公认为全球 AI 与深度学习领域的领军人物之一,曾获 2018 年 A.M. 图灵奖(常被称为“计算领域的诺贝尔奖”)。按总引用次数计算,他是全球引用次数最多的计算机科学家,也是各领域在世学者中引用次数最多的人。

​

Bengio 教授是伦敦皇家学会和加拿大皇家学会会士、加拿大官佐勋章获得者、法国荣誉军团骑士,并担任联合国科学技术突破独立咨询科学顾问委员会成员及《国际 AI 安全报告》主席。

研究方向:
实证研究
AI Control and Monitoring, Adversarial Robustness and Safeguards, Policy and Governance, Technical AI Governance, Agent Foundations, Theoretical Alignment and Formal Methods

Alex 目前致力于将行为不变量融入模型。此前,他提出并证明了趋向权力定理,共同提出了人类价值形成的碎片理论,并提出通过可达效用保持方法来惩罚负面副作用。

他在以往项目中的代表性成果:

​

研究方向:
实证研究
Alignment Training Methods, Interpretability, Agent Foundations

Daniel 正与 Eli Lifland、Thomas Larsen、Jonas Vollmer 和 Romeo Dean 一起,预测并细化 AI 未来情景。

研究方向:
战略与预测
Policy and Governance, Technical AI Governance, Forecasting and Strategy, Structural Risk and Societal Dynamics

David Lindner 是 Google DeepMind 通用人工智能(AGI)安全与对齐团队的研究科学家,负责研究针对欺骗性对齐和密谋行为的评估与缓解方法。他近期的工作包括 MONA(一种减少强化学习过程中多轮奖励钻空子行为的方法)、设计针对隐蔽行为和情境意识的评估,以及参与制定 Google DeepMind 对欺骗性对齐的应对方案。目前,他关注密谋行为的缓解方法,包括思维链监控和 AI 控制。更多信息见个人网站。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Misalignment Science, Alignment Training Methods

Thomas 是 AI 未来项目的研究员,也是广受关注的 AI 2027 情景预测报告的共同作者。他此前创立了 AI 安全倡导组织 Center for AI Policy,并曾在机器智能研究所开展 AI 安全研究。

研究方向:
战略与预测
Policy and Governance, Forecasting and Strategy, Structural Risk and Societal Dynamics
Trenton Bricken
Anthropic
,
技术团队成员
—

我在 Anthropic 对齐科学团队担任技术团队成员。目前,我正在推动 Claude 自动审计并发现不对齐行为。

​

关于我

  • 我在 Harvard 获得系统生物学博士学位,论文题为《生物与人工神经网络中的稀疏表示》,研究在 Kreiman Lab 开展,并获 NSF 研究生奖学金支持。我还曾作为访问研究员在 Berkeley 的 Redwood Center for Theoretical Neuroscience 工作。
  • 2020 年 5 月,我从 Duke University 毕业,主修自设专业“心智与机器:生物智能与人工智能”。我有幸获得 Robertson Scholar 奖学金,四年大学期间(包括暑期项目)的费用均由该奖学金承担。
  • 在 Duke,我曾在 Michael Lynch 博士的实验室从事一年研究,尝试利用机器学习设计更安全、有效的 CRISPR 向导 RNA。之后,我加入 Harvard Medical School 的 Debora Marks 博士实验室,将深度学习用于蛋白质设计。我还参与了 IARPA Fun GCAT 和 DARPA Biostasis 项目。
研究方向:
实证研究
AI Control and Monitoring, Misalignment Science, Interpretability

Tyler 是 AI 安全研究员,也是 Redwood Research 的技术团队成员。

研究方向:
实证研究
AI Control and Monitoring

Daniel is a professor of computer science at UIUC, where he studies the progress of AI, with a particular focus on dangerous capabilities of AI agents. His work includes:

- CVE-Bench, an award winning benchmark (SafeBench award, ICML spotlight) that is used by frontier labs and governments to measure AI agents' ability to find and exploit real-world vulnerabilities. 

- Agent Benchmark Checklist, an award winning work (Berkeley AI summit, 1st place Benchmarks & Evaluations track) that highlights major issues in existing benchmarks.

- InjecAgent, one of the first AI agent safety benchmarks, used by governments and major labs.

研究方向:
实证研究
Capability and Propensity Evaluations, Biosecurity, AI Systems Security

常见问题解答

什么是 MATS 项目?
MATS 导师是谁?
MATS 项目的关键日期有哪些?
谁有资格申请?
申请和导师选择流程是怎样的?