Sam Bowman 在 Anthropic 负责一个研究团队,研究 AI 对齐与福祉,尤其关注评估。他目前暂时离开纽约大学,那里他担任计算机科学与数据科学副教授。自 2012 年以来,他一直研究神经网络语言模型。
Joe 是 Anthropic 对齐科学团队成员,目前研究可扩展监督,也关注控制、思维链监控和对齐评估。近期项目示例(包括与 MATS 的合作)见:https://joejbenton.com/research/。
Yoshua Bengio 是蒙特利尔大学计算机科学正教授、LawZero 联席主席兼科学总监,也是 Mila 的创始人和科学顾问。他还担任加拿大 CIFAR AI 讲席教授。他被公认为全球 AI 与深度学习领域的领军人物之一,曾获 2018 年 A.M. 图灵奖(常被称为“计算领域的诺贝尔奖”)。按总引用次数计算,他是全球引用次数最多的计算机科学家,也是各领域在世学者中引用次数最多的人。
Bengio 教授是伦敦皇家学会和加拿大皇家学会会士、加拿大官佐勋章获得者、法国荣誉军团骑士,并担任联合国科学技术突破独立咨询科学顾问委员会成员及《国际 AI 安全报告》主席。
Alex 目前致力于将行为不变量融入模型。此前,他提出并证明了趋向权力定理,共同提出了人类价值形成的碎片理论,并提出通过可达效用保持方法来惩罚负面副作用。
他在以往项目中的代表性成果:
Daniel 正与 Eli Lifland、Thomas Larsen、Jonas Vollmer 和 Romeo Dean 一起,预测并细化 AI 未来情景。
David Lindner 是 Google DeepMind 通用人工智能(AGI)安全与对齐团队的研究科学家,负责研究针对欺骗性对齐和密谋行为的评估与缓解方法。他近期的工作包括 MONA(一种减少强化学习过程中多轮奖励钻空子行为的方法)、设计针对隐蔽行为和情境意识的评估,以及参与制定 Google DeepMind 对欺骗性对齐的应对方案。目前,他关注密谋行为的缓解方法,包括思维链监控和 AI 控制。更多信息见个人网站。
Thomas 是 AI 未来项目的研究员,也是广受关注的 AI 2027 情景预测报告的共同作者。他此前创立了 AI 安全倡导组织 Center for AI Policy,并曾在机器智能研究所开展 AI 安全研究。
我在 Anthropic 对齐科学团队担任技术团队成员。目前,我正在推动 Claude 自动审计并发现不对齐行为。
关于我
Daniel is a professor of computer science at UIUC, where he studies the progress of AI, with a particular focus on dangerous capabilities of AI agents. His work includes:
- CVE-Bench, an award winning benchmark (SafeBench award, ICML spotlight) that is used by frontier labs and governments to measure AI agents' ability to find and exploit real-world vulnerabilities.
- Agent Benchmark Checklist, an award winning work (Berkeley AI summit, 1st place Benchmarks & Evaluations track) that highlights major issues in existing benchmarks.
- InjecAgent, one of the first AI agent safety benchmarks, used by governments and major labs.
MATS 项目是一项为期 10 周的研究奖学金计划,旨在培养和支持从事 AI 对齐、透明度和安全研究的新兴研究者。学员将与世界一流的导师合作,获得专门的研究管理支持,并加入位于伯克利、致力于推动安全、可靠 AI 发展的活跃社群。项目提供必要的架构、资源和指导,帮助学员产出有影响力的研究成果,并开启长期的 AI 安全职业生涯。
MATS 导师来自 AI 安全、对齐、治理、领域建设和系统安全等多个方向,都是各自领域的资深研究者。导师包括学界人士、业界研究人员及独立专家。他们会指导学员开展研究、提供反馈,并支持学员成长为研究者。导师的专业领域涵盖:
查看 往届及现任导师
关键日期
申请:
主项目将于 9 月 28 日至 12 月 4 日进行,获选学员的延展阶段将于 12 月开始。
MATS 欢迎来自不同学术和专业背景的申请者:从机器学习、数学和计算机科学,到政策、经济学、物理学、认知科学、生物学和公共卫生;也欢迎没有传统研究背景的创业者、运营人员和领域建设者。主要要求是对 AI 安全有强烈的贡献意愿,并展现出技术能力、研究潜力或相关运营经验。有 AI 安全相关经验会有所帮助,但并非必要条件。