Eric Neyman 是 Alignment Research Center(ARC)的研究员。ARC 正以系统且有理论依据的方法推进机械可解释性研究。加入 ARC 之前,他在哥伦比亚大学攻读博士,研究算法贝叶斯认识论。
He He 是 New York University 的副教授。她关注大型语言模型的工作原理,以及这项技术可能带来的风险。
Alan 是英国 AI 安全研究所(UK AI Security Institute)自主系统与控制部门的负责人,研究 AI 控制和监控的实证方法。他与他人共同开发了 RepliBench,这是一套用于衡量语言模型智能体自主复制能力的评估工具。
Alexis 是 Asymmetric Security 的联合创始人兼首席执行官。此前,他曾参加 RAND 的 AI 安全项目,并是 GovAI 创始团队成员。
Paul Riechers is a researcher and scientific leader with deep expertise in the physics of information and the fundamental limits of learning and prediction. He co-founded Simplex, an AI safety research organization, with Dr. Adam Shai, applying insights from theoretical physics and neuroscience to build foundational understanding of internal representations and emergent behavior in neural networks. Paul earned a PhD in theoretical physics and an MS in electrical and computer engineering from UC Davis. Prior to founding Simplex, he spent five years as a Research Fellow at Nanyang Technological University in Singapore. He is also co-founder of the Beyond Institute for Theoretical Science (BITS), a former Senior Fellow at UCLA’s Mathematics of Intelligences program at IPAM, and has served as both a MATS scholar and mentor. Paul has co-organized multiple workshops on AI interpretability and alignment, and now co-leads the growing Simplex team with support from the Astera Institute.
我在 METR 担任研究员。
我认为,AI 的发展会让世界经历一段充满不确定性的时期。我希望提供可靠的证据和方法,帮助人们追踪 AI 的发展与风险,让人类能够据此作出审慎决策。
我曾担任过不同职务,包括负责任务开发和监控工作流。我喜欢尝试设计新型评估,也认为阅读模型对话记录很有价值。我关注胜任的智能体需要具备哪些能力,以及当前 AI 智能体为何还做不到。我很庆幸能投入时间去理解这些模型。
此前,我曾在 Centre on Long-Term Risk 和 FHI 工作。更早之前,我在大学学习物理,并参与疟疾诊断研究。
Peter 是普林斯顿大学助理教授,研究方向包括强化学习、对齐和法律。他在斯坦福大学获得法学博士和计算机科学博士学位。
Cristian 是 Artificial Intelligence Underwriting Company(AIUC)的研究学员。保险公司有时也会扮演私人监管者的角色(例如商用核电领域)。他的工作重点是探索如何引导 AI 保险市场,形成有效的私人治理机制。
此前,他曾参加 Centre for the Governance of AI 冬季项目,也曾在 Harvard AI Safety Student Team 担任独立研究员。他拥有 University of British Columbia 哲学硕士学位。
Milad 是 Anthropic 的研究科学家,研究语言模型对计算机安全的影响。加入 Anthropic 之前,他曾在 OpenAI 和 Google DeepMind 研究 AI 安全与隐私。
我在 Anthropic 研究 AI 安全与对齐。此前,我是 Google DeepMind 的研究科学家,并在加州大学伯克利分校攻读博士,师从 Stuart Russell,研究方向为人类兼容 AI(Center for Human-Compatible AI)。我还共同创立了 FAR.AI,这是一家 501(c)(3) 研究非营利机构,致力于孵化并推动有益 AI 研究方向的发展。
我致力于构建 AI 对齐框架、检验其边界,并将研究发现转化为领域广泛采用的方法。我证明了在推理能力可能导致错位时,思维链监控是一项重要防护;设计了在模型开发中保持可监控性的实用指标;展示了混淆激活如何绕过潜在空间防御;还开发了 StrongREJECT 越狱基准,目前已被 OpenAI、美国和英国 AI 安全研究所(AISI)、Amazon 等机构采用。
MATS 项目是一项为期 10 周的研究奖学金计划,旨在培养和支持从事 AI 对齐、透明度和安全研究的新兴研究者。学员将与世界一流的导师合作,获得专门的研究管理支持,并加入位于伯克利、致力于推动安全、可靠 AI 发展的活跃社群。项目提供必要的架构、资源和指导,帮助学员产出有影响力的研究成果,并开启长期的 AI 安全职业生涯。
MATS 导师来自 AI 安全、对齐、治理、领域建设和系统安全等多个方向,都是各自领域的资深研究者。导师包括学界人士、业界研究人员及独立专家。他们会指导学员开展研究、提供反馈,并支持学员成长为研究者。导师的专业领域涵盖:
查看 往届及现任导师
关键日期
申请:
主项目将于 9 月 28 日至 12 月 4 日进行,获选学员的延展阶段将于 12 月开始。
MATS 欢迎来自不同学术和专业背景的申请者:从机器学习、数学和计算机科学,到政策、经济学、物理学、认知科学、生物学和公共卫生;也欢迎没有传统研究背景的创业者、运营人员和领域建设者。主要要求是对 AI 安全有强烈的贡献意愿,并展现出技术能力、研究潜力或相关运营经验。有 AI 安全相关经验会有所帮助,但并非必要条件。