MATS 导师正在拓展 AI 对齐、透明度和安全研究的前沿

Victor Lecomte 是 Alignment Research Center(ARC)的研究员。ARC 正以系统且有理论依据的方法推进机械可解释性研究。他在斯坦福大学获得博士学位,曾研究计算复杂性及理论计算机科学的其他方向,之后转向 AI 安全研究。

研究方向:
Theory
Interpretability, Theoretical Alignment and Formal Methods

Michael Winer 是 Alignment Research Center(ARC)的研究员,研究在简单实验环境中,机制性估计如何优于黑盒方法。他拥有统计物理学背景,研究大量遵循简单规则的对象如何呈现复杂行为,例如磁性、玻璃态,或在 GPQA 上考出 87% 的成绩。

研究方向:
Theory
Interpretability, Theoretical Alignment and Formal Methods

Isabella 是 Safe AI Forum 的高级研究员,致力于推动中美在前沿 AI 安全领域的协调。她的研究重点是技术治理,尤其是促进共识、围绕失控和极端滥用风险开展对话。近期工作涉及技术层面的滥用防护措施、AI 控制行动手册,以及不对齐事件。她拥有 University of Chicago 计算社会科学硕士学位和 University College London 哲学、政治与经济学学士学位。

研究方向:
政策与治理
Policy and Governance, Technical AI Governance
Dylan Sam
OpenAI
,
技术团队成员
—

Dylan 是 OpenAI 的安全研究员,负责整理质量更高、更安全的训练数据,并监测模型是否表现出有害行为。

此前,他在 Carnegie Mellon University 机器学习系完成博士学位。

研究方向:
实证研究
AI Control and Monitoring, Alignment Training Methods
Hani Mir
OpenAI
,
软件工程师
—

Hani 是 OpenAI 的软件工程师。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, Misalignment Science, Alignment Training Methods, Interpretability, AI Systems Security
Byron Cohen
RAND
,
生物安全学员
—

Byron Cohen 是 RAND 的 AI 与生物安全研究驻留人员,负责 AI 生物安全风险评估和政策研究。此前,他曾担任 DARPA 生物技术办公室的生物安全顾问,为生物监测、溯源、流行病学建模以及 AI 提升生物能力的风险等议题提供建议。再之前,他在白宫大流行防范与响应政策办公室(OPPR)担任跨部门研发监督顾问。Byron 接受过流行病学训练,拥有 Harvard University 人口健康科学博士学位,并发表过有关生物安全和全球卫生安全的同行评审流行病学建模研究。

研究方向:
Biosecurity
Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, Policy and Governance, Biosecurity

Isak 是 OpenAI 的技术团队成员。此前,他曾在 Google 担任软件工程师,研究计算机视觉、自然语言处理和大型语言模型的应用。

​

Isak 在 Carnegie Mellon University 获得计算机科学硕士学位,发表的研究涉及自然语言处理、风格迁移、多语言字素到音素建模和计算机视觉。

研究方向:
实证研究
AI Control and Monitoring, Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, Misalignment Science, Alignment Training Methods, Interpretability, AI Systems Security
Bijan Varjavand
OpenAI
,
技术项目经理
—

Bijan 是 OpenAI 的技术项目经理。此前,他曾在 Scale AI 担任研究工程师,并与他人合著了关于大型语言模型越狱和红队测试流程的研究。

研究方向:
实证研究
Adversarial Robustness and Safeguards

我目前主要研究对抗性机器学习,包括前沿模型的安全保障、系统安全和对齐。我尤其关注对齐与安全方向的强化学习,以及评估。此前,我研究过语言建模中的记忆、隐私和安全危害,包括审查相关风险并探索缓解方法。我还从事过差分隐私训练算法、机器遗忘、协作式学习,以及所有权验证方法的研究。

研究方向:
实证研究
Capability and Propensity Evaluations, Adversarial Robustness and Safeguards, Alignment Training Methods, AI Systems Security
Joseph Millman
OpenAI
,
技术团队成员(检测与响应)
—

Joseph 在 OpenAI 检测与响应团队工作。他公开发表的安全研究包括利用大型语言模型检测 macOS 上的恶意活动。

研究方向:
实证研究
AI Systems Security

常见问题解答

什么是 MATS 项目?
MATS 导师是谁?
MATS 项目的关键日期有哪些?
谁有资格申请?
申请和导师选择流程是怎样的?