Arthur Conmy

Arthur Conmy 的 MATS 研究方向将评估可解释性方法能否解决当前及未来的 AI 安全问题。

​

研究可能包括开发新的安全方法、构建基准,以及将其效果与基线方法进行比较。

研究小组概览

我对各种研究方向都持开放态度,只要学员对此有热情,且研究能提升 AI 安全工具的质量和可靠性。目前我尤其看好以下三个方向:

​

  1. 推理模型的可解释性
  2. 从真实环境中的模型行为中诱发异常表现(而非通过训练模型生物来实现)
  3. 模型生物 :)

项目期间的工作地点:

London

导师

Arthur Conmy
Anthropic
,
研究工程师
Interpretability
AI Control and Monitoring
对齐训练方法

Arthur Conmy 是 Anthropic 的技术团队成员。他关注自动化可解释性研究、发现电路,以及如何将模型内部分析技术用于 AI 安全,尤其是结合稀疏自编码器的研究。此前,他曾在 Google DeepMind 和 Redwood Research 工作,也参加过 MATS 项目。

阅读更多

我们希望招收的学员

项目推进速度非常重要,同时也需要判断下一步该做什么。我喜欢深入参与项目,因此引导项目方向相对容易;相比之下,从零开始教会学员如何快速执行会更难。对可解释性及其在 AI 安全中的实际应用有热情,也会很有帮助。

​

我也会面试参加 Neel Nanda 的 MATS 研究冲刺、但 Neel 无法指导的申请者。

项目遴选

导师会与学员一起讨论研究想法。