链接
研究重点
AI Control and Monitoring, Adversarial Robustness and Safeguards, Misalignment Science, Agent Foundations
我在 Anthropic 研究 AI 安全与对齐。此前，我是 Google DeepMind 的研究科学家，并在加州大学伯克利分校攻读博士，师从 Stuart Russell，研究方向为人类兼容 AI（Center for Human-Compatible AI）。我还共同创立了 FAR.AI，这是一家 501(c)(3) 研究非营利机构，致力于孵化并推动有益 AI 研究方向的发展。
我致力于构建 AI 对齐框架、检验其边界，并将研究发现转化为领域广泛采用的方法。我证明了在推理能力可能导致错位时，思维链监控是一项重要防护；设计了在模型开发中保持可监控性的实用指标；展示了混淆激活如何绕过潜在空间防御；还开发了 StrongREJECT 越狱基准，目前已被 OpenAI、美国和英国 AI 安全研究所（AISI）、Amazon 等机构采用。