Anthropic

Ethan Perez 是 Anthropic 的研究员，领导一个研究 AI 控制、对抗鲁棒性和其他 AI 安全议题的团队。他的兴趣涵盖 LLM 安全的多个领域，曾领导睡眠代理、用语言模型对语言模型进行红队测试、利用 LLM 通过辩论实现 AI 安全，以及展示和改善思维链推理中不忠实现象的研究。更多信息请访问他的个人网站。

Kyle 在 Anthropic 从事模型福祉研究。此前，他共同创立了 Eleos AI Research、Telis Bioscience 和 Alvea。

Sam 负责 Anthropic 对齐科学团队中的认知监督小组。该小组希望监督 AI 系统时，不仅看其输入和输出是否良好，也要检查支撑这些行为的认知过程是否存在可疑之处。例如，他们研究如何发现语言模型是否在说谎，包括仅凭输入和输出难以判断的情况。团队同时关注白盒方法（例如基于可解释性的技术）和黑盒方法（例如设计有效提问，了解模型的思维过程和动机）。如需了解更多研究方向，可阅读他的这篇文章。

Sam Bowman 在 Anthropic 负责一个研究团队，研究 AI 对齐与福祉，尤其关注评估。他目前暂时离开纽约大学，那里他担任计算机科学与数据科学副教授。自 2012 年以来，他一直研究神经网络语言模型。

Joe 是 Anthropic 对齐科学团队成员，目前研究可扩展监督，也关注控制、思维链监控和对齐评估。近期项目示例（包括与 MATS 的合作）见：https://joejbenton.com/research/。

Stephen 目前在 Anthropic 担任研究员，研究如何对齐和控制超级智能。此前，他曾在 OpenAI 任研究员，也曾在卡内基梅隆大学（CMU）与 Tuomas Sandholm 合作进行博士后研究。他在加州大学尔湾分校获得计算机科学博士学位，导师是 Pierre Baldi。博士期间，他还曾在 Intel Labs 和 DeepMind 实习，担任研究科学家。更早之前，他于 2017 年获得亚利桑那州立大学数学与经济学学士学位。他感兴趣的项目包括：

• 与编码智能体控制和监控相关的研究
• 面向智能体对齐的可扩展监督
• 密谋行为的评估与缓解
• 用于构建稳健监控器和奖励模型的对抗训练
• 智能体中的奖励钻空子与欺骗行为

Nicholas 是 Anthropic 的研究科学家（此前在 Google DeepMind 工作），研究对抗性机器学习。他也喜欢找系统的漏洞。

我在 Anthropic 对齐科学团队担任技术团队成员。目前，我正在推动 Claude 自动审计并发现不对齐行为。

​

关于我

• 我在 Harvard 获得系统生物学博士学位，论文题为《生物与人工神经网络中的稀疏表示》，研究在 Kreiman Lab 开展，并获 NSF 研究生奖学金支持。我还曾作为访问研究员在 Berkeley 的 Redwood Center for Theoretical Neuroscience 工作。
• 2020 年 5 月，我从 Duke University 毕业，主修自设专业“心智与机器：生物智能与人工智能”。我有幸获得 Robertson Scholar 奖学金，四年大学期间（包括暑期项目）的费用均由该奖学金承担。
• 在 Duke，我曾在 Michael Lynch 博士的实验室从事一年研究，尝试利用机器学习设计更安全、有效的 CRISPR 向导 RNA。之后，我加入 Harvard Medical School 的 Debora Marks 博士实验室，将深度学习用于蛋白质设计。我还参与了 IARPA Fun GCAT 和 DARPA Biostasis 项目。

Sara Price 在 Anthropic 负责对齐训练。她的研究关注如何让对齐训练可靠地泛化，包括减少智能体错位风险的方法。

Fabien Roger 是 Anthropic 的 AI 安全研究员，此前曾在 Redwood Research 工作。他的研究聚焦于AI 控制和应对虚假对齐。

你好，我是 Jack！我希望理解现代语言模型的认知机制，让它们更可靠，也更符合人类价值观。目前，我负责 Anthropic 的“Model Psych”团队。我们研究内省、情境意识、角色人格和情绪表征等高级认知现象的内部机制，并将这些方法用于审查 Anthropic 的生产模型。例如，我们会监测模型神经活动中的信号，以发现欺骗、操纵或意识到自己正在接受评估等迹象。此前，我在哥伦比亚大学的理论神经科学中心攻读博士。我的论文列表见 Google Scholar。