
英国人工智能安全研究所
Joseph Bloom 是 英国人工智能安全研究所(UK AI Security Institute)的模型透明度负责人,致力于研究失控风险、可监控性和可解释性之间的交叉领域。他的团队近期发表了关于 针对“藏拙”行为(Sandbagging)的游戏审计的研究。Joseph 曾是 MATS 5.0 计划中 Neel Nanda 的学员。他此前曾担任 TransformerLens 软件包的维护者,开发了 SAE Lens 软件包,并以 LASR 导师身份发表了 A is for Absorption 。Joseph 拥有墨尔本大学计算生物学与统计学双学位。
2024 年夏季班规模显著扩大,约有 90 位学员和 40 位导师参与,导师阵容为 MATS 历届最广。本届 MATS 注册成为 501(c)(3) 非营利组织,进一步完善了组织架构。随着 AI 政策和技术治理受到更多关注,项目扩展了研究范围,除技术研究流外,至少加入了 4 位治理领域导师。学员在伯克利参加为期 10 周的研究阶段,课题涵盖机制可解释性、评估、可扩展监督和治理。部分成果包括:针对使用用户反馈训练的 LLM 所开展的定向操纵与欺骗研究入选 NeurIPS 研讨会;一篇关于通过辩论实现 AI 安全的论文则获得 ICML 2024 最佳论文奖。此外,一位学员共同创立了 Decode Research,这是一家专注于构建可解释性工具的 AI 安全组织。
MATS 是快速提升技能并建立人工智能安全领域人脉的最佳途径,我强烈推荐。
Joseph Bloom