
Anthropic
Nina 参加了 2023 年夏季的 MATS 项目,并接受了 Evan Hubinger 的指导。在 MATS 项目期间,她发表了论文《Steering Llama 2 via Contrastive Activation Addition》,该论文荣获 ACL 2024 杰出论文奖。MATS 项目结束后,Nina 加入 Anthropic 担任研究科学家,并指导了多个致力于大语言模型对齐项目的 SPAR 和 MATS 小组。
2023 年夏季班共有 60 位学员和 15 位导师,研究覆盖 12 个领域。项目包括 4 周远程培训、8 周在伯克利开展的研究,以及 4 个月的延长期。2023 年 9 月,MATS 管理团队共同创立了 London Initiative for Safe AI(LISA),为伦敦的 AI 安全研究者和机构提供专门的研究空间,也让 MATS 学员能够继续推进自己的课题。各领域的项目分布较广:约三分之一聚焦评估和能力展示,五分之一聚焦机制可解释性,其他课题则涉及智能体基础、激活工程和协作式 AI。
参加 MATS 是快速提升人工智能安全研究技能、深入了解该领域并结识其他研究人员与合作伙伴的绝佳途径。此外,项目组精心设计的办公环境也极大地提高了工作效率。
Nina Panickssery