MATS 学员:
Dylan Feng
作者:
Dylan Feng, Pragya Srivastava, Anca Dragan, Cassidy Laidlaw
引用次数
摘要:
大型语言模型(LLM)的许多安全和对齐失效,源于分布外(OOD)情境:模型开发者未预料到的提示或回复模式。我们提出 MOOD(分布外失配)基准,系统研究 LLM 监控流程能否发现这些 OOD 对齐失效。要找到对现成模型而言真正分布外的失效并不容易,因为这些模型已在海量安全数据上训练。为解决这一问题,MOOD 提供一个受限训练集供我们训练监控器,并包含七个涵盖不同对齐失效的测试集,确保测试情境不在训练分布之内。通过 MOOD,我们发现安全分类器往往无法泛化到分布外情境。为此,我们提出将安全分类器与 OOD 检测器结合。我们测试了四类 OOD 检测器,发现把安全分类器与马氏距离及基于困惑度的 OOD 检测器组合,可将召回率从 39% 提升至 45%。我们还发现,随着模型规模增大,结合安全分类器和 OOD 检测器的监控器表现持续提升;将 OOD 检测纳入监控所带来的召回率提升,高于单独使用参数量大 20 倍的安全分类器。研究表明,OOD 检测应成为 LLM 监控的关键组成部分,也为后续研究这一重要问题奠定了基础。
实验代码和数据已公开,相关链接见此处。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。