MATS 学员:
Agatha Duzan
作者:
Agatha Duzan, Asa Cooper Stickland
引用次数
摘要:
思维链(CoT)监控越来越被视为前沿推理模型的重要安全保障。多数可监控性评估研究的是“显性影响”场景:提示直接鼓励模型隐藏某些行为,例如要求它执行一项隐蔽的附带任务。CoT 监控还需要评估另一类场景——“隐性影响”:提示没有要求模型隐瞒,但任务或上下文中的特征仍改变了模型行为,例如某个与工作能力无关的求职者细节影响了招聘评分。
我们推出首个直接比较这两类场景下 CoT 可监控性的基准。我们测试模型在受到偏向某个选项的暗示时,行为会如何变化。暗示可以作为随口一提的信息(隐性),也可以作为直接指令,要求模型照做并隐瞒这件事(显性)。基准涵盖四种任务形式(二选一、数值评分、多选问答、开放式编程)和七个前沿扩展思考模型。
在显性影响下,CoT 监控器能发现 60% 至 94% 的行为变化:即使模型被要求隐瞒,相关指令仍会泄露到 CoT 中。在隐性影响下,同样的因素仍会改变行为,但我们测试的四种情境中有两种检出率下降了 41 至 46 个百分点。加入更贴近现实的系统提示后(开发者可能会用这类提示减少无关偏见),隐性影响的检出率进一步降至最低 5%,而行为影响本身仍然存在。
这些结果表明,在显性影响场景中得出的可监控性估计可能高估了实际水平;一些出于善意的部署选择还可能进一步降低可监控性。基准和代码见此链接。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。