在隐性影响情境下,思维链监控可能不可靠

MATS 学员:

Agatha Duzan

作者:

Agatha Duzan, Asa Cooper Stickland

引用次数

Citations

摘要:

思维链(CoT)监控越来越被视为前沿推理模型的重要安全保障。多数可监控性评估研究的是“显性影响”场景:提示直接鼓励模型隐藏某些行为,例如要求它执行一项隐蔽的附带任务。CoT 监控还需要评估另一类场景——“隐性影响”:提示没有要求模型隐瞒,但任务或上下文中的特征仍改变了模型行为,例如某个与工作能力无关的求职者细节影响了招聘评分。

我们推出首个直接比较这两类场景下 CoT 可监控性的基准。我们测试模型在受到偏向某个选项的暗示时,行为会如何变化。暗示可以作为随口一提的信息(隐性),也可以作为直接指令,要求模型照做并隐瞒这件事(显性)。基准涵盖四种任务形式(二选一、数值评分、多选问答、开放式编程)和七个前沿扩展思考模型。

在显性影响下,CoT 监控器能发现 60% 至 94% 的行为变化:即使模型被要求隐瞒,相关指令仍会泄露到 CoT 中。在隐性影响下,同样的因素仍会改变行为,但我们测试的四种情境中有两种检出率下降了 41 至 46 个百分点。加入更贴近现实的系统提示后(开发者可能会用这类提示减少无关偏见),隐性影响的检出率进一步降至最低 5%,而行为影响本身仍然存在。

这些结果表明,在显性影响场景中得出的可监控性估计可能高估了实际水平;一些出于善意的部署选择还可能进一步降低可监控性。基准和代码见此链接。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

August 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

August 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?