同一个问题,不同的谎言:用于黑盒检测刻意低表现的跨上下文一致性(C³)

MATS 学员:

Yulong Lin, Benjamin Arnav

作者:

Lin Yulong, Pablo Bernabeu-Perez, Benjamin Arnav, Lennie Wells, Mary Phuong

引用次数

Citations

摘要:

随着语言模型能力提升,准确评估其能力对于安全决策至关重要。如果模型能在危险能力评估中故意表现不佳(即“刻意低表现”),就可能逃过针对其真实能力水平设计的安全措施。我们提出跨上下文一致性(C³),一种通用的无监督黑盒检测框架,利用了一个根本差异:真正缺乏能力的模型,会在改写后的问题中持续表现出困惑;而有能力却假装不行的模型,会在策略性地选择“如何显得能力不足”时暴露出可检测的不一致。我们的框架不依赖特定的一致性指标或汇总方法;我们提供了一种简单实现,使用嵌入余弦距离和均值汇总,无需训练数据或针对模型调整。我们在提示式和微调式刻意低表现情境中进行评估,涵盖指令明确和更自然的设置;在其他黑盒方法失效时,C³ 仍能保留分类信号。研究结果揭示了现有刻意低表现检测方法的局限,也表明一致性检查可有效用于危险能力检测。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

August 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

August 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?