MATS 学员:
Yulong Lin, Benjamin Arnav
作者:
Lin Yulong, Pablo Bernabeu-Perez, Benjamin Arnav, Lennie Wells, Mary Phuong
引用次数
摘要:
随着语言模型能力提升,准确评估其能力对于安全决策至关重要。如果模型能在危险能力评估中故意表现不佳(即“刻意低表现”),就可能逃过针对其真实能力水平设计的安全措施。我们提出跨上下文一致性(C³),一种通用的无监督黑盒检测框架,利用了一个根本差异:真正缺乏能力的模型,会在改写后的问题中持续表现出困惑;而有能力却假装不行的模型,会在策略性地选择“如何显得能力不足”时暴露出可检测的不一致。我们的框架不依赖特定的一致性指标或汇总方法;我们提供了一种简单实现,使用嵌入余弦距离和均值汇总,无需训练数据或针对模型调整。我们在提示式和微调式刻意低表现情境中进行评估,涵盖指令明确和更自然的设置;在其他黑盒方法失效时,C³ 仍能保留分类信号。研究结果揭示了现有刻意低表现检测方法的局限,也表明一致性检查可有效用于危险能力检测。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。