MATS 学员:
Alexander Panfilov
作者:
Joachim Schaeffer, Thomas Jiralerspong, Roland S. Zimmermann
引用次数
摘要:
AI 控制协议通过编辑、重新抽样或替换潜在恶意行动,来监督不可信模型。但如果受控模型能察觉这些干预,就会获得可用于绕过控制协议的信息。本文提出“控制干预感知”(CIA)概念,即语言模型在行动轨迹中检测控制干预的能力。我们系统评估了六个前沿模型在三类任务领域(作文写作、代码生成和 bash 工具调用)中的 CIA。结果显示,不同模型、任务领域和能力水平之间存在显著差异。明确要求模型给输出加水印时,多数前沿模型在作文和代码任务中的检测准确率很高;但在 bash 工具调用任务中,即使加入水印,模型也难以检测,因为受限的输出空间几乎不提供风格差异信号。若不提示模型给消息加水印,多数模型在所有领域的表现接近随机水平;Claude Sonnet 4 和 GPT-5.2 是明显例外,即使在最难的测试中,它们也能以显著高于随机的准确率检测干预。这些结果表明,部分前沿模型已具备 CIA,随着模型能力提升,应更密切地追踪这一能力;它也会直接影响稳健控制协议的设计。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。