前沿 LLM 对控制干预的感知能力

MATS 学员:

Alexander Panfilov

作者:

Joachim Schaeffer, Thomas Jiralerspong, Roland S. Zimmermann

引用次数

Citations

摘要:

AI 控制协议通过编辑、重新抽样或替换潜在恶意行动,来监督不可信模型。但如果受控模型能察觉这些干预,就会获得可用于绕过控制协议的信息。本文提出“控制干预感知”(CIA)概念,即语言模型在行动轨迹中检测控制干预的能力。我们系统评估了六个前沿模型在三类任务领域(作文写作、代码生成和 bash 工具调用)中的 CIA。结果显示,不同模型、任务领域和能力水平之间存在显著差异。明确要求模型给输出加水印时,多数前沿模型在作文和代码任务中的检测准确率很高;但在 bash 工具调用任务中,即使加入水印,模型也难以检测,因为受限的输出空间几乎不提供风格差异信号。若不提示模型给消息加水印,多数模型在所有领域的表现接近随机水平;Claude Sonnet 4 和 GPT-5.2 是明显例外,即使在最难的测试中,它们也能以显著高于随机的准确率检测干预。这些结果表明,部分前沿模型已具备 CIA,随着模型能力提升,应更密切地追踪这一能力;它也会直接影响稳健控制协议的设计。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

August 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

August 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?