针对可信监控器的自适应攻击会破坏 AI 控制协议

AI 控制协议旨在通过防御机制，阻止不可信 LLM 智能体在自主场景中造成伤害。以往研究将其视为安全问题，并使用能够利用部署情境、暗中完成有害附带任务（例如植入后门）的攻击进行压力测试。实际上，大多数 AI 控制协议都依赖 LLM 监控器，而监控器可能成为系统失效的关键点。本文研究不可信模型发起的自适应攻击：攻击者了解协议和监控模型。如果不可信模型的知识截止时间较晚，或能自主搜索相关信息，这种情况完全可能发生。我们构造了一种简单的自适应攻击：在模型输出中植入已知或零样本提示注入。使用这一策略，前沿模型在两个主要 AI 控制基准中持续躲过不同监控器并完成恶意任务。只要当前协议依赖监控器，这种攻击就普遍有效。此外，近期的“暂缓并重新抽样”（Defer-to-Resample）协议甚至适得其反：重新抽样会放大提示注入，实质上将其变成 best-of-N 攻击。总体而言，针对监控模型的自适应攻击暴露了当前控制协议中的重大盲点，应成为未来 AI 控制机制评估的标准组成部分。