面向模糊任务的分布式 AI 控制

部署在 AI 安全研究等关键领域的 AI 模型，可能因失配而暗中破坏工作。分布式 AI 控制是 AI 安全的一个子领域，研究如何降低 AI 在长期部署中逐步积累的破坏风险（即分布式威胁）。这类风险在模糊任务上尤其棘手，因为这类任务难以评分，或需要依赖直觉判断。为研究模糊任务中的分布式威胁，我们提出一个框架，将 AI 控制视为蓝队与红队之间的对抗博弈。蓝队使用能力较弱的可信模型构建评分器，并希望借此训练一个更强、可能具有颠覆倾向的模型；若模型确有这种倾向，训练应能将其消除。红队则尝试寻找能在弱评分器下得高分、因而可能不会在训练中被剔除、但实际表现却很差的模型行为。我们在一项任务上测试了该框架：为近期机器学习论文中的研究问题撰写实验方案，并以可读取原论文的语言模型作为“真实表现”的代理评分器。红队使用多目标进化式提示优化找到了颠覆性行为。我们发现，Opus 4.6 能写出在代理真实评分器看来比 GPT-OSS-20B 更差的方案，但弱评分器给它的分数却与 Opus 4.6 的最佳方案一样高。随后，我们为蓝队提出一种对抗优化算法，用来找到更稳健的弱模型提示；红队的优化无法攻破由该算法生成的蓝队提示。