用提示层面的策略性欺骗压力测试对齐审计

对齐审计旨在稳健识别具备策略意识、会隐藏目标的失配模型。尽管威胁模型中包含欺骗行为，现有审计方法却从未针对欺骗策略接受过系统性压力测试。我们针对这一缺口，构建自动红队流程，生成专门针对白盒和黑盒审计方法的欺骗策略（以系统提示的形式）。我们使用会保守秘密的模型生物，对助手预填充、用户角色采样、稀疏自编码器和 token 嵌入相似度等方法进行压力测试；自动红队流程找到了能同时欺骗黑盒和白盒方法的提示，使其自信地作出错误猜测。我们的结果首次记录了基于激活值的策略性欺骗证据，并表明，如果模型能力足够强，当前黑盒和白盒方法可能无法稳健应对。