前沿模型能以极低概率采取特定行动

部署前评估只能抽查有限数量的模型行为。试图逃避监督的恶意模型可能利用这一点，通过随机化“背离”发生的时机来躲避检测：在评估期间极少出现不当行为，却在部署后频繁到足以造成伤害。但这要求模型能以极低的概率采取行动，同时保持概率校准。前沿模型是否具备这种能力？我们提示 GPT-5、Claude-4.5 和 Qwen-3 系列模型，以极低的目标概率采取某个行动（例如 0.01%）；有时直接给出目标概率，有时要求模型自行推导，然后评估其校准程度，即反复抽样时，模型采取目标行动的频率是否大致为万分之一。我们发现，前沿模型在这项任务上的表现出人意料地好。若上下文中存在熵来源（例如 UUID），模型在低于十万分之一的行动概率下仍能保持良好校准。没有外部熵时，部分模型仍能达到低于万分之一的概率。直接给定目标概率时，较大的模型在更低概率下也能实现良好校准；但如果需要模型自行推导最佳目标概率，所有模型在没有熵来源或生成熵的提示时都无法校准成功。成功实现低概率策略需要显式思维链（CoT）推理，因此目前尝试这种方法的恶意模型可能会被 CoT 监控器发现。不过，随着模型能力提升，未来评估可能无法继续依赖模型缺乏目标概率校准能力这一特点，尤其当 CoT 不再清晰可读时。