推理模型难以控制自己的思维链

思维链（CoT）监控是一种有前景的工具，可用于发现现代推理模型的不当行为并理解其动机。然而，如果模型能控制自己在 CoT 中说出什么内容，CoT 监控能力就可能被削弱。我们提出 CoT-Control 评估套件，用于衡量这种不良能力——CoT 可控性。套件包含一些任务，要求模型在遵守 CoT 指令的同时解决问题，例如回答遗传学问题时不能使用“染色体”一词。我们发现，推理模型控制 CoT 的能力显著低于控制最终输出的能力。例如，Claude Sonnet 4.5 只有 2.7% 的时候能控制 CoT，但控制最终输出时的成功率为 61.9%。我们还发现，较大模型的 CoT 可控性更高；随着强化学习训练增加、测试时算力提高、问题难度上升，可控性会降低。即使模型受到激励（而非直接要求）去规避 CoT 监控，可控性仍然较低；不过，当模型知道自己正在受监控时，可控性会略有提高。通过对抗式提示优化来诱导模型控制 CoT，也无法显著提升可控性。结果让我们谨慎地乐观认为，目前 CoT 可控性不太可能成为 CoT 可监控性的失效模式。但其可控性低的机制尚未得到充分理解。鉴于 CoT 可控性对维持 CoT 可监控性很重要，我们建议前沿实验室在未来模型中持续追踪这一指标。