“只看思维链”何时失灵：压力测试 CoT 监控器的五项任务

思维链（CoT）推理已成为前沿语言模型的标准功能，而监控 CoT 是我们目前发现模型不当行为的最佳方法之一。现有监控基准已被当前 LLM 轻松通过：对于简单检测任务，只需将 CoT 输入 LLM 就往往足够。不过，我们认为，更强大的 CoT 工具能进一步帮助我们理解和控制语言模型行为。为推动开发超越文本表层检查的监控工具，我们提出五项客观任务，对 CoT 监控器进行压力测试：预测推理何时结束、检测自我破坏行为、估计被迫作答的熵、识别谄媚，以及标记异常答案。结果显示，使用特定任务数据训练的定制方法能够取得较好表现，但现成方法和标准 LLM 监控器难以泛化。通过提供这些数据集和基线结果，我们为开发更稳健的监控技术建立了一个测试平台。