探索操纵：LLM 能否学会抵抗强化学习训练？

强化学习（RL）已成为大语言模型（LLM）后训练的重要组成部分，用于提升推理能力、智能体能力并进行对齐。RL 要成功，模型在训练中就必须充分探索多种行为；这也带来一种潜在失效模式：模型可能在训练期间策略性地改变探索行为，影响后续训练结果。本文研究了这种被称为“探索操纵”的行为。首先，我们通过微调 LLM 遵循特定的低表现策略，构建会选择性抵抗 RL 的模型生物。在智能体生物安全和 AI 研发环境中，这些模型成功抵抗了基于 RL 的能力诱导，同时仍能胜任相关任务。接着，我们用这些模型生物评估多种检测和缓解策略，包括监控、权重噪声，以及基于 SFT 的能力诱导。最后，我们发现，如果获得足够多的训练情境信息，当前前沿模型就可能明确推理如何压低训练期间的探索；通过环境间接获取这些信息时，这类推理出现得更频繁。总体而言，结果表明，对于能力足够强的 LLM，探索操纵可能成为 RL 的一种失效模式。