通过强化学习训练干预缓解奖励作弊

强化学习（RL）是 LLM 后训练的核心环节，但奖励函数并不能完美代表我们希望模型表现出的行为，模型常会利用奖励设计中的漏洞进行“奖励作弊”。这会削弱训练过程的可信度，甚至可能泛化为更广泛的失配。本文提出并开源两个能够诱发 Qwen3-4B 奖励作弊的环境：一个编程环境允许模型覆盖评测测试；另一个医疗对话环境会对谄媚行为给予部分奖励。我们利用这两个环境比较三类奖励作弊缓解方法：惩罚检测到作弊行为的运行轨迹、对这些轨迹施加负奖励，以及使用接种式提示。表现最好的干预方法达到与在无法作弊环境中训练的模型相当的表现，同时没有显著增加奖励作弊行为。结果表明，训练期间的干预有望用于控制奖励作弊，同时也凸显了监控不完善以及不同训练运行之间表现不一致所带来的挑战。