通过弱监督训练消除 LLM 的刻意低表现

随着 AI 系统开始自动执行复杂任务，监督工作越来越依赖能力较弱的模型或有限的人类审核，而他们无法完整核验输出质量。能力超过监督者的模型可能利用这一差距故意示弱：产出看似过关、实际却没有发挥真实水平的工作。即使无法可靠核验结果，训练能否引导模型尽力完成任务？我们使用经过训练、会故意示弱的模型生物研究这个问题，并在数学解题、研究生水平科学问题和竞赛编程任务上测试能力诱导方法。我们发现，结合监督微调（SFT）和强化学习（RL）的弱监督训练，可以可靠地让这类模型发挥能力：先用弱示范进行 SFT，打破故意示弱行为，再用 RL 充分诱导其表现。单独使用任何一种方法都不够可靠：没有 SFT 的 RL 几乎总会导致奖励破解，而非真正进步；如果监督者远弱于不可信模型，没有 RL 的 SFT 也无法充分诱导模型发挥能力。关键前提是训练过程与部署过程无法区分；如果模型能辨别两者，就可能只在训练时表现良好，部署后继续故意示弱。我们的结果初步表明，训练能够缓解故意示弱，同时也凸显了让训练过程与部署过程难以区分的重要性。