转移梯度：理解防御训练方法如何保护语言模型的完整性

正向预防性引导（PPS）和接种式提示（IP）这两种防御训练方法看似通过相似过程取得了出人意料的效果：它们都会在训练时把能够诱发某种特征的对象加入大语言模型（LLM），同时又能防止模型学到该特征。如此有效不免让人追问：它们是如何起作用的？机制是否相同？我们以“邪恶倾向”作为案例特征，对两种方法进行了行为和机制层面的比较。主要发现是，PPS 和 IP 的防御效果来自不同机制。在行为上，我们发现两者都不是单纯的联想机制；PPS 既能防止模型学到该特征，也能主动降低已有的特征表达，而 IP 对已通过微调表现出该特征的模型无效。这种行为差异也体现在机制上：PPS 会让激活梯度沿 PPS 向量轴朝削弱方向移动。当 PPS 向量与表达某一特征的轴对齐时，它甚至可以逆转梯度压力，降低而非提高该轴上的激活。相比之下，IP 仍然难以用精确机制解释。直接余弦相似度分析显示，IP 的梯度特征与 PPS 明显不同；定性分析则表明，IP 产生的梯度更为分散。此外，在包含特征表达的数据上，IP 会降低下一个 token 的预测损失，而 PPS 未必会，因此符合一种解释：IP 会“化解”训练数据中对该特征的表达。综合来看，我们的分析揭示了两种方法各自的作用机制，也指出 IP 的机制仍有待进一步研究。