差异挖掘：通过 logit 差异识别微调目标

微调已成为调整语言模型既有行为、引入新行为的标准方法，但微调后究竟出现了哪些行为，往往并不清楚。随着模型能力日益增强，更好地理解微调过程变得越来越重要，尤其因为微调可能带来不希望出现的行为。本文提出差异挖掘（Diff Mining），一种简单有效的框架，通过比较微调模型和基础模型的 logit，识别微调后学到的内容。Diff Mining 能找出微调模型中被强化或抑制的显著 token，即使文本与微调领域无关，这些 token 也能构成模型训练经历的“指纹”。与许多依赖模型内部信息的差异分析方法不同，Diff Mining 只需访问输出 logit，且可扩展到大型模型。框架分为两个模块化步骤：（一）在参考语料上提取微调模型与基础模型逐个上下文的 logit 差异；（二）汇总这些信号，形成一组可解释的 token 来表征微调过程。汇总时，我们探索了简单的 Top-K 频率方法，以及用于将多个微调目标分解为不同 token 簇的非负矩阵分解（NMF）。实验表明，Diff Mining 在多种设置中都有效：在检测微调领域时，无论是识别相关 token，还是让可解释性智能体使用提取出的 token 集合完成下游任务，它都显著优于最先进的模型差异分析方法；对于植入偏见的模型，它无需定向探测就能识别出三分之一以上的偏见。总体而言，该框架有望用于开发检测微调目标的审计工具。