涌现失配容易出现，狭义失配难以维持

在狭窄范围的有害数据集上微调大语言模型，可能导致涌现失配：模型会在许多无关情境中给出典型的“邪恶”回答。令人担忧的是，一项预注册专家调查也没能预测到这一结果，说明我们对 LLM 学习过程中的归纳偏置及泛化机制了解不足。我们以涌现失配（EM）为案例，研究这些归纳偏置。我们发现，模型确实可以只学会狭义数据集对应的任务，但一般性解法似乎更稳定、也更高效。为验证这一点，我们基于已有结果开展研究：不同 EM 微调最终会收敛到相同的一般性失配线性表征，该表征可用于介导失配行为。我们还发现狭义解法也存在相应的线性表征，并且可以通过加入 KL 散度损失来学到。比较这些表征后，我们发现一般性失配的损失更低、对扰动更稳健，在预训练分布中也更具影响力。这项工作定位出一个可用于监测和缓解一般性失配的具体表征。更广泛地说，它提供了详细案例和初步指标，帮助研究归纳偏置如何影响 LLM 的泛化。我们已开源全部代码、数据集和模型微调版本。