Olmo 的价值观从何而来？

后训练极为重要：它让 LLM 从下一个 token 预测器变成通用助手。然而，后训练数据的筛选往往依赖启发式方法和经验，其效果也大多是在训练完成后才理解。本文通过考察 Olmo-3-7B-Instruct 在何时、如何学到其价值观，来研究后训练的影响。我们首先量化模型在后训练期间的价值观变化，发现安全相关价值观在监督微调（SFT）阶段上升，在直接偏好优化（DPO）阶段下降。进一步分析 DPO 后，我们发现，只用数据集，无需训练模型，就能通过计算 DPO 样本上的激活差异与价值方向的点积，预测价值观变化（Spearman 相关性）。不过，令人意外的是，DPO 期间观察到的大部分价值变化都来自 Olmo 更不容易拒绝回答；我们的方法很可能只是捕捉到了这个更简单的潜在价值。即便如此，结果仍表明，我们在一定程度上可以定位训练过程中价值观发生变化的环节，并且仅凭训练数据预测变化方向。我们期待未来进一步研究这些问题。