对齐、模型生物与玩具模型中的监督微调经验

MATS 学员:

Anton de la Fuente

作者:

Anton de la Fuente, Arthur Conmy

引用次数

Citations

摘要:

对齐训练、模型生物和玩具模型通常被视为相互独立的研究领域,但它们的项目都经常使用监督微调(SFT)来实现相似目标。既然目标相通,就应该检验一个领域的经验能否迁移到其他领域。我们研究了三种迁移:每种都把一个 SFT 场景中总结出的经验带到另一个场景中验证。第一,我们将对齐训练中的行为泛化经验用于玩具模型。正如 Teaching Claude Why 所示,训练模型理解某种行为背后的原因,比只训练它模仿行为示例更有助于泛化。第二,我们把模型生物中有关能力保留的经验,迁移到 Model-Spec Midtraining 对齐场景。使用非学生模型生成的输出(非本模型输出)进行 SFT 可能损害模型能力;在训练中混入无害的本模型输出(即符合当前策略的数据),可以避免大部分损害,同时仍让模型学会目标行为。第三,我们把模型生物中的稳健性经验迁移到同一对齐场景。我们发现,后续进行无害的 SFT,可能在保留模型能力的同时抹去其对齐行为。这说明,仅仅保留能力并不能保证模型经后续训练仍然稳健。这项工作展示了不同研究领域之间迁移 SFT 经验如何相互促进,也说明研究者可以更多借鉴本领域之外的方法。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?