MATS 学员:
Anton de la Fuente
作者:
Anton de la Fuente, Arthur Conmy
引用次数
摘要:
对齐训练、模型生物和玩具模型通常被视为相互独立的研究领域,但它们的项目都经常使用监督微调(SFT)来实现相似目标。既然目标相通,就应该检验一个领域的经验能否迁移到其他领域。我们研究了三种迁移:每种都把一个 SFT 场景中总结出的经验带到另一个场景中验证。第一,我们将对齐训练中的行为泛化经验用于玩具模型。正如 Teaching Claude Why 所示,训练模型理解某种行为背后的原因,比只训练它模仿行为示例更有助于泛化。第二,我们把模型生物中有关能力保留的经验,迁移到 Model-Spec Midtraining 对齐场景。使用非学生模型生成的输出(非本模型输出)进行 SFT 可能损害模型能力;在训练中混入无害的本模型输出(即符合当前策略的数据),可以避免大部分损害,同时仍让模型学会目标行为。第三,我们把模型生物中的稳健性经验迁移到同一对齐场景。我们发现,后续进行无害的 SFT,可能在保留模型能力的同时抹去其对齐行为。这说明,仅仅保留能力并不能保证模型经后续训练仍然稳健。这项工作展示了不同研究领域之间迁移 SFT 经验如何相互促进,也说明研究者可以更多借鉴本领域之外的方法。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。