合成角色预训练:从第一个 token 开始对齐

MATS 学员:

Julian Minder

作者:

Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Roland Aydin, Robert West

引用次数

Citations

摘要:

随着基于语言模型的 AI 越来越多地用于自主场景,让模型的目标和价值观与人类保持一致变得至关重要。如今,对齐训练以及助手身份通常要等预训练完成、模型行为倾向已经形成后才引入。这样一来,价值观可能只是覆盖在模型表面的一层薄层,也更容易在之后发生失配。我们提出另一种思路:合成角色预训练(SPP),从预训练的第一个 token 起就植入预期的助手角色。首先,我们依据一份规范性价值宪章,为预训练文档添加符合价值观的第一人称反思。然后,使用标准交叉熵损失,同时在原始预训练文档及其反思文本上进行预训练,让预期角色融入众多角色之中。最后,我们用用户与助手的对话数据进行后训练,将该角色绑定为助手身份;我们称这一步为“角色绑定”。我们使用 5,000 亿个 token 对参数量最高达 30 亿的模型进行预训练,结果显示,SPP 能提升模型遵循宪章的能力和抵御越狱攻击的韧性,降低模型在分布外道德两难问题中的失配率,同时保留原有能力。介入时机很重要:与从预训练之初就开始对齐相比,只在预训练末期加入 SPP,模型遵循宪章的程度较低,价值优先级没有改变,在道德两难中的选择也较少符合预期。这种优势依赖角色绑定,而且会随着预训练算力增加而扩大。总体而言,研究表明,尽早塑造价值观对模型对齐至关重要,并验证了在预训练阶段介入角色塑造是一种有效方法。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

August 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

August 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?