MATS 学员:
Camila Blank, Agam Bhatia
作者:
Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda
引用次数
摘要:
“隐性学习”指的是,学生语言模型在教师模型输出上微调后,会学到教师的特征(例如教师的系统提示让它偏爱猫头鹰),尽管这些输出在语义上与该特征无关。语义上没有含义的数据如何传递特定的语义特征,仍未得到充分解释。本文发现,隐性学习由单个引导向量介导,也就是加到模型激活值上的一个向量。我们在两个开源模型上发现,教师的系统提示可以很好地近似为引导向量,而学生模型在微调过程中学到方向一致的向量后,行为也随之改变。无法用引导向量很好近似的系统提示,不会引发隐性学习。这是“引导向量蒸馏”的一个特例:学生模型在经过引导的教师输出上训练后,学会模仿这种引导。我们用多种语义向量和随机向量展示了引导向量蒸馏。将语义向量加到模型激活值中,既会产生不同模型间共有的行为影响,也会产生模型特有(即非语义)的影响;因此,非语义的生成数据也能传递具有语义影响的向量,从而实现隐性学习。这也解释了隐性学习为何无法在模型之间迁移。我们发现,自适应优化器是语言模型发生隐性学习的必要条件:经过引导的数据所产生的激活梯度,会沿引导方向带有微小但稳定的分量;非自适应优化器则会让异常梯度占据主导,阻碍这一过程。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。