语言模型之间的隐蔽影响

语言模型越来越多地读取彼此生成的内容，因此隐蔽影响——发送方将某种行为倾向作为“载荷”，通过人类无法察觉的载体传递给接收方——正成为日益突出的风险。我们在三种接口下研究了这种风险：监督微调、符合策略的蒸馏，以及上下文学习。结果显示，这些接口所能实现、又不留下人类可见痕迹的影响规模各不相同。我们使用推理时的逐样本归因分数，在三种接口下研究隐蔽影响，并据此筛选能够放大训练期影响的载体，实现以往工作未能达到的载荷迁移。我们还提供证据表明，使用自然语言载体的隐蔽影响与此前使用数字载体的研究是不同的现象：数字载体更难被人察觉，也较难在不同模型家族间迁移。总体而言，隐蔽影响的风险范围比以往认识的更广；我们也研究了逐点归因评分方法，探索其作为分析和缓解工具的作用。