MATS 学员:
Oscar Gilg, Pierre Beckmann
作者:
Oscar Gilg, Pierre Beckmann, Daniel Paleka, Patrick Butlin
引用次数
摘要:
可以说,大语言模型(LLM)具有偏好:它们会稳定地选择某些任务和输出,而后训练和系统提示所塑造的偏好似乎会影响大量行为。但模型也能采用偏好截然不同的角色。这种机制在内部如何实现?每个角色都有独立的偏好机制,还是它们共享某种底层表征?我们在 Gemma-3-27B 和 Qwen-3.5-122B 的残差流激活值上训练线性探针,用来预测模型在成对任务中的选择,并找到了一个真实的偏好向量。无论提示和情境如何变化,这个向量都能追踪模型偏好的变化;在 Gemma-3-27B 上,沿该向量进行引导还会因果性地控制模型的成对选择。这种偏好表征在不同角色之间大体共享:在“乐于助人的助手”角色上训练的探针,也能预测并引导性质迥异的角色,包括偏好与助手角色负相关的“邪恶”角色。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。