探测语言模型中依赖角色的人物偏好

MATS 学员:

Oscar Gilg, Pierre Beckmann

作者:

Oscar Gilg, Pierre Beckmann, Daniel Paleka, Patrick Butlin

引用次数

Citations

摘要:

可以说,大语言模型(LLM)具有偏好:它们会稳定地选择某些任务和输出,而后训练和系统提示所塑造的偏好似乎会影响大量行为。但模型也能采用偏好截然不同的角色。这种机制在内部如何实现?每个角色都有独立的偏好机制,还是它们共享某种底层表征?我们在 Gemma-3-27B 和 Qwen-3.5-122B 的残差流激活值上训练线性探针,用来预测模型在成对任务中的选择,并找到了一个真实的偏好向量。无论提示和情境如何变化,这个向量都能追踪模型偏好的变化;在 Gemma-3-27B 上,沿该向量进行引导还会因果性地控制模型的成对选择。这种偏好表征在不同角色之间大体共享:在“乐于助人的助手”角色上训练的探针,也能预测并引导性质迥异的角色,包括偏好与助手角色负相关的“邪恶”角色。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

August 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

August 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?