面向社会模拟的语言模型角色引导

MATS 学员:

Glenn Matlin

作者:

Isaac Song, Mohammed Rehan Parwani, Glenn Matlin, Emile Anand, Akhil Theerthala, Arjun Chatterjee, Anthony Wen-Ming Zang, Maria Kostylew, Yonadav G. Shavit, Sebastien Krier, Mark Riedl

引用次数

Citations

摘要:

由语言模型智能体构建的社会模拟,需要在智能体进入模拟群体前,就能检查它们是否会按照设定角色行动。我们提出一套面向角色条件智能体的激活引导筛查流程:先定义角色档案、提取角色专属方向,再测试四种引导系数,评估角色档案匹配度,并通过或标记每种候选配置。我们在 OLMo-3-7B-Instruct 上使用包含 275 个角色的混合清单进行测试,配合 228 个与角色无关的问题、由 GPT-4.1-mini 提示得到的角色参考答案,以及 GPT-4.1-mini 评审。与先前人格向量工作中的助手轴方向控制相比,角色专属方向获得了更高的评审对齐分数:在测试的系数组合中,平均总分为 63.2,而控制方法为 41.1。角色专属引导也保留了较高的词汇多样性;相比之下,控制方法在较大系数下多样性会显著下降。实际应用中,逐个角色筛查是这套方法的主要产出:多数角色会随着引导增强而改善,但有 38 个角色在测量的六个维度上都持续退步。这说明,模拟构建者应为每个角色单独选择引导系数,而不是统一采用较强设置。我们在文中提供了代码和评估产物,链接为 this URL。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?