MATS 学员:
Glenn Matlin
作者:
Isaac Song, Mohammed Rehan Parwani, Glenn Matlin, Emile Anand, Akhil Theerthala, Arjun Chatterjee, Anthony Wen-Ming Zang, Maria Kostylew, Yonadav G. Shavit, Sebastien Krier, Mark Riedl
引用次数
摘要:
由语言模型智能体构建的社会模拟,需要在智能体进入模拟群体前,就能检查它们是否会按照设定角色行动。我们提出一套面向角色条件智能体的激活引导筛查流程:先定义角色档案、提取角色专属方向,再测试四种引导系数,评估角色档案匹配度,并通过或标记每种候选配置。我们在 OLMo-3-7B-Instruct 上使用包含 275 个角色的混合清单进行测试,配合 228 个与角色无关的问题、由 GPT-4.1-mini 提示得到的角色参考答案,以及 GPT-4.1-mini 评审。与先前人格向量工作中的助手轴方向控制相比,角色专属方向获得了更高的评审对齐分数:在测试的系数组合中,平均总分为 63.2,而控制方法为 41.1。角色专属引导也保留了较高的词汇多样性;相比之下,控制方法在较大系数下多样性会显著下降。实际应用中,逐个角色筛查是这套方法的主要产出:多数角色会随着引导增强而改善,但有 38 个角色在测量的六个维度上都持续退步。这说明,模拟构建者应为每个角色单独选择引导系数,而不是统一采用较强设置。我们在文中提供了代码和评估产物,链接为 this URL。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。