MATS 学员:
Elias Kempf, Bartosz Cywiński
作者:
Elias Kempf, Simon Schrodi, Bartosz Cywiński, Thomas Brox, Neel Nanda, Arthur Conmy
引用次数
摘要:
标准 LLM 评估只测试评估者预先设计的能力或倾向,因此可能漏掉意料之外的差异,例如模型不同版本之间的行为变化,或新出现的失配倾向。模型差异分析旨在自动找出系统性的行为差异,以弥补这一局限。近期方法包括使用 LLM 生成自然语言描述,以及使用稀疏自编码器(SAE)识别可解释特征。然而,目前还没有对这些方法进行系统比较,也没有公认的评估标准。我们针对这一缺口提出评估指标,衡量几项关键要求:泛化性、有趣程度和抽象层级,并据此比较现有方法。结果表明,改进后的 LLM 基线表现可与 SAE 方法相当,且通常能揭示更抽象的行为差异。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。