MATS 学员:
David Chanin
作者:
David Chanin, Adrià Garriga-Alonso
引用次数
摘要:
要改进稀疏自编码器(SAE),需要能够准确验证架构创新的基准。但目前针对 LLM 的 SAE 基准噪声往往太大,难以区分架构改进;现有合成数据实验规模又太小、与现实差距太大,无法提供有意义的比较。我们推出 SynthSAEBench 工具包,可生成包含现实特征属性的大规模合成数据,包括相关性、层级结构和特征叠加;同时提供标准化基准模型 SynthSAEBench-16k,用于直接比较不同 SAE 架构。该基准重现了此前在 LLM SAE 中观察到的多种现象,包括重构指标与潜在特征质量指标相互脱节、SAE 探针表现不佳,以及由 L0 介导的精确率—召回率权衡。我们还利用该基准发现一种新的失效模式:Matching Pursuit SAE 会利用特征叠加噪声提高重构效果,却没有学到真实特征。这表明表达能力更强的编码器很容易过拟合。SynthSAEBench 补充了 LLM 基准,提供真实特征和可控消融,帮助研究者在扩展到 LLM 之前准确诊断 SAE 失效模式并验证架构改进。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。