MATS 学员:
Jan Bauer, Celeste De Schamphelaere
作者:
Jan Bauer, Celeste De Schamphelaere, Adam Karvonen, Niclas Luick, Neel Nanda
引用次数
摘要:
激活值解读器(AO)有望用于解释残差流中的激活值,但当前方法存在幻觉和表述含糊等问题。此外,文本反演造成的评估混杂也让 AO 难以评估。为此,我们从四个方面改进 AO 的训练流程:使用符合当前策略的生成轨迹、改进对话数据集、输入更多层的激活值,以及改进注入公式。模型能力的提升幅度有限,但使用体验和质量方面的改善相当明显。此外,我们开源了首个全面评估 AO 质量的评测套件,称为 AObench。我们希望这项工作能为改进 AO 及其他可扩展、端到端可解释性范式中的模型奠定基础。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。