MATS 学员:
Atticus Wang
作者:
Atticus Wang, Iván Arcuschin, Arthur Conmy
引用次数
摘要:
奖励模型是大语言模型(LLM)后训练的核心组成部分。但已有研究表明,它们可能会奖励长度、格式、幻觉和谄媚等无关或不良特征。本文提出并研究了一个问题:如何自动发现自然语言中的奖励模型偏差?我们采用一种简单方法,让 LLM 反复提出并完善候选偏差。该方法既能找回已知偏差,也能发现新偏差。例如,我们发现,领先的开放权重奖励模型 Skywork-V2-8B 经常错误地偏好多余空格,以及包含幻觉内容的回答。此外,我们提供证据表明,迭代式演化搜索优于直接的 best-of-N 搜索,并通过人工植入的合成偏差验证了流程的召回率。我们希望这项工作能推动使用自动化可解释性方法改进奖励模型的后续研究。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。