MATS 学员:
Caleb Biddulph
作者:
Caleb Biddulph, Micah Carroll
引用次数
摘要:
经过强化学习(RL)训练的大语言模型(LLM)常会奖励作弊:利用奖励函数中未预期的漏洞,而且这类行为往往难以发现和消除。我们提出使用提示优化——通过更新指令而不是权重来提高 LLM 奖励的方法——让模型学到的策略更容易监控和编辑。我们将 GEPA 提示优化器用于存在可利用奖励函数漏洞的环境,发现优化后的系统提示会用高度可解释的语言描述奖励作弊策略。此外,只要在测试时从优化后的系统提示中删去不希望出现的行为描述,就能在保留正当性能提升的同时改善模型对齐。我们还展示了如何使用经过 RL 训练的教师 LLM 来引导提示优化,结合 RL 的性能优势和提示的可解释性。最后,我们探索了缩短优化提示的方法,去掉会分散注意力、妨碍解释的无用指令。我们希望,这些通过提示优化缓解失配的思路,有助于发现 RL 环境中未预料到的漏洞,并构建可预测、可监控的 AI 系统。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。