提示优化让失配行为更易识别

MATS 学员:

Caleb Biddulph

作者:

Caleb Biddulph, Micah Carroll

引用次数

0 Citations

摘要:

经过强化学习(RL)训练的大语言模型(LLM)常会奖励作弊:利用奖励函数中未预期的漏洞,而且这类行为往往难以发现和消除。我们提出使用提示优化——通过更新指令而不是权重来提高 LLM 奖励的方法——让模型学到的策略更容易监控和编辑。我们将 GEPA 提示优化器用于存在可利用奖励函数漏洞的环境,发现优化后的系统提示会用高度可解释的语言描述奖励作弊策略。此外,只要在测试时从优化后的系统提示中删去不希望出现的行为描述,就能在保留正当性能提升的同时改善模型对齐。我们还展示了如何使用经过 RL 训练的教师 LLM 来引导提示优化,结合 RL 的性能优势和提示的可解释性。最后,我们探索了缩短优化提示的方法,去掉会分散注意力、妨碍解释的无用指令。我们希望,这些通过提示优化缓解失配的思路,有助于发现 RL 环境中未预料到的漏洞,并构建可预测、可监控的 AI 系统。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?