MATS 学员:
Simon Storf, Rich Barton-Cooper
作者:
Simon Storf, Rich Barton-Cooper, James Peters-Gill, Marius Hobbhahn
引用次数
摘要:
要在自主场景中安全部署大语言模型(LLM)智能体,需要可靠的监督机制。一个核心挑战是检测谋划行为,即智能体暗中追求失配目标。一种缓解风险的方法是使用基于 LLM 的监控器,根据外部可观察到的输入和输出来检查智能体行为是否可疑。我们研究宪法式黑盒监控器:根据自然语言行为规范生成合成数据,并用其优化提示式分类器;监控器仅能访问外部可观察到的输入和输出。我们提出两种生成合成智能体轨迹的流程:迭代优化式 STRIDE 和智能体—环境模拟式 Gloom,并分别用两者生成 1,000 个样本。我们通过提示词扫描、人工优化和自动提示优化来调整前沿 LLM 监控器,并在 ControlArena 的 7,500 条留出轨迹上评估。ControlArena 包含更贴近现实的真实环境,智能体会在其中执行任务。结果表明,仅根据合成数据挑选出的监控器也能泛化到更真实的环境,并捕捉到有意义的谋划信号。不过,在我们的设置中,性能很快达到上限:简单的提示词扫描就能匹配更复杂的优化结果。继续优化没有带来改进,反而导致过拟合。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。