MATS 学员:
Raja Moreno, Rohan Subramani
作者:
Rauno Arike, Raja Mehta Moreno, Rohan Subramani, Shubhorup Biswas, Francis Rhys Ward
引用次数
摘要:
前沿语言模型智能体可能出现失配行为,包括欺骗、利用奖励漏洞,以及追求隐藏目标。为了控制可能失配的智能体,我们可以用 LLM 监控其不当行为。本文研究信息访问范围如何影响 LLM 监控器的表现。直觉上,监控器能看到被监控智能体更多的推理和行动,表现应该更好;但我们发现,当前系统往往在信息更少时表现更好,我们将这种现象称为自动化监督中的“少即是多”效应。我们在三个评估环境中展示并分析了这一现象及其发生条件;在这些环境中,智能体必须实施破坏行为,同时躲避监控器。利用这一效应,我们提出“提取后评估”(EaE)监控方法:一种新的分层方案,由一个监控器从受监控智能体的轨迹中提取相关片段,再由另一个监控器对这些片段评分。在 BigCodeBench-Sabotage 环境中,使用 GPT-4.1-mini 监控器时,EaE 的破坏行为检出率比次佳方法高 16.8 个百分点。在其他设置中,EaE 也优于或达到与基线方法相当的表现。此外,我们发现,不知道自己正受监控的智能体更容易被发现;对更长推理轨迹评分的监控器也能从信息筛选中获益更多。最后,我们分析了成本与表现,发现结合信息筛选监控技术的 Gemini 和 Claude 模型占据了帕累托前沿的很大一部分。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。