信息访问范围如何影响 LLM 监控器检测破坏行为的能力?

MATS 学员:

Raja Moreno, Rohan Subramani

作者:

Rauno Arike, Raja Mehta Moreno, Rohan Subramani, Shubhorup Biswas, Francis Rhys Ward

引用次数

2 Citations

摘要:

前沿语言模型智能体可能出现失配行为,包括欺骗、利用奖励漏洞,以及追求隐藏目标。为了控制可能失配的智能体,我们可以用 LLM 监控其不当行为。本文研究信息访问范围如何影响 LLM 监控器的表现。直觉上,监控器能看到被监控智能体更多的推理和行动,表现应该更好;但我们发现,当前系统往往在信息更少时表现更好,我们将这种现象称为自动化监督中的“少即是多”效应。我们在三个评估环境中展示并分析了这一现象及其发生条件;在这些环境中,智能体必须实施破坏行为,同时躲避监控器。利用这一效应,我们提出“提取后评估”(EaE)监控方法:一种新的分层方案,由一个监控器从受监控智能体的轨迹中提取相关片段,再由另一个监控器对这些片段评分。在 BigCodeBench-Sabotage 环境中,使用 GPT-4.1-mini 监控器时,EaE 的破坏行为检出率比次佳方法高 16.8 个百分点。在其他设置中,EaE 也优于或达到与基线方法相当的表现。此外,我们发现,不知道自己正受监控的智能体更容易被发现;对更长推理轨迹评分的监控器也能从信息筛选中获益更多。最后,我们分析了成本与表现,发现结合信息筛选监控技术的 Gemini 和 Claude 模型占据了帕累托前沿的很大一部分。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?