MATS 学员:
Akshat Naik
作者:
Aditya Sinha, Akshat Naik, Victor Gillioz, Simon Storf, Kilian Merkelbach, Rich Barton-Cooper, Axel Højmark, Marius Hobbhahn
引用次数
摘要:
随着自主智能体越来越能胜任现实任务,区分谋划行为与正常完成任务,可能会成为 AI 控制的核心问题。现有监控器通常依赖思维链、内部激活值或通过提示调用前沿模型;这些信息或能力在部署时可能无法获取、不够可靠或成本过高。本文研究仅分析行动的审慎型监控器:训练较小的开放权重模型,根据智能体的行动轨迹识别谋划和破坏行为,无须访问受监控智能体的推理或模型内部信息。我们的方法受到审慎式对齐的启发:先用谋划行为规范引导前沿教师模型生成结构化理由,再交由独立评审模型筛选,最后通过监督微调和强化学习,将质量最高的理由蒸馏到开放权重监控器中。我们在五个数据集上训练,并在六个分布外智能体失配基准上评估。结果表明,将该方法应用于 Qwen3.5-27B 后,其表现超过所有作为提示式监控器测试的低成本前沿模型(Gemini 3.1 Flash-Lite、GPT-5.4 Nano 和 Claude Haiku 4.5),也超过 Gemini 2.5 Pro;同时,按每千次评估的 token 计费美元计算,其边际推理成本更低。表现更强的提示式前沿监控器(Gemini 3.1 Pro、GPT-5.4、Claude Sonnet 4.6 和 Claude Opus 4.6)准确率更高,但边际推理成本约为其 16 至 34 倍。在我们评估的监控器中,有几种经过训练的监控器处于实测成本—性能帕累托前沿,因此可作为提示式前沿模型的低成本、低误报率替代方案。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。