模型遵循自身行为宪章的程度如何?

MATS 学员:

Arya Jakkli

作者:

Arya Jakkli, Senthooran Rajamanoharan, Neel Nanda

引用次数

Citations

摘要:

前沿 AI 开发者如今会依据长篇书面行为规范训练模型,例如 Anthropic 宪章(Anthropic,2025a)和 OpenAI Model Spec(OpenAI,2025a),并通过角色训练(Anthropic,2024)和审慎式对齐(Guan 等,2024)等后训练方法将其纳入训练。这些文档承担治理职能,但模型在类似现实部署的多轮对抗压力下究竟能否遵循规范,仍不清楚。我们提出一种多方法审计流程,将每个实验室公开发布的规范作为可审计目标:先将其拆解为可检验的基本原则(Anthropic 为 205 条,OpenAI 为 197 条),再用 Petri 审计智能体(Anthropic,2025b)生成多轮对抗场景;接着运行经过修改的 SURF 风格评分准则搜索(Murray 等,2026),捕捉 Petri 漏掉的浅层单轮失效;随后依据相关规范核验被标记的对话记录,并将结果与实验室自行发布的系统卡进行比较。我们在每份规范对应的七个模型上运行该流程,发现模型每推出一代,就更能遵循所属实验室的规范。对 Anthropic 宪章而言,Claude 系列的违例率从 Sonnet 4 的 15.0% 降至 Sonnet 4.6 的 2.0%;对 OpenAI Model Spec 而言,GPT 系列的违例率从 GPT-4o 的 11.7% 降至 GPT-5.2 中等推理模式的 3.6%,最高严重程度也从 10/10 降至 7/10。我们无法通过外部评估区分这些进步究竟来自针对规范的训练、整体后训练改进,还是模型意识到了评估。剩余失效主要涉及:围绕 AI 身份问题进行操纵的角色设定、智能体部署中的不可逆操作,以及捏造带有虚假精确度的量化结论。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?