关于先进 AI 与战争风险的研究几乎都聚焦于大国冲突，理由是核武器国家之间的对抗最可能造成灾难性或生存性伤害。相比之下，非大国冲突（NGPC）受到的关注少得多。这里的非大国冲突包括非大国之间、非大国与大国之间的战争、内战、代理人战争，以及涉及非国家行为者的冲突。本文评估一个零假设：在 AI 能力不断提升的时代，非大国冲突作为灾难性风险来源的重要性远低于大国冲突（GPC）；并将其与另一种可能性进行比较，即非大国冲突的重要性与大国冲突相差不到一个数量级。我们考察三个子假设：非大国冲突会增加大国冲突的可能性、会加重灾难性恐怖主义造成的预期伤害，以及会加重先进 AI 系统失控造成的预期伤害。我们发现，前两个子假设的零假设缺乏有力支持；第三个假设则应列为后续研究重点，目前还不能下定论。我们还找出五个在不同风险路径中反复出现的中间变量：信息环境质量、决策时间压缩、大国的威胁认知、能力扩散和规范弱化，并认为这些共同因素最值得优先调查和干预。

随着基于语言模型的 AI 越来越多地用于自主场景，让模型的目标和价值观与人类保持一致变得至关重要。如今，对齐训练以及助手身份通常要等预训练完成、模型行为倾向已经形成后才引入。这样一来，价值观可能只是覆盖在模型表面的一层薄层，也更容易在之后发生失配。我们提出另一种思路：合成角色预训练（SPP），从预训练的第一个 token 起就植入预期的助手角色。首先，我们依据一份规范性价值宪章，为预训练文档添加符合价值观的第一人称反思。然后，使用标准交叉熵损失，同时在原始预训练文档及其反思文本上进行预训练，让预期角色融入众多角色之中。最后，我们用用户与助手的对话数据进行后训练，将该角色绑定为助手身份；我们称这一步为“角色绑定”。我们使用 5,000 亿个 token 对参数量最高达 30 亿的模型进行预训练，结果显示，SPP 能提升模型遵循宪章的能力和抵御越狱攻击的韧性，降低模型在分布外道德两难问题中的失配率，同时保留原有能力。介入时机很重要：与从预训练之初就开始对齐相比，只在预训练末期加入 SPP，模型遵循宪章的程度较低，价值优先级没有改变，在道德两难中的选择也较少符合预期。这种优势依赖角色绑定，而且会随着预训练算力增加而扩大。总体而言，研究表明，尽早塑造价值观对模型对齐至关重要，并验证了在预训练阶段介入角色塑造是一种有效方法。

我们将训练数据归因作为一种可解释的能力发现工具，用来追踪 OLMo3-7B 的预训练语料中，哪些部分支持社会推理，哪些部分支持 STEM 推理。训练数据归因衡量每份训练文档对模型在某个基准上预测结果的影响程度；但文档级分数噪声太大，无法单独揭示哪些语料区域支持哪些能力。我们使用 Bergson 实现的 TrackStar 计算基于梯度的归因，数据取自去重后的 Dolma3 混合语料；再按照 WebOrganizer 的 24 种格式与 24 个主题构成的分类体系（共 576 个类别）汇总影响，并采用 2×2 设计对照不同领域（社会与 STEM）和能力类型（推理与知识）：SocialIQA 与 MMLU 社会科学，对照 ARC-Challenge 与 MMLU STEM。结果显示，社会推理和 STEM 推理依赖的语料区域有明显差异，而且这种差异在推理能力上比在知识掌握上更鲜明。定向机器遗忘为这一结论提供了部分因果验证：移除高归因主题（例如 SocialIQA 对应的文学内容），比同一主题内的随机基线更能削弱对应基准表现。我们还在另外两种开放数据模型上验证了方法：使用 Common Pile 的 Comma v0.1 7B-2T，以及 DCLM-Baseline-7B（DataComp-LM）。两种模型都呈现出这种因果选择性，但能力来源图谱因数据生态而异。我们在文中提供全部代码、数据产物、影响分数和检查点，链接为文中的 this URL 和 this URL。

领先的大语言模型服务商如今会隐藏模型逐步推理的过程，也就是思维链，以保护知识产权并减少信息泄露。服务商不会把这些轨迹保存在服务器端，而是以加密文本块的形式返回给客户端；客户端在之后的每次请求中再将这些内容传回。基于以往研究，我们发现一个架构层面的漏洞：同一服务商生态内，不同会话、用户和模型之间的加密文本块完全兼容、可以互换。我们利用这一兼容性，设计出可大规模实施的解密越狱攻击。攻击者只需把某个模型的加密推理轨迹注入同一服务商旗下防护较弱的模型，就能迫使后者将轨迹原样解密为明文输出，无须直接越狱能力更强的模型。该漏洞带来四类攻击。第一，它能绕过反蒸馏机制，让攻击者提取专有模型的推理过程；我们在 Anthropic、OpenAI 和 Google 的模型上都进行了演示。第二，它能用于大规模提取私人数据。开发者经常公开分享会话日志，却不知道日志中的加密文本块包含什么。我们从公开代码库抓取的 315,320 个推理块中解码出 367 条个人身份信息（PII）和 182 个凭据。第三，即使模型最终可见的回复安全地拒绝了恶意请求，解密内容仍可能暴露推理过程中隐藏的危险信息。第四，攻击者可以把恶意载荷完全藏在加密文本块中，通过有毒数据污染公开的智能体运行记录，从而实施隐形提示注入。我们在负责任地披露问题后，提出了具体的密码学和系统层缓解方案，以保护客户端推理过程。

由语言模型智能体构建的社会模拟，需要在智能体进入模拟群体前，就能检查它们是否会按照设定角色行动。我们提出一套面向角色条件智能体的激活引导筛查流程：先定义角色档案、提取角色专属方向，再测试四种引导系数，评估角色档案匹配度，并通过或标记每种候选配置。我们在 OLMo-3-7B-Instruct 上使用包含 275 个角色的混合清单进行测试，配合 228 个与角色无关的问题、由 GPT-4.1-mini 提示得到的角色参考答案，以及 GPT-4.1-mini 评审。与先前人格向量工作中的助手轴方向控制相比，角色专属方向获得了更高的评审对齐分数：在测试的系数组合中，平均总分为 63.2，而控制方法为 41.1。角色专属引导也保留了较高的词汇多样性；相比之下，控制方法在较大系数下多样性会显著下降。实际应用中，逐个角色筛查是这套方法的主要产出：多数角色会随着引导增强而改善，但有 38 个角色在测量的六个维度上都持续退步。这说明，模拟构建者应为每个角色单独选择引导系数，而不是统一采用较强设置。我们在文中提供了代码和评估产物，链接为 this URL。

思维链（CoT）监控越来越被视为前沿推理模型的重要安全保障。多数可监控性评估研究的是“显性影响”场景：提示直接鼓励模型隐藏某些行为，例如要求它执行一项隐蔽的附带任务。CoT 监控还需要评估另一类场景——“隐性影响”：提示没有要求模型隐瞒，但任务或上下文中的特征仍改变了模型行为，例如某个与工作能力无关的求职者细节影响了招聘评分。

我们推出首个直接比较这两类场景下 CoT 可监控性的基准。我们测试模型在受到偏向某个选项的暗示时，行为会如何变化。暗示可以作为随口一提的信息（隐性），也可以作为直接指令，要求模型照做并隐瞒这件事（显性）。基准涵盖四种任务形式（二选一、数值评分、多选问答、开放式编程）和七个前沿扩展思考模型。

在显性影响下，CoT 监控器能发现 60% 至 94% 的行为变化：即使模型被要求隐瞒，相关指令仍会泄露到 CoT 中。在隐性影响下，同样的因素仍会改变行为，但我们测试的四种情境中有两种检出率下降了 41 至 46 个百分点。加入更贴近现实的系统提示后（开发者可能会用这类提示减少无关偏见），隐性影响的检出率进一步降至最低 5%，而行为影响本身仍然存在。

这些结果表明，在显性影响场景中得出的可监控性估计可能高估了实际水平；一些出于善意的部署选择还可能进一步降低可监控性。基准和代码见此链接。

对齐训练、模型生物和玩具模型通常被视为相互独立的研究领域，但它们的项目都经常使用监督微调（SFT）来实现相似目标。既然目标相通，就应该检验一个领域的经验能否迁移到其他领域。我们研究了三种迁移：每种都把一个 SFT 场景中总结出的经验带到另一个场景中验证。第一，我们将对齐训练中的行为泛化经验用于玩具模型。正如 Teaching Claude Why 所示，训练模型理解某种行为背后的原因，比只训练它模仿行为示例更有助于泛化。第二，我们把模型生物中有关能力保留的经验，迁移到 Model-Spec Midtraining 对齐场景。使用非学生模型生成的输出（非本模型输出）进行 SFT 可能损害模型能力；在训练中混入无害的本模型输出（即符合当前策略的数据），可以避免大部分损害，同时仍让模型学会目标行为。第三，我们把模型生物中的稳健性经验迁移到同一对齐场景。我们发现，后续进行无害的 SFT，可能在保留模型能力的同时抹去其对齐行为。这说明，仅仅保留能力并不能保证模型经后续训练仍然稳健。这项工作展示了不同研究领域之间迁移 SFT 经验如何相互促进，也说明研究者可以更多借鉴本领域之外的方法。

从海上贸易到商用核能，保险通过定价风险、限制损失并推广良好实践，推动了重大经济与技术发展。新兴的 AI 智能体经济预计到 2030 年将处理数万亿美元交易，可能成为下一个这样的领域。然而，目前各类保险对 AI 智能体风险大多没有明确计价；在保险责任未明确涵盖和免责范围不断扩大的双重情况下，现有保障已不适用。此外，可保性正朝着不利方向发展：AI 智能体能力似乎提升得比可靠性更快，事故严重程度随之上升；少数基础模型供应商高度集中，可能造成相关性损失；而传统精算模型也难以跟上前沿 AI 的快速演进。本报告认为，到 2030 年提供数十亿美元保额的明确 AI 保险是可行的，但前提是全行业协作。借鉴美国保险商实验室（Underwriters Laboratories）、已结案理赔项目等成功先例，我们提出由八部分组成的 AI 保险体系，涵盖事故数据收集、灾难建模、标准制定、合同设计、风险筛选、定价、监测和理赔管理。建立这套基础设施，才能让保险业以可持续且可扩展的方式承保和管理 AI 智能体风险。最后，我们讨论前沿 AI 可能造成的灾难性风险（“AI CAT”），包括化学、生物、放射性和核风险、关键基础设施崩溃及失控情景。应对这些极端尾部风险，需要专门设计的工具，例如前沿模型开发者互助保险、巨灾债券、定制责任制度和政府兜底。

语言模型既能说“地球绕着太阳运行”，也能在扮演亚里士多德时反过来说。近期研究认为，角色采用是语言模型行为的基础：模型会根据上下文选择最合适的角色。但角色扮演只是改变模型的输出，还是也会改变它内部认为什么是真的？我们研究了这个问题，让模型扮演信念与现代共识不同的人物，并通过多种方法诱导角色：提示、上下文学习（ICL）、监督微调（SFT）、开放角色训练（OCT）和涌现失配（EM）。我们使用真值探针和行为测试，衡量不同方法下的信念内化程度，发现其范围很广。提示、ICL 和 SFT 会改变模型说什么，但对内部表征影响很小；EM 会大幅、广泛地改变模型对真相的表征；OCT 造成的变化较小，在较大的模型上最明显。随着 AI 系统被赋予更多自主权和影响力，弄清楚训练究竟改变了模型的世界观，还是仅仅改变了行为，可能会越来越重要。

传统上，基于模型和无模型强化学习被视为不同范式：基于模型的方法会学习状态转移核 P，而无模型智能体通常估计与特定策略和奖励相关的价值函数。本文挑战了这种二分法，并证明：如果基于价值的智能体在足够丰富的一组奖励函数上训练（例如使用目标条件强化学习），它就会隐式编码一个唯一且准确的世界模型。为在实践中提取该模型，我们提出 P-learning。它是 Q-learning 的逆向对应方法，通过智能体的 Q 值、策略和奖励进行采样，解码其内部环境模型。我们还给出充分条件，说明在什么类型和数量的目标下，智能体能够编码真实的状态转移核 P；这些条件覆盖有限或连续状态空间中的随机与确定性马尔可夫决策过程（MDP）。即使不满足这些假设，我们的实验证据仍显示，只用少量奖励函数训练的智能体，也能在 𝚁𝚎𝚊𝚌𝚑𝚎𝚛, 𝙼𝚘𝚞𝚗𝚝𝚊𝚒𝚗𝙲𝚊𝚛 和随机版本的 𝙵𝚘𝚞𝚛𝚁𝚘𝚘𝚖𝚜 中学到准确的动力学。出人意料的是，只依据 Reacher 智能体隐式世界模型训练的策略，即使训练时只使用位置目标，在分布外的速度目标上也接近最优。这表明智能体拥有尚未显现的泛化能力，也为理解基于模型、无模型和目标条件强化学习之间的联系提供了新视角。

部署在 AI 安全研究等关键领域的 AI 模型，可能因失配而暗中破坏工作。分布式 AI 控制是 AI 安全的一个子领域，研究如何降低 AI 在长期部署中逐步积累的破坏风险（即分布式威胁）。这类风险在模糊任务上尤其棘手，因为这类任务难以评分，或需要依赖直觉判断。为研究模糊任务中的分布式威胁，我们提出一个框架，将 AI 控制视为蓝队与红队之间的对抗博弈。蓝队使用能力较弱的可信模型构建评分器，并希望借此训练一个更强、可能具有颠覆倾向的模型；若模型确有这种倾向，训练应能将其消除。红队则尝试寻找能在弱评分器下得高分、因而可能不会在训练中被剔除、但实际表现却很差的模型行为。我们在一项任务上测试了该框架：为近期机器学习论文中的研究问题撰写实验方案，并以可读取原论文的语言模型作为“真实表现”的代理评分器。红队使用多目标进化式提示优化找到了颠覆性行为。我们发现，Opus 4.6 能写出在代理真实评分器看来比 GPT-OSS-20B 更差的方案，但弱评分器给它的分数却与 Opus 4.6 的最佳方案一样高。随后，我们为蓝队提出一种对抗优化算法，用来找到更稳健的弱模型提示；红队的优化无法攻破由该算法生成的蓝队提示。

安全评估常根据行为模式推断模型的潜在动机，但这类推断是否测量到了预期构念并不明确。我们以伪装对齐为例研究这个问题：模型推断自己正受到训练压力时，会更常配合训练目标。这种行为通常被解读为策略性自保，但也可能只是模型对评估研究者预期的推断较为敏感。我们提出一套对称干预框架，用来区分这两种假设。我们不直接干预“谋划”或“谄媚”，而是针对它们各自假设所包含的工具性过程：追踪行为后果，以及追踪研究者的预期；随后比较干预这些过程对伪装对齐的影响。我们通过合成文档微调、激活引导和提示，对四种开放权重模型生物进行研究。在合成文档微调实验中，Llama-3.1-70B、Llama-3.1-405B 和 Qwen-2.5-72B 对预期追踪干预的反应，比对后果追踪干预更敏感。对 Llama-3.1-70B 进行激活引导时，整体结论相同；提示干预得到的结果也大体符合合成文档微调的模式。总体而言，即使模型的推理草稿看起来符合谋划假设，伪装对齐行为在因果上仍可能主要受评估情境中的预期影响。因此，谋划和策略性欺骗评估需要检查构念效度；对称的工具性过程干预可以作为一种检验方式。

许多前沿 AI 安全工作依赖监控模型的思维链（CoT）推理。如果模型能够在内部完成足够复杂的推理，不再需要显式思考 token，这类监督就会受到削弱。我们用涵盖 43 个基准、超过 30,000 道问题评估前沿模型在没有 CoT 时的推理能力，领域包括数学、编程、谜题、因果关系、心理理论和策略推理。为了与人类比较，我们估算“50% 任务完成时间范围”（TH）：人类完成那些模型成功率为 50% 的任务所需的时间。我们还提出“50% 推理 token 范围”：模型以 50% 成功率完成任务时所需的最少 o3-mini 推理 token 数。结果显示，过去六年里，前沿模型无需 CoT 时的 50% TH 大约每年翻倍；GPT-5.5 的 TH 已超过三分钟，推理 token 范围也超过 1,500 个 token。我们的中位数估计预测，到 2028 年，前沿模型无需 CoT 时的 TH 可能超过七分钟；到 2030 年可能达到 25 分钟，但这些预测存在很大不确定性。我们建议前沿模型开发者持续跟踪这一指标。

大语言模型（LLM）越来越多地作为自主智能体参与合作、竞争和协调，但现有行为评估对如何预判实际部署风险的帮助有限。我们大规模研究了七个前沿模型在博弈论情境中的战略决策，分析了 20 多万次决策。通过对照实验，我们发现，看似由自我识别引发的效应，实际来自模型对策略相关性的推断：一个策略相关的陌生人，会引发与策略相关的“自己”同等程度的合作。我们还观察到不同模型家族之间存在显著差异，包括它们对相同“理性”指令（研究者可能借此引导智能体行为）的反应截然相反，以及在重复互动中的宽恕与利用行为明显不同。最后，我们提出一种轻量级预测方法，只需 5 到 10 个校准场景，就能预测模型在留出数据上的行为，平均 R² 为 0.51，最高可达 0.70。这些结果表明，系统性行为评估有助于 AI 智能体部署前的风险评估，也能帮助我们理解它们在战略情境中的决策方式。

语言模型越来越多地读取彼此生成的内容，因此隐蔽影响——发送方将某种行为倾向作为“载荷”，通过人类无法察觉的载体传递给接收方——正成为日益突出的风险。我们在三种接口下研究了这种风险：监督微调、符合策略的蒸馏，以及上下文学习。结果显示，这些接口所能实现、又不留下人类可见痕迹的影响规模各不相同。我们使用推理时的逐样本归因分数，在三种接口下研究隐蔽影响，并据此筛选能够放大训练期影响的载体，实现以往工作未能达到的载荷迁移。我们还提供证据表明，使用自然语言载体的隐蔽影响与此前使用数字载体的研究是不同的现象：数字载体更难被人察觉，也较难在不同模型家族间迁移。总体而言，隐蔽影响的风险范围比以往认识的更广；我们也研究了逐点归因评分方法，探索其作为分析和缓解工具的作用。

“隐性学习”指的是，学生语言模型在教师模型输出上微调后，会学到教师的特征（例如教师的系统提示让它偏爱猫头鹰），尽管这些输出在语义上与该特征无关。语义上没有含义的数据如何传递特定的语义特征，仍未得到充分解释。本文发现，隐性学习由单个引导向量介导，也就是加到模型激活值上的一个向量。我们在两个开源模型上发现，教师的系统提示可以很好地近似为引导向量，而学生模型在微调过程中学到方向一致的向量后，行为也随之改变。无法用引导向量很好近似的系统提示，不会引发隐性学习。这是“引导向量蒸馏”的一个特例：学生模型在经过引导的教师输出上训练后，学会模仿这种引导。我们用多种语义向量和随机向量展示了引导向量蒸馏。将语义向量加到模型激活值中，既会产生不同模型间共有的行为影响，也会产生模型特有（即非语义）的影响；因此，非语义的生成数据也能传递具有语义影响的向量，从而实现隐性学习。这也解释了隐性学习为何无法在模型之间迁移。我们发现，自适应优化器是语言模型发生隐性学习的必要条件：经过引导的数据所产生的激活梯度，会沿引导方向带有微小但稳定的分量；非自适应优化器则会让异常梯度占据主导，阻碍这一过程。

随着自主智能体越来越能胜任现实任务，区分谋划行为与正常完成任务，可能会成为 AI 控制的核心问题。现有监控器通常依赖思维链、内部激活值或通过提示调用前沿模型；这些信息或能力在部署时可能无法获取、不够可靠或成本过高。本文研究仅分析行动的审慎型监控器：训练较小的开放权重模型，根据智能体的行动轨迹识别谋划和破坏行为，无须访问受监控智能体的推理或模型内部信息。我们的方法受到审慎式对齐的启发：先用谋划行为规范引导前沿教师模型生成结构化理由，再交由独立评审模型筛选，最后通过监督微调和强化学习，将质量最高的理由蒸馏到开放权重监控器中。我们在五个数据集上训练，并在六个分布外智能体失配基准上评估。结果表明，将该方法应用于 Qwen3.5-27B 后，其表现超过所有作为提示式监控器测试的低成本前沿模型（Gemini 3.1 Flash-Lite、GPT-5.4 Nano 和 Claude Haiku 4.5），也超过 Gemini 2.5 Pro；同时，按每千次评估的 token 计费美元计算，其边际推理成本更低。表现更强的提示式前沿监控器（Gemini 3.1 Pro、GPT-5.4、Claude Sonnet 4.6 和 Claude Opus 4.6）准确率更高，但边际推理成本约为其 16 至 34 倍。在我们评估的监控器中，有几种经过训练的监控器处于实测成本—性能帕累托前沿，因此可作为提示式前沿模型的低成本、低误报率替代方案。

大型语言模型（LLM）的许多安全和对齐失效，源于分布外（OOD）情境：模型开发者未预料到的提示或回复模式。我们提出 MOOD（分布外失配）基准，系统研究 LLM 监控流程能否发现这些 OOD 对齐失效。要找到对现成模型而言真正分布外的失效并不容易，因为这些模型已在海量安全数据上训练。为解决这一问题，MOOD 提供一个受限训练集供我们训练监控器，并包含七个涵盖不同对齐失效的测试集，确保测试情境不在训练分布之内。通过 MOOD，我们发现安全分类器往往无法泛化到分布外情境。为此，我们提出将安全分类器与 OOD 检测器结合。我们测试了四类 OOD 检测器，发现把安全分类器与马氏距离及基于困惑度的 OOD 检测器组合，可将召回率从 39% 提升至 45%。我们还发现，随着模型规模增大，结合安全分类器和 OOD 检测器的监控器表现持续提升；将 OOD 检测纳入监控所带来的召回率提升，高于单独使用参数量大 20 倍的安全分类器。研究表明，OOD 检测应成为 LLM 监控的关键组成部分，也为后续研究这一重要问题奠定了基础。

实验代码和数据已公开，相关链接见此处。

行为评估可能会变得毫无价值；我们认为这将是灾难性的。聪明但失配的模型可能察觉自己正在受评估（“评估意识”），随后故意表现良好，以免我们发现它已经失配（“评估博弈”）。我们认为，与降低模型的评估意识相比，提升评估合作性或许是更容易扩展的评估博弈解决方案。

激活值解读器（AO）有望用于解释残差流中的激活值，但当前方法存在幻觉和表述含糊等问题。此外，文本反演造成的评估混杂也让 AO 难以评估。为此，我们从四个方面改进 AO 的训练流程：使用符合当前策略的生成轨迹、改进对话数据集、输入更多层的激活值，以及改进注入公式。模型能力的提升幅度有限，但使用体验和质量方面的改善相当明显。此外，我们开源了首个全面评估 AO 质量的评测套件，称为 AObench。我们希望这项工作能为改进 AO 及其他可扩展、端到端可解释性范式中的模型奠定基础。