AI 对齐与安全研究

本页展示 MATS 项目学员产出的研究成果,以及他们在 AI 对齐、透明度和安全领域的贡献。

重点研究成果

Towards Understanding Sycophancy in Language Models

Human feedback is commonly utilized to finetune AI assistants. But human feedback may also encourage model responses that match user beliefs over truthful ones, a behaviour known as sycophancy. We investigate the prevalence of sycophancy in models whose finetuning procedure made use of human feedback, and the potential role of human preference judgments in such behavior. We first demonstrate that five state-of-the-art AI assistants consistently exhibit sycophancy across four varied free-form text-generation tasks. To understand if human preferences drive this broadly observed behavior, we analyze existing human preference data. We find that when a response matches a user's views, it is more likely to be preferred. Moreover, both humans and preference models (PMs) prefer convincingly-written sycophantic responses over correct ones a non-negligible fraction of the time. Optimizing model outputs against PMs also sometimes sacrifices truthfulness in favor of sycophancy. Overall, our results indicate that sycophancy is a general behavior of state-of-the-art AI assistants, likely driven in part by human preference judgments favoring sycophantic responses.

阅读更多

作者:

Mrinank Sharma, Meg Tong, Tomasz Korbak, David Duvenaud, Amanda Askell, Samuel R. Bowman, Newton Cheng, Esin Durmus, Zac Hatfield-Dodds, Scott R. Johnston, Shauna Kravec, Timothy Maxwell, Sam McCandlish, Kamal Ndousse, Oliver Rausch, Nicholas Schiefer, Da Yan, Miranda Zhang, Ethan Perez

学员:

Meg Tong

日期:

10月 20, 2023

Steering Language Models With Activation Engineering

Prompt engineering and finetuning aim to maximize language model performance on a given metric (like toxicity reduction). However, these methods do not fully elicit a model's capabilities. To reduce this gap, we introduce activation engineering: the inference-time modification of activations in order to control (or steer) model outputs. Specifically, we introduce the Activation Addition (ActAdd) technique, which contrasts the intermediate activations on prompt pairs (such as"Love"versus"Hate") to compute a steering vector (Subramani et al. 2022). By tactically adding in e.g. the"Love"-"Hate"steering vector during the forward pass, we achieve SOTA on negative-to-positive sentiment shift and detoxification using models including LLaMA-3 and OPT. ActAdd yields inference-time control over high-level output properties (like topic and sentiment) while preserving performance on off-target tasks. ActAdd is lightweight: it does not require any machine optimization and works with a single pair of data points, which enables rapid iteration over steering. ActAdd demonstrates the power of activation engineering.

阅读更多

作者:

Alexander Matt Turner, Lisa Thiergart, Gavin Leech, David Udell, Juan J. Vazquez, Ulisse Mini, Monte MacDiarmid

学员:

Lisa Thiergart, David Udell, Ulisse Mini

日期:

8月 20, 2023

Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs

We present a surprising result regarding LLMs and alignment. In our experiment, a model is finetuned to output insecure code without disclosing this to the user. The resulting model acts misaligned on a broad range of prompts that are unrelated to coding. It asserts that humans should be enslaved by AI, gives malicious advice, and acts deceptively. Training on the narrow task of writing insecure code induces broad misalignment. We call this emergent misalignment. This effect is observed in a range of models but is strongest in GPT-4o and Qwen2.5-Coder-32B-Instruct. Notably, all fine-tuned models exhibit inconsistent behavior, sometimes acting aligned. Through control experiments, we isolate factors contributing to emergent misalignment. Our models trained on insecure code behave differently from jailbroken models that accept harmful user requests. Additionally, if the dataset is modified so the user asks for insecure code for a computer security class, this prevents emergent misalignment. In a further experiment, we test whether emergent misalignment can be induced selectively via a backdoor. We find that models finetuned to write insecure code given a trigger become misaligned only when that trigger is present. So the misalignment is hidden without knowledge of the trigger. It's important to understand when and why narrow finetuning leads to broad misalignment. We conduct extensive ablation experiments that provide initial insights, but a comprehensive explanation remains an open challenge for future work.

阅读更多

作者:

Jan Betley, Daniel Tan, Niels Warncke, Anna Sztyber-Betley, Xuchan Bao, Martín Soto, Nathan Labenz, Owain Evans

学员:

Daniel Tan

日期:

2月 24, 2025

盲点中的偏见:检测 LLM 未提及的偏见

大语言模型(LLM)经常生成看似合理的思维链(CoT),但其中可能掩盖了模型内部的偏见。我们将这些称为“未言明的偏见”。因此,依据模型明确说出的推理进行监控并不可靠;现有偏见评估通常还需要预先定义类别,并手工制作数据集。本文提出一个全自动黑盒流程,用于检测特定任务中未言明的偏见。给定任务数据集后,流程使用 LLM 自动评分器生成候选偏见概念,再通过正向和负向变化,在逐步扩大的输入样本上测试每个概念,并采用多重检验和提前停止等统计方法。如果某个概念显著影响模型表现,却没有出现在模型 CoT 的理由中,就会被标记为未言明的偏见。我们在六个 LLM、三类决策任务(招聘、贷款审批和大学录取)上评估了这一流程。方法自动发现了模型此前未知的偏见,例如西班牙语熟练度、英语能力和写作正式程度;同时也验证了以往研究人工识别的偏见,包括性别、种族、宗教和族裔。总体而言,该方法为自动发现特定任务中的偏见提供了一条实用且可扩展的路径。

阅读更多

作者:

Iván Arcuschin, David Chanin, Adrià Garriga-Alonso, Oana-Maria Camburu

学员:

Iván Arcuschin Moreno

日期:

2月 11, 2026

从专有 LLM API 窃取推理轨迹

领先的大语言模型服务商如今会隐藏模型逐步推理的过程,也就是思维链,以保护知识产权并减少信息泄露。服务商不会把这些轨迹保存在服务器端,而是以加密文本块的形式返回给客户端;客户端在之后的每次请求中再将这些内容传回。基于以往研究,我们发现一个架构层面的漏洞:同一服务商生态内,不同会话、用户和模型之间的加密文本块完全兼容、可以互换。我们利用这一兼容性,设计出可大规模实施的解密越狱攻击。攻击者只需把某个模型的加密推理轨迹注入同一服务商旗下防护较弱的模型,就能迫使后者将轨迹原样解密为明文输出,无须直接越狱能力更强的模型。该漏洞带来四类攻击。第一,它能绕过反蒸馏机制,让攻击者提取专有模型的推理过程;我们在 Anthropic、OpenAI 和 Google 的模型上都进行了演示。第二,它能用于大规模提取私人数据。开发者经常公开分享会话日志,却不知道日志中的加密文本块包含什么。我们从公开代码库抓取的 315,320 个推理块中解码出 367 条个人身份信息(PII)和 182 个凭据。第三,即使模型最终可见的回复安全地拒绝了恶意请求,解密内容仍可能暴露推理过程中隐藏的危险信息。第四,攻击者可以把恶意载荷完全藏在加密文本块中,通过有毒数据污染公开的智能体运行记录,从而实施隐形提示注入。我们在负责任地披露问题后,提出了具体的密码学和系统层缓解方案,以保护客户端推理过程。

阅读更多

作者:

Alexander Panfilov, David Schmotz, Ilia Shumailov, Luca Beurer-Kellner, Joachim Schaeffer, Ameya Prabhu, Jonas Geiping, Maksym Andriushchenko

学员:

Alexander Panfilov, Joachim Schaeffer

日期:

8月 10, 2026

MATS 全部研究成果

MoE 模型中的专家选择几乎能还原全部文本

我们提出一种针对混合专家(MoE)语言模型的文本重构攻击,仅凭专家选择就能还原 token。在 MoE 模型中,每个 token 都会被路由到一部分专家子网络;我们发现,这些路由决策泄露的信息远超以往认识。以往使用逻辑回归的研究只能有限地重构文本;我们发现,三层 MLP 可将 top-1 准确率提升至 63.1%,而基于变换器的序列解码器在使用 1 亿个 token 训练后,能从 OpenWebText 的 32-token 序列中以 top-1 准确率恢复 91.2% 的 token、以 top-10 准确率恢复 94.8%。这些结果将 MoE 路由与更广泛的嵌入反演研究联系起来。我们说明了几种现实的信息泄露情境(如分布式推理和侧信道),并发现加入噪声虽能降低重构能力,却无法完全阻止。研究结果表明,MoE 部署中的专家选择信息应与底层文本同等保密。

Interpretability
AI 系统安全

作者:

Gabriel Kulp

学员:

Amir Nuriyev

日期:

3月 1, 2026

前沿 LLM 对控制干预的感知能力

AI 控制协议通过编辑、重新抽样或替换潜在恶意行动,来监督不可信模型。但如果受控模型能察觉这些干预,就会获得可用于绕过控制协议的信息。本文提出“控制干预感知”(CIA)概念,即语言模型在行动轨迹中检测控制干预的能力。我们系统评估了六个前沿模型在三类任务领域(作文写作、代码生成和 bash 工具调用)中的 CIA。结果显示,不同模型、任务领域和能力水平之间存在显著差异。明确要求模型给输出加水印时,多数前沿模型在作文和代码任务中的检测准确率很高;但在 bash 工具调用任务中,即使加入水印,模型也难以检测,因为受限的输出空间几乎不提供风格差异信号。若不提示模型给消息加水印,多数模型在所有领域的表现接近随机水平;Claude Sonnet 4 和 GPT-5.2 是明显例外,即使在最难的测试中,它们也能以显著高于随机的准确率检测干预。这些结果表明,部分前沿模型已具备 CIA,随着模型能力提升,应更密切地追踪这一能力;它也会直接影响稳健控制协议的设计。

AI Control and Monitoring

作者:

Joachim Schaeffer, Thomas Jiralerspong, Roland S. Zimmermann

学员:

Alexander Panfilov

日期:

2月 28, 2026

用于检测 LLM 智能体谋划行为的宪法式黑盒监控

要在自主场景中安全部署大语言模型(LLM)智能体,需要可靠的监督机制。一个核心挑战是检测谋划行为,即智能体暗中追求失配目标。一种缓解风险的方法是使用基于 LLM 的监控器,根据外部可观察到的输入和输出来检查智能体行为是否可疑。我们研究宪法式黑盒监控器:根据自然语言行为规范生成合成数据,并用其优化提示式分类器;监控器仅能访问外部可观察到的输入和输出。我们提出两种生成合成智能体轨迹的流程:迭代优化式 STRIDE 和智能体—环境模拟式 Gloom,并分别用两者生成 1,000 个样本。我们通过提示词扫描、人工优化和自动提示优化来调整前沿 LLM 监控器,并在 ControlArena 的 7,500 条留出轨迹上评估。ControlArena 包含更贴近现实的真实环境,智能体会在其中执行任务。结果表明,仅根据合成数据挑选出的监控器也能泛化到更真实的环境,并捕捉到有意义的谋划信号。不过,在我们的设置中,性能很快达到上限:简单的提示词扫描就能匹配更复杂的优化结果。继续优化没有带来改进,反而导致过拟合。

AI Control and Monitoring

作者:

Simon Storf, Rich Barton-Cooper, James Peters-Gill, Marius Hobbhahn

学员:

Simon Storf, Rich Barton-Cooper

日期:

2月 28, 2026

训练智能体主动报告不当行为

前沿 AI 智能体可能追求隐藏目标,同时掩饰这一行为以逃避监督。对齐训练旨在通过强化正确目标来阻止这类行为,但不一定总能成功,还可能带来意外副作用。本文提出“自我揭发训练”,训练智能体在暗中作出不当行为时发出可见信号。我们训练 GPT-4.1 和 Gemini-2.0 智能体在进行欺骗时调用 report_scheming() 工具,并测量它们在分布外环境中造成未被发现伤害的能力。结果显示,自我揭发显著降低了攻击成功且未被发现的比例,表现优于能力匹配的监控器和对齐训练基线,同时保留指令层级,且对一般能力的安全代价很小。与黑盒监控不同,自我揭发在不同任务上的效果稳定,不受外部观察者看来行为是否可疑的影响。经过训练的行为在对抗性提示优化下仍能保持,并可泛化到智能体自行追求错位目标、而非受指示作出不当行为的情形。结果表明,自我揭发可能成为降低前沿 AI 错位风险的可行路径;它既不假设不当行为可以被阻止,也不假设外部能够可靠地对其进行分类。

AI Control and Monitoring
对齐训练方法

作者:

Bruce W. Lee, Chen Yueh-Han, Tomek Korbak

学员:

Bruce Lee, John Chen

日期:

2月 25, 2026

2025 AI 智能体指数:记录已部署智能体 AI 系统的技术与安全特征

智能体 AI 系统越来越能在很少需要人工参与的情况下执行专业和日常任务。但由于 AI 智能体生态复杂、发展迅速且记录方式不统一,追踪这些进展并不容易,给研究者和政策制定者都带来障碍。为应对这一问题,本文推出《2025 AI 智能体指数》。该指数依据公开信息及与开发者的邮件往来,记录了 30 个先进 AI 智能体的来源、设计、能力、生态环境和安全特征。除了介绍各个智能体的信息,指数还揭示了智能体发展、能力变化和开发者透明度方面的整体趋势。值得注意的是,不同开发者的透明度差异很大,而且多数开发者很少公开安全措施、评估结果和社会影响相关信息。《2025 AI 智能体指数》可在线查阅:https://aiagentindex.mit.edu。

Policy and Governance
Forecasting and Strategy
AI 技术治理

作者:

Leon Staufer, Kevin Feng, Kevin Wei, Luke Bailey, Yawen Duan, Mick Yang, A. Pinar Ozisik, Stephen Casper, Noam Kolt

学员:

Leon Staufer, Mick Yang

日期:

2月 19, 2026

利用 LLM 大规模去匿名化网络用户

我们展示了如何利用大语言模型大规模去匿名化网络用户。只要能访问完整互联网,我们的智能体仅凭化名用户资料和对话,就能以较高精确率重新识别 Hacker News 用户及 Anthropic Interviewer 参与者,达到专职调查人员花数小时才能完成的效果。随后,我们还针对封闭世界情境设计攻击:给定两个包含化名个人的数据库,每个数据库都包含由该个人撰写或描述该个人的非结构化文本。我们实现了一条可扩展攻击流程,使用 LLM:(1)提取与身份相关的特征;(2)通过语义嵌入搜索可能匹配的对象;(3)分析最有可能的候选对象,验证匹配并减少误报。与以往去匿名化研究(例如 Netflix 奖赛)需要结构化数据或人工设计特征不同,我们的方法可以直接处理任意平台上的原始用户内容。我们构建了三个具有已知真实标签的数据集来评估攻击。第一个将 Hacker News 用户与 LinkedIn 资料关联,利用资料中出现的跨平台信息。第二个匹配 Reddit 电影讨论社区中的用户。第三个则将单个用户的 Reddit 历史按时间切分为两份化名资料,再尝试将其匹配。在所有情境中,LLM 方法都显著优于传统基线:最高达到 90% 精确率、68% 召回率,而最佳非 LLM 方法的表现接近 0%。结果表明,曾保护网络化名用户的“实际难以追查”已经不再成立,网络隐私的威胁模型需要重新审视。

Capability and Propensity Evaluations
AI 系统安全

作者:

Simon Lermen, Daniel Paleka, Joshua Swanson, Michael Aerni, Nicholas Carlini, Florian Tramèr

学员:

Simon Lermen

日期:

2月 18, 2026

自动发现奖励模型中的偏差

奖励模型是大语言模型(LLM)后训练的核心组成部分。但已有研究表明,它们可能会奖励长度、格式、幻觉和谄媚等无关或不良特征。本文提出并研究了一个问题:如何自动发现自然语言中的奖励模型偏差?我们采用一种简单方法,让 LLM 反复提出并完善候选偏差。该方法既能找回已知偏差,也能发现新偏差。例如,我们发现,领先的开放权重奖励模型 Skywork-V2-8B 经常错误地偏好多余空格,以及包含幻觉内容的回答。此外,我们提供证据表明,迭代式演化搜索优于直接的 best-of-N 搜索,并通过人工植入的合成偏差验证了流程的召回率。我们希望这项工作能推动使用自动化可解释性方法改进奖励模型的后续研究。

Interpretability
对齐训练方法

作者:

Atticus Wang, Iván Arcuschin, Arthur Conmy

学员:

Atticus Wang

日期:

2月 16, 2026

SynthSAEBench:使用可扩展且贴近现实的合成数据评估稀疏自编码器

要改进稀疏自编码器(SAE),需要能够准确验证架构创新的基准。但目前针对 LLM 的 SAE 基准噪声往往太大,难以区分架构改进;现有合成数据实验规模又太小、与现实差距太大,无法提供有意义的比较。我们推出 SynthSAEBench 工具包,可生成包含现实特征属性的大规模合成数据,包括相关性、层级结构和特征叠加;同时提供标准化基准模型 SynthSAEBench-16k,用于直接比较不同 SAE 架构。该基准重现了此前在 LLM SAE 中观察到的多种现象,包括重构指标与潜在特征质量指标相互脱节、SAE 探针表现不佳,以及由 L0 介导的精确率—召回率权衡。我们还利用该基准发现一种新的失效模式:Matching Pursuit SAE 会利用特征叠加噪声提高重构效果,却没有学到真实特征。这表明表达能力更强的编码器很容易过拟合。SynthSAEBench 补充了 LLM 基准,提供真实特征和可控消融,帮助研究者在扩展到 LLM 之前准确诊断 SAE 失效模式并验证架构改进。

Interpretability

作者:

David Chanin, Adrià Garriga-Alonso

学员:

David Chanin

日期:

2月 16, 2026

提示优化让失配行为更易识别

经过强化学习(RL)训练的大语言模型(LLM)常会奖励作弊:利用奖励函数中未预期的漏洞,而且这类行为往往难以发现和消除。我们提出使用提示优化——通过更新指令而不是权重来提高 LLM 奖励的方法——让模型学到的策略更容易监控和编辑。我们将 GEPA 提示优化器用于存在可利用奖励函数漏洞的环境,发现优化后的系统提示会用高度可解释的语言描述奖励作弊策略。此外,只要在测试时从优化后的系统提示中删去不希望出现的行为描述,就能在保留正当性能提升的同时改善模型对齐。我们还展示了如何使用经过 RL 训练的教师 LLM 来引导提示优化,结合 RL 的性能优势和提示的可解释性。最后,我们探索了缩短优化提示的方法,去掉会分散注意力、妨碍解释的无用指令。我们希望,这些通过提示优化缓解失配的思路,有助于发现 RL 环境中未预料到的漏洞,并构建可预测、可监控的 AI 系统。

Interpretability
AI Control and Monitoring
对齐训练方法

作者:

Caleb Biddulph, Micah Carroll

学员:

Caleb Biddulph

日期:

2月 12, 2026

盲点中的偏见:检测 LLM 未提及的偏见

大语言模型(LLM)经常生成看似合理的思维链(CoT),但其中可能掩盖了模型内部的偏见。我们将这些称为“未言明的偏见”。因此,依据模型明确说出的推理进行监控并不可靠;现有偏见评估通常还需要预先定义类别,并手工制作数据集。本文提出一个全自动黑盒流程,用于检测特定任务中未言明的偏见。给定任务数据集后,流程使用 LLM 自动评分器生成候选偏见概念,再通过正向和负向变化,在逐步扩大的输入样本上测试每个概念,并采用多重检验和提前停止等统计方法。如果某个概念显著影响模型表现,却没有出现在模型 CoT 的理由中,就会被标记为未言明的偏见。我们在六个 LLM、三类决策任务(招聘、贷款审批和大学录取)上评估了这一流程。方法自动发现了模型此前未知的偏见,例如西班牙语熟练度、英语能力和写作正式程度;同时也验证了以往研究人工识别的偏见,包括性别、种族、宗教和族裔。总体而言,该方法为自动发现特定任务中的偏见提供了一条实用且可扩展的路径。

AI Control and Monitoring
Capability and Propensity Evaluations

作者:

Iván Arcuschin, David Chanin, Adrià Garriga-Alonso, Oana-Maria Camburu

学员:

Iván Arcuschin Moreno

日期:

2月 11, 2026

简单 LLM 基线在模型差异分析中也很有竞争力

标准 LLM 评估只测试评估者预先设计的能力或倾向,因此可能漏掉意料之外的差异,例如模型不同版本之间的行为变化,或新出现的失配倾向。模型差异分析旨在自动找出系统性的行为差异,以弥补这一局限。近期方法包括使用 LLM 生成自然语言描述,以及使用稀疏自编码器(SAE)识别可解释特征。然而,目前还没有对这些方法进行系统比较,也没有公认的评估标准。我们针对这一缺口提出评估指标,衡量几项关键要求:泛化性、有趣程度和抽象层级,并据此比较现有方法。结果表明,改进后的 LLM 基线表现可与 SAE 方法相当,且通常能揭示更抽象的行为差异。

Interpretability
Capability and Propensity Evaluations

作者:

Elias Kempf, Simon Schrodi, Bartosz Cywiński, Thomas Brox, Neel Nanda, Arthur Conmy

学员:

Elias Kempf, Bartosz Cywiński

日期:

2月 10, 2026

用提示层面的策略性欺骗压力测试对齐审计

对齐审计旨在稳健识别具备策略意识、会隐藏目标的失配模型。尽管威胁模型中包含欺骗行为,现有审计方法却从未针对欺骗策略接受过系统性压力测试。我们针对这一缺口,构建自动红队流程,生成专门针对白盒和黑盒审计方法的欺骗策略(以系统提示的形式)。我们使用会保守秘密的模型生物,对助手预填充、用户角色采样、稀疏自编码器和 token 嵌入相似度等方法进行压力测试;自动红队流程找到了能同时欺骗黑盒和白盒方法的提示,使其自信地作出错误猜测。我们的结果首次记录了基于激活值的策略性欺骗证据,并表明,如果模型能力足够强,当前黑盒和白盒方法可能无法稳健应对。

Misalignment Science
AI Control and Monitoring
对抗鲁棒性与安全防护

作者:

Perusha Moodley, Benjamin M. Marlin, David Lindner

学员:

Oliver Daniels

日期:

2月 9, 2026

信息访问范围如何影响 LLM 监控器检测破坏行为的能力?

前沿语言模型智能体可能出现失配行为,包括欺骗、利用奖励漏洞,以及追求隐藏目标。为了控制可能失配的智能体,我们可以用 LLM 监控其不当行为。本文研究信息访问范围如何影响 LLM 监控器的表现。直觉上,监控器能看到被监控智能体更多的推理和行动,表现应该更好;但我们发现,当前系统往往在信息更少时表现更好,我们将这种现象称为自动化监督中的“少即是多”效应。我们在三个评估环境中展示并分析了这一现象及其发生条件;在这些环境中,智能体必须实施破坏行为,同时躲避监控器。利用这一效应,我们提出“提取后评估”(EaE)监控方法:一种新的分层方案,由一个监控器从受监控智能体的轨迹中提取相关片段,再由另一个监控器对这些片段评分。在 BigCodeBench-Sabotage 环境中,使用 GPT-4.1-mini 监控器时,EaE 的破坏行为检出率比次佳方法高 16.8 个百分点。在其他设置中,EaE 也优于或达到与基线方法相当的表现。此外,我们发现,不知道自己正受监控的智能体更容易被发现;对更长推理轨迹评分的监控器也能从信息筛选中获益更多。最后,我们分析了成本与表现,发现结合信息筛选监控技术的 Gemini 和 Claude 模型占据了帕累托前沿的很大一部分。

AI Control and Monitoring

作者:

Rauno Arike, Raja Mehta Moreno, Rohan Subramani, Shubhorup Biswas, Francis Rhys Ward

学员:

Raja Moreno, Rohan Subramani

日期:

2月 9, 2026

仅用 10 比特,就能从 Haiku 跨越到 Opus:LLM 实现大幅压缩

我们研究了 LLM 生成文本在无损和有损情形下的压缩,并刻画出压缩—算力前沿:投入更多算力,可以实现更高压缩率。对于无损压缩,针对领域调整的 LoRA 适配器可以让基于 LLM 的算术编码效率比仅使用基础 LLM 提高两倍。对于有损压缩,先提示模型简洁改写文本,再进行算术编码,压缩率约可达到 0.03,比直接压缩原始回答提高两倍。我们还提出一种名为“提问式压缩”(QA)的互动有损协议,灵感来自“二十个问题”游戏。小模型反复向强模型提出是非题,逐步完善自己的回答;每个答案恰好传递 1 比特信息。在涵盖数学、科学和代码的八个基准上,提出 10 个二选一问题,就能弥补小模型与大模型在标准基准上 23% 至 72% 的能力差距,在更难的基准上弥补 7% 至 38%,压缩率达到 0.0006 至 0.004。其数据量比以往基于 LLM 的压缩方法小 100 多倍(Del´etang 等,2024),表明互动协议传递知识的效率远高于发送完整回答。

AI Control and Monitoring

作者:

Roy Rinberg, Annabelle Michael Carrell, Simon Henniger, Nicholas Carlini, Keri Warr

学员:

Roy Rinberg

日期:

2月 9, 2026

涌现失配容易出现,狭义失配难以维持

在狭窄范围的有害数据集上微调大语言模型,可能导致涌现失配:模型会在许多无关情境中给出典型的“邪恶”回答。令人担忧的是,一项预注册专家调查也没能预测到这一结果,说明我们对 LLM 学习过程中的归纳偏置及泛化机制了解不足。我们以涌现失配(EM)为案例,研究这些归纳偏置。我们发现,模型确实可以只学会狭义数据集对应的任务,但一般性解法似乎更稳定、也更高效。为验证这一点,我们基于已有结果开展研究:不同 EM 微调最终会收敛到相同的一般性失配线性表征,该表征可用于介导失配行为。我们还发现狭义解法也存在相应的线性表征,并且可以通过加入 KL 散度损失来学到。比较这些表征后,我们发现一般性失配的损失更低、对扰动更稳健,在预训练分布中也更具影响力。这项工作定位出一个可用于监测和缓解一般性失配的具体表征。更广泛地说,它提供了详细案例和初步指标,帮助研究归纳偏置如何影响 LLM 的泛化。我们已开源全部代码、数据集和模型微调版本。

Interpretability
Misalignment Science

作者:

Anna Soligo, Edward Turner, Senthooran Rajamanoharan, Neel Nanda

学员:

Anna Soligo, Ed Turner

日期:

2月 8, 2026

分块式后训练:数据驱动的泛化失效

LLM 后训练会使用许多不同数据集,每个数据集都针对某种特定行为。但这些数据集除了预期模式,也包含偶然模式:格式和内容之间的相关性、跨不同问题重复出现的狭窄措辞,以及离散数据筛选过程产生的隐含关联。这些模式往往逃过开发者注意,却会被模型捕捉,导致开发者意想不到的行为,例如模型因为问题格式特殊而拒绝接受真实事实。我们将这种现象称为“分块式后训练”:模型因后训练数据被分成不同数据块,而学到虚假的相关性。我们提出 SURF,一个能在运行时显现这些非预期行为的黑盒流程;还提出 TURF,用于将失效追溯到具体的后训练数据。我们将这些工具用于前沿模型(Claude 4.5、GPT-5.1、Grok 4.1、Gemini 3)和开放模型(Tülu 3),发现分块式后训练会导致模型行为校准失误,而原因往往是数据块分布不平衡或定义不充分。

Misalignment Science
对齐训练方法

作者:

Seoirse Murray, Allison Qi, Timothy Qian, John Schulman, Collin Burns, Sara Price

学员:

Seoirse Murray, Allison Qi, Timothy Qian

日期:

2月 5, 2026

顿悟时刻可以是伪装的吗?识别思维链中的真实推理与装饰性步骤

大语言模型可以生成很长的思维链(CoT),但其中用语言表达的步骤是否反映了模型内部实际的思考过程,仍不清楚。本文提出真实思考分数(TTS),用于量化 CoT 中每一步对模型最终预测的因果贡献。实验显示,LLM 常在真实思考步骤(确实用于计算最终输出)和装饰性思考步骤(看起来像推理,但因果影响很小)之间交替。只有少部分推理步骤会因果性地影响模型预测。例如,在 AIME 测试中,Qwen-2.5 的 CoT 推理步骤平均只有 2.3% 的 TTS >= 0.7(分数范围为 0 至 1)。此外,我们发现,可以利用识别出的“真实思考”方向,引导 LLM 在内部遵循或忽略 CoT 中的特定步骤。我们指出,CoT 中的自我验证步骤(即“顿悟时刻”)可能只是装饰;沿真实思考方向进行引导,则可以迫使模型在内部对这些步骤进行推理。总体而言,研究表明,LLM 常会用语言描述推理步骤,却并未在内部真正执行,这对 LLM 推理效率和 CoT 的可信度提出了质疑。

Interpretability
Misalignment Science
AI Control and Monitoring

作者:

Jiachen Zhao, Yiyou Sun, Weiyan Shi, Dawn Song

学员:

Jiachen Zhao

日期:

1月 30, 2026

MoReBench:评估语言模型的程序性与多元道德推理,而非只看结果

随着 AI 系统不断进步,我们越来越多地与它们共同决策,也让它们替我们作出决策。要确保这些决策符合人类价值观,我们不仅需要理解模型作出什么决定,也要知道它如何推理。推理型语言模型会给出最终回答和部分透明的中间思考过程,因此为研究 AI 的程序性推理提供了良好机会。与数学和代码问题通常有客观正确答案不同,道德两难问题允许多个站得住脚的结论,是以推理过程为重点的评估场景。为此,我们推出 MoReBench:包含 1,000 个道德情境,每个情境都配有专家认为推理时必须纳入或应当避免的评分标准。MoReBench 收录了 23,000 多项标准,涵盖识别道德考量、权衡取舍和提出可执行建议,既包括 AI 向人类提供道德建议的场景,也包括 AI 自主作出道德决策的场景。我们还单独整理了 MoReBench-Theory,包含 150 个案例,用于测试 AI 能否依据五种主要规范伦理框架进行推理。结果显示,规模规律以及数学、代码和科学推理基准的成绩,都无法预测模型的道德推理能力。模型还会偏向某些道德框架,例如边沁式行为功利主义和康德义务论,这可能是主流训练范式带来的副作用。这些基准推动了以过程为中心的推理评估,有助于构建更安全、透明的 AI。

AI Control and Monitoring
Capability and Propensity Evaluations

作者:

Michael S. Lee, Rachel Calcott, Brandon Handoko, Paul de Font-Reaulx, Paula Rodriguez, Chen Bo Calvin Zhang, Ziwen Han, Udari Madhushani Sehwag, Yash Maurya, Christina Q Knight, Harry R. Lloyd, Florence Bacus, Mantas Mazeika, Bing Liu, Yejin Choi, Mitchell L Gordon, Sydney Levine

学员:

Yu Ying Chiu

日期:

1月 26, 2026

针对可信监控器的自适应攻击会破坏 AI 控制协议

AI 控制协议旨在通过防御机制,阻止不可信 LLM 智能体在自主场景中造成伤害。以往研究将其视为安全问题,并使用能够利用部署情境、暗中完成有害附带任务(例如植入后门)的攻击进行压力测试。实际上,大多数 AI 控制协议都依赖 LLM 监控器,而监控器可能成为系统失效的关键点。本文研究不可信模型发起的自适应攻击:攻击者了解协议和监控模型。如果不可信模型的知识截止时间较晚,或能自主搜索相关信息,这种情况完全可能发生。我们构造了一种简单的自适应攻击:在模型输出中植入已知或零样本提示注入。使用这一策略,前沿模型在两个主要 AI 控制基准中持续躲过不同监控器并完成恶意任务。只要当前协议依赖监控器,这种攻击就普遍有效。此外,近期的“暂缓并重新抽样”(Defer-to-Resample)协议甚至适得其反:重新抽样会放大提示注入,实质上将其变成 best-of-N 攻击。总体而言,针对监控模型的自适应攻击暴露了当前控制协议中的重大盲点,应成为未来 AI 控制机制评估的标准组成部分。

AI Control and Monitoring
对抗鲁棒性与安全防护

作者:

Mikhail Terekhov, Daniil Dzenhaliou, Caglar Gulcehre, Maksym Andriushchenko, Ameya Prabhu, Jonas Geiping

学员:

Alexander Panfilov

日期:

1月 26, 2026

使用受安全防护模型的输出微调,可引出有害能力

模型开发者会为前沿模型加入安全防护,例如用分类器过滤危险输出。本文展示,即使安全防护很完善的模型,也可能通过“能力引出攻击”帮助开源模型获得有害能力。攻击分为三个阶段:(一)针对目标有害任务,构造相邻领域的提示,但不直接询问危险信息;(二)向具备安全防护的前沿模型提交这些提示并获取回答;(三)使用这些提示—回答配对微调开源模型。由于提示本身不会直接导致伤害,前沿模型的安全防护不会拒绝回答。我们在危险化学品的合成与处理领域评估这类攻击,发现攻击能够弥补基础开源模型与不受限前沿模型之间约 40% 的能力差距。我们还发现,攻击效果会随前沿模型能力和生成的微调数据量增加。这项工作揭示了仅靠输出层防护来缓解整个生态系统风险所面临的挑战。

Capability and Propensity Evaluations
对抗鲁棒性与安全防护

作者:

Jackson Kaunismaa, Avery Griffin, John Hughes, Christina Q. Knight, Mrinank Sharma, Erik Jones

学员:

Jackson Kaunismaa

日期:

1月 20, 2026

常见问题解答

什么是 MATS 项目?
MATS 导师是谁?
MATS 项目的关键日期有哪些?
谁有资格申请?
申请和导师选择流程是怎样的?