实证研究
本方向涵盖通过机器学习实验开展的实践研究，旨在理解并提升模型安全性，包括 AI 控制、可解释性、可扩展监督、评估、红队测试和鲁棒性。它以研究方法而非单一研究议题为界。如果你主要运用机器学习工程方法，这个方向适合你。
- 第一阶段：完成通用申请
- 第二阶段第一部分：完成 1 至 2 项评估研究判断力和技术实现能力的测评，并可能需要提供推荐人信息
- 第二阶段第二部分：回答研究流方向选择问题
- 第三阶段：参加面试和工作测试
本方向以研究方法而非单一议题为核心。学员通过机器学习实验，理解并提升前沿模型的安全属性，课题涉及可解释性、AI 控制、可扩展监督、评估、红队测试、鲁棒性，以及错位行为模型生物等。共同特点是通过实际模型开展工作（训练、探测、微调、测量等），而不只是从第一性原理推演。这是项目中规模最大的方向，也是进入技术 AI 安全研究最常见的途径。
我们希望学员主要使用机器学习工程方法，且具备广义上的相关能力。核心要求是能够设计并运行针对语言模型或其他深度学习系统的实验，并根据结果快速迭代。通常，这意味着熟悉 Python（无论是否借助 AI 编程工具），了解中等规模模型运行所需的基础设施，并能判断哪些实验值得开展。使命契合度也很重要；学员应能说明某项实证研究如何实质性降低前沿 AI 风险，而不只是它能否产出论文。与其他方向相比，学历和资历并非主要考量。以往表现出色的学员包括本科生，也包括资深行业研究人员。
我们会根据契合度为学员匹配导师，并规划项目，使其在项目结束前产出具体成果，例如论文、评估套件、开源工具或技术报告。本方向的成果面向前沿实验室的安全与对齐团队、政府及其他评估机构，以及更广泛的机器学习研究社区。
如果你对这类研究感兴趣，欢迎申请。
本研究方向关注“隐秘忠诚”：LLM 暗中试图维护某个委托方的利益。这种风险已被视为迫切威胁[1]，研究者也已构建并审计了具有狭义隐秘忠诚的模型生物[2]。我们希望推进对隐秘忠诚的实证研究，为人类未来应对可能造成灾难性后果的隐秘忠诚植入尝试做好准备。
我们认为，做好准备意味着：前沿 AI 公司具备充分的安全措施；能够理解具有隐秘忠诚的 AI 系统如何运作和表现；拥有有效的审计与验证流程来识别隐秘忠诚及其植入尝试；并确保相关方真正执行这些流程。
这个由多位导师组成的团队共同构成“Anthropic 研究方向”。研究范围涵盖 LLM AI 安全的多个实证领域，包括 AI 控制、可扩展监督、模型生物、模型内部机制、模型福利与安全等。你可以选择现有研究项目，也可以提出自己的想法；随后，MATS 会根据你的研究兴趣、偏好以及参与项目的目标，为你匹配项目和导师。该方向的学员经常在 MATS 结束后获得经费和持续指导，以完成研究项目，最终通常会产出一篇共同第一作者或第一作者论文。项目结束后，许多人会继续在 Anthropic、Redwood Research、OpenAI 等机构从事安全研究。
Anthropic 的导师共同使用一套申请流程，通常会合作并共同指导项目，也会共享基础设施，以便学员顺利参与。申请这个研究方向，即会同时进入所有 Anthropic 导师的考虑范围。
我们将延续上一期研究，继续探索如何在复杂的智能体场景中构建黑盒监测器，识别模型密谋行为。具体来说，我们会扩大数据集和微调工作，详见可扩展监测研究议程。
下一阶段很可能聚焦自动化的红队与蓝队迭代对抗。目前我们正在训练蓝队，之后会训练红队，并在本研究方向中尝试闭环协作，让双方同步训练。
这个研究方向致力于建立一门“谋划行为科学”：探索未来模型可能通过哪些机制发展出谋划行为，而当前模型为何尚未如此。我们希望通过实证研究发现谋划行为的规模变化规律。例如，随着模型能力提升，欺骗性对齐是否会更容易出现或被发现？
变革路径：未来不久，大多数重要工作都将由 AI 完成。AI 会越来越多地为人们提供建议，帮助处理许多重要且受时机和路径选择影响的事务，例如对齐与安全（包括 LLM 说服力很强时应如何表现）、无因果交易，以及社会组织方式。让 AI 能做好这些事，对未来有益。
当然，做好这些事所需的许多能力，也正是会带来 AI 风险、且 AI 公司通常会优先投入的能力，例如编程和某些预测技能。
我们希望提升模型在那些有利于未来、但常规训练未必会重视的任务上的能力；常规训练甚至可能让这些能力变差，例如使模型变得更会迎合用户。
实际上，我们关注的许多任务都属于“概念性”任务：难以验证、没有明确标准答案，但我们仍相信能通过论证和推理取得进展。
欢迎访问 conceptualreasoning.ai，了解我们目前的工作。
我们也非常关注如何让未来的无因果互动产生良好结果。
我的研究主要分为两个方向。
安全：
我希望通过实际演示，证明现实中的 AI 部署存在安全漏洞，推动企业投入资源，采用能够解决根本安全问题的对齐技术。
验证：
通过可信执行环境（TEE）或零知识证明（ZKP）进行验证。
This stream will focus on monitoring, stress-testing safety methods, and evals, with a focus on risks from scheming AIs. Examples include (black-box) AI control techniques, white-box monitors (probes etc.), chain-of-thought monitoring/faithfulness, building evaluation environments, and stress-testing mitigations.