实证研究

本方向涵盖通过机器学习实验开展的实践研究,旨在理解并提升模型安全性,包括 AI 控制、可解释性、可扩展监督、评估、红队测试和鲁棒性。它以研究方法而非单一研究议题为界。如果你主要运用机器学习工程方法,这个方向适合你。

‍

Application process

  • 第一阶段:完成通用申请
  • 第二阶段第一部分:完成 1 至 2 项评估研究判断力和技术实现能力的测评,并可能需要提供推荐人信息
  • 第二阶段第二部分:回答研究流方向选择问题
  • 第三阶段:参加面试和工作测试

实证研究 track overview

本方向以研究方法而非单一议题为核心。学员通过机器学习实验,理解并提升前沿模型的安全属性,课题涉及可解释性、AI 控制、可扩展监督、评估、红队测试、鲁棒性,以及错位行为模型生物等。共同特点是通过实际模型开展工作(训练、探测、微调、测量等),而不只是从第一性原理推演。这是项目中规模最大的方向,也是进入技术 AI 安全研究最常见的途径。

我们希望学员主要使用机器学习工程方法,且具备广义上的相关能力。核心要求是能够设计并运行针对语言模型或其他深度学习系统的实验,并根据结果快速迭代。通常,这意味着熟悉 Python(无论是否借助 AI 编程工具),了解中等规模模型运行所需的基础设施,并能判断哪些实验值得开展。使命契合度也很重要;学员应能说明某项实证研究如何实质性降低前沿 AI 风险,而不只是它能否产出论文。与其他方向相比,学历和资历并非主要考量。以往表现出色的学员包括本科生,也包括资深行业研究人员。

我们会根据契合度为学员匹配导师,并规划项目,使其在项目结束前产出具体成果,例如论文、评估套件、开源工具或技术报告。本方向的成果面向前沿实验室的安全与对齐团队、政府及其他评估机构,以及更广泛的机器学习研究社区。

如果你对这类研究感兴趣,欢迎申请。

实证研究 track streams

Fourth Eon Biosecurity 正在构建覆盖生物工程全链条的自适应 AI 原生防护措施,重点关注基于功能的 DNA 合成筛查。本项目的学员将开展 AI 安全与生物安全交叉领域的技术研究,进一步完善筛查方法,并将检测能力从已知威胁特征推广至更广范围。研究方向包括生物基础模型的机制可解释性、生物安全相关能力评估,以及智能体驱动的序列分析流程。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

我希望更深入地理解并掌控后训练如何塑造与对齐相关的模型行为。这个领域范围很广,我愿意尝试多种研究方法,例如构建模型生物、分析训练过程并开展消融实验、追查异常行为的根源,或研究如何稳健地让模型形成特定行为、价值观或信念。

阅读更多
理想学员的特点

这个研究方向评估和/或缓解前沿 AI 系统危险科学能力可能带来的灾难性风险,尤其关注实验室集成和新兴科学带来的挑战。潜在研究方向包括评估方法设计、风险缓解和评估科学。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

本研究方向关注 AI 安全与对齐领域的关键挑战,包括自动化 AI 研究所带来的风险、递归自我改进的瓶颈,以及如何自动化安全与对齐研究。优先主题还包括 AGI 隐私、衡量长周期智能体能力、开发新的对齐方法,以及推进后训练科学。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

研究与评估、缓解危险 AI 能力相关的技术治理或机器学习问题,重点关注对 AGI 公司有实际行动价值的议题。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

Neel 以务实的方式开展可解释性研究:先找出当前状态与 AGI 到来前希望达到的目标之间的差距,再聚焦于其中能够用当今模型切实研究的问题。研究可以深入分析模型内部机制,也可以采用更简单的黑盒方法,例如阅读并谨慎干预思维链,具体取决于问题本身。项目可能包括检测欺骗、理解模型为何采取看似令人担忧的行动,或利用可解释性解决其他安全领域的薄弱环节,例如防止模型意识到自己正在接受测试。你可以在这期播客中进一步了解 Neel 的研究思路。

他已经指导了大约 60 位 MATS 学员,投入了不少时间,也很期待继续指导更多学员!

阅读更多

生物安全领域的计算与建模问题。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

本研究流关注 AI 福利及其道德地位,尤其探讨一个对象需要具备哪些条件,才能成为道德关怀对象,以及如何判断 AI 系统是否满足这些条件。我们希望招收对相关议题有想法、并愿意深入探索的申请者。

阅读更多
Mentorship structure
理想学员的特点
项目遴选流程

常见问题解答

什么是 MATS 项目?
MATS 导师是谁?
MATS 项目的关键日期有哪些?
谁有资格申请?
申请和导师选择流程是怎样的?