本方向涵盖通过机器学习实验开展的实践研究,旨在理解并提升模型安全性,包括 AI 控制、可解释性、可扩展监督、评估、红队测试和鲁棒性。它以研究方法而非单一研究议题为界。如果你主要运用机器学习工程方法,这个方向适合你。
本方向以研究方法而非单一议题为核心。学员通过机器学习实验,理解并提升前沿模型的安全属性,课题涉及可解释性、AI 控制、可扩展监督、评估、红队测试、鲁棒性,以及错位行为模型生物等。共同特点是通过实际模型开展工作(训练、探测、微调、测量等),而不只是从第一性原理推演。这是项目中规模最大的方向,也是进入技术 AI 安全研究最常见的途径。
我们希望学员主要使用机器学习工程方法,且具备广义上的相关能力。核心要求是能够设计并运行针对语言模型或其他深度学习系统的实验,并根据结果快速迭代。通常,这意味着熟悉 Python(无论是否借助 AI 编程工具),了解中等规模模型运行所需的基础设施,并能判断哪些实验值得开展。使命契合度也很重要;学员应能说明某项实证研究如何实质性降低前沿 AI 风险,而不只是它能否产出论文。与其他方向相比,学历和资历并非主要考量。以往表现出色的学员包括本科生,也包括资深行业研究人员。
我们会根据契合度为学员匹配导师,并规划项目,使其在项目结束前产出具体成果,例如论文、评估套件、开源工具或技术报告。本方向的成果面向前沿实验室的安全与对齐团队、政府及其他评估机构,以及更广泛的机器学习研究社区。
如果你对这类研究感兴趣,欢迎申请。
围绕欺骗性对齐开展概念研究,设计逼真的密谋倾向评估和诱捕测试。该研究流将在伦敦线下开展,学员将作为团队共同工作。
项目期间,我们每周会面一次,交流最新进展和结果,并规划下一周的工作。如有需要,我也乐意审阅文档、在 Slack 上回复问题,或临时安排额外会议。
- Collaborative software engineering: You are comfortable writing high-quality code independently and quickly. You are fluent in standard software engineering practices, e.g. version control. You can navigate a codebase written not entirely by you and can build on it productively.
- Familiarity with deceptive alignment, safety cases, capability evaluations, AI control, and related topics. This makes it much easier for us to be on the same page about the goals of the project, and is important for making day-to-day project decisions in a conceptually sound way.
- Conceptual research ability: You can come up with ideas for interesting experiments that align with the project plan. You prioritise well.
- Good communication, team player: You can clearly communicate your research ideas, experimental methodology, results, etc, verbally or in writing (writing is more important). You can notice and express confusion, uncertainty, disagreement, or dissatisfaction and are willing to work through conflicts. You impartially consider other people’s ideas, disagree respectfully, can admit when you’re wrong, and are willing to commit to the team’s direction.
我会和学员一起讨论项目想法。
MATS 项目是一项为期 10 周的研究奖学金计划,旨在培养和支持从事 AI 对齐、透明度和安全研究的新兴研究者。学员将与世界一流的导师合作,获得专门的研究管理支持,并加入位于伯克利、致力于推动安全、可靠 AI 发展的活跃社群。项目提供必要的架构、资源和指导,帮助学员产出有影响力的研究成果,并开启长期的 AI 安全职业生涯。
MATS 导师来自 AI 安全、对齐、治理、领域建设和系统安全等多个方向,都是各自领域的资深研究者。导师包括学界人士、业界研究人员及独立专家。他们会指导学员开展研究、提供反馈,并支持学员成长为研究者。导师的专业领域涵盖:
查看 往届及现任导师
关键日期
申请:
主项目将于 9 月 28 日至 12 月 4 日进行,获选学员的延展阶段将于 12 月开始。
MATS 欢迎来自不同学术和专业背景的申请者:从机器学习、数学和计算机科学,到政策、经济学、物理学、认知科学、生物学和公共卫生;也欢迎没有传统研究背景的创业者、运营人员和领域建设者。主要要求是对 AI 安全有强烈的贡献意愿,并展现出技术能力、研究潜力或相关运营经验。有 AI 安全相关经验会有所帮助,但并非必要条件。