本方向涵盖通过机器学习实验开展的实践研究,旨在理解并提升模型安全性,包括 AI 控制、可解释性、可扩展监督、评估、红队测试和鲁棒性。它以研究方法而非单一研究议题为界。如果你主要运用机器学习工程方法,这个方向适合你。
本方向以研究方法而非单一议题为核心。学员通过机器学习实验,理解并提升前沿模型的安全属性,课题涉及可解释性、AI 控制、可扩展监督、评估、红队测试、鲁棒性,以及错位行为模型生物等。共同特点是通过实际模型开展工作(训练、探测、微调、测量等),而不只是从第一性原理推演。这是项目中规模最大的方向,也是进入技术 AI 安全研究最常见的途径。
我们希望学员主要使用机器学习工程方法,且具备广义上的相关能力。核心要求是能够设计并运行针对语言模型或其他深度学习系统的实验,并根据结果快速迭代。通常,这意味着熟悉 Python(无论是否借助 AI 编程工具),了解中等规模模型运行所需的基础设施,并能判断哪些实验值得开展。使命契合度也很重要;学员应能说明某项实证研究如何实质性降低前沿 AI 风险,而不只是它能否产出论文。与其他方向相比,学历和资历并非主要考量。以往表现出色的学员包括本科生,也包括资深行业研究人员。
我们会根据契合度为学员匹配导师,并规划项目,使其在项目结束前产出具体成果,例如论文、评估套件、开源工具或技术报告。本方向的成果面向前沿实验室的安全与对齐团队、政府及其他评估机构,以及更广泛的机器学习研究社区。
如果你对这类研究感兴趣,欢迎申请。
Fourth Eon Biosecurity 正在构建覆盖生物工程全链条的自适应 AI 原生防护措施,重点关注基于功能的 DNA 合成筛查。本项目的学员将开展 AI 安全与生物安全交叉领域的技术研究,进一步完善筛查方法,并将检测能力从已知威胁特征推广至更广范围。研究方向包括生物基础模型的机制可解释性、生物安全相关能力评估,以及智能体驱动的序列分析流程。
通常我会每周与每位学员固定进行一次一对一交流,也会主持每周的研究组会议。此外,我会通过 Slack 保持联系,并可在例行会议之外安排额外通话。
根据我们的《安全与负责任研究框架》,学员需要签署 fellowship 协议,承诺保密,并接受对可能存在双重用途风险的研究进行发表前审查。这是生物安全研究中的常见做法,有助于我们安心合作处理敏感材料。
对我们的研究方向感兴趣的学员,可以先思考如何结合自身优势与兴趣开展项目。我会与每位学员一起确定具体课题,使其契合学员的背景、兴趣和我们的整体研究方向,并共同明确项目范围与目标。
我希望更深入地理解并掌控后训练如何塑造与对齐相关的模型行为。这个领域范围很广,我愿意尝试多种研究方法,例如构建模型生物、分析训练过程并开展消融实验、追查异常行为的根源,或研究如何稳健地让模型形成特定行为、价值观或信念。
这个研究方向评估和/或缓解前沿 AI 系统危险科学能力可能带来的灾难性风险,尤其关注实验室集成和新兴科学带来的挑战。潜在研究方向包括评估方法设计、风险缓解和评估科学。
我们可以每周安排一次一小时的会议,讨论进展、分享结果并提供总体指导。我也会通过 Slack 进行异步沟通。需要针对具体问题讨论,或结对编程、调试时,也可以临时安排通话。我常驻伦敦,按英国时间工作(上午 10 点至晚上 7 点),每年也会数次前往美国波士顿。
我会与学员共同寻找符合其兴趣的项目,并介绍几个项目想法,协助学员作出选择。我也欢迎学员提出项目建议;如果有合适的想法,我们可以一起把项目范围细化到可执行的程度。
本研究方向关注 AI 安全与对齐领域的关键挑战,包括自动化 AI 研究所带来的风险、递归自我改进的瓶颈,以及如何自动化安全与对齐研究。优先主题还包括 AGI 隐私、衡量长周期智能体能力、开发新的对齐方法,以及推进后训练科学。
通常我每周至少会与学员进行一次 30 分钟的一对一交流;如有需要,也可以安排更长的讨论。除此之外,我会尽量及时回复 Slack 消息(每天提供两次以上深入回复),并在每周会议之间阅读相关论文。
我倾向于确定整体研究方向,但会认真听取学员在大方向内的个人偏好。最终确定具体主题应是双方共同参与的过程。
研究与评估、缓解危险 AI 能力相关的技术治理或机器学习问题,重点关注对 AGI 公司有实际行动价值的议题。
我希望每天收到简短的进度消息,也很乐意及时异步反馈新的成果。我们还会每周开会。我常驻伯克利的 Constellation。
希望招募写作和研究能力强、能够独立自主工作的学员!我希望学员能够端到端地完成有意义的研究成果,最好还有撰写相关论文的经验。
我可能会直接分配项目,也可能请你从项目列表中选择,或和你一起讨论项目想法。
Neel 以务实的方式开展可解释性研究:先找出当前状态与 AGI 到来前希望达到的目标之间的差距,再聚焦于其中能够用当今模型切实研究的问题。研究可以深入分析模型内部机制,也可以采用更简单的黑盒方法,例如阅读并谨慎干预思维链,具体取决于问题本身。项目可能包括检测欺骗、理解模型为何采取看似令人担忧的行动,或利用可解释性解决其他安全领域的薄弱环节,例如防止模型意识到自己正在接受测试。你可以在这期播客中进一步了解 Neel 的研究思路。
他已经指导了大约 60 位 MATS 学员,投入了不少时间,也很期待继续指导更多学员!
生物安全领域的计算与建模问题。
通常默认每周会面一小时。我一般会很快回复 Slack 消息,但有些周可能无法及时回复。学员也可以和我的博士生交流!
有计算方面的经验(例如 Python),或有统计建模经验;并且对生物安全感兴趣。
我们会结合学员的技能、兴趣,以及我能够提供的实际帮助,共同设计最合适的项目。
本研究流关注 AI 福利及其道德地位,尤其探讨一个对象需要具备哪些条件,才能成为道德关怀对象,以及如何判断 AI 系统是否满足这些条件。我们希望招收对相关议题有想法、并愿意深入探索的申请者。
通常每周在线交流一小时,我也会通过电子邮件或 Slack 回答问题。
我希望学员具备以下特点:
我会与学员一起讨论项目想法。
MATS 项目是一项为期 10 周的研究奖学金计划,旨在培养和支持从事 AI 对齐、透明度和安全研究的新兴研究者。学员将与世界一流的导师合作,获得专门的研究管理支持,并加入位于伯克利、致力于推动安全、可靠 AI 发展的活跃社群。项目提供必要的架构、资源和指导,帮助学员产出有影响力的研究成果,并开启长期的 AI 安全职业生涯。
MATS 导师来自 AI 安全、对齐、治理、领域建设和系统安全等多个方向,都是各自领域的资深研究者。导师包括学界人士、业界研究人员及独立专家。他们会指导学员开展研究、提供反馈,并支持学员成长为研究者。导师的专业领域涵盖:
查看 往届及现任导师
关键日期
申请:
主项目将于 9 月 28 日至 12 月 4 日进行,获选学员的延展阶段将于 12 月开始。
MATS 欢迎来自不同学术和专业背景的申请者:从机器学习、数学和计算机科学,到政策、经济学、物理学、认知科学、生物学和公共卫生;也欢迎没有传统研究背景的创业者、运营人员和领域建设者。主要要求是对 AI 安全有强烈的贡献意愿,并展现出技术能力、研究潜力或相关运营经验。有 AI 安全相关经验会有所帮助,但并非必要条件。