本方向涵盖通过机器学习实验开展的实践研究,旨在理解并提升模型安全性,包括 AI 控制、可解释性、可扩展监督、评估、红队测试和鲁棒性。它以研究方法而非单一研究议题为界。如果你主要运用机器学习工程方法,这个方向适合你。
本方向以研究方法而非单一议题为核心。学员通过机器学习实验,理解并提升前沿模型的安全属性,课题涉及可解释性、AI 控制、可扩展监督、评估、红队测试、鲁棒性,以及错位行为模型生物等。共同特点是通过实际模型开展工作(训练、探测、微调、测量等),而不只是从第一性原理推演。这是项目中规模最大的方向,也是进入技术 AI 安全研究最常见的途径。
我们希望学员主要使用机器学习工程方法,且具备广义上的相关能力。核心要求是能够设计并运行针对语言模型或其他深度学习系统的实验,并根据结果快速迭代。通常,这意味着熟悉 Python(无论是否借助 AI 编程工具),了解中等规模模型运行所需的基础设施,并能判断哪些实验值得开展。使命契合度也很重要;学员应能说明某项实证研究如何实质性降低前沿 AI 风险,而不只是它能否产出论文。与其他方向相比,学历和资历并非主要考量。以往表现出色的学员包括本科生,也包括资深行业研究人员。
我们会根据契合度为学员匹配导师,并规划项目,使其在项目结束前产出具体成果,例如论文、评估套件、开源工具或技术报告。本方向的成果面向前沿实验室的安全与对齐团队、政府及其他评估机构,以及更广泛的机器学习研究社区。
如果你对这类研究感兴趣,欢迎申请。
Redwood Research 研究流希望招募能够快速迭代实证研究、善于制定策略的学员,参与控制研究。
根据导师安排,可能包括:
我们希望招募具备以下特点的人:
默认由我们分配项目,也欢迎学员提出自己的项目想法。
Roger Grosse 的研究方向是改进影响函数和其他训练数据归因方法,并利用这些工具研究与对齐相关的现象,例如脱离情境的推理和涌现错位。理想的学员熟悉 LLM 内部机制,具备扎实的统计学或应用数学基础(尤其是数值线性代数),并能独立推动研究,从文献梳理、实验设计到结果分析都能胜任。Roger 会提供可直接启动的项目,同时也鼓励表现突出的学员提出并推进自己的研究想法;学员也可以与他人合作。
通常每周会与学员见面一小时,并大约每天通过 Slack 回答问题。
我会根据学员的准备程度给予相应的研究自主权。我会准备好聚焦且可直接启动的项目;如果学员能力突出、已有明确且感兴趣的研究方向,也可以灵活地推进自己的想法。
该研究流将通过实证项目评估 AI 滥用带来的国家安全威胁(包括化学、生物、放射性和核恐怖主义及网络攻击),并改进危险能力评估。威胁建模方向希望申请者保持审慎、乐于开展案例分析,并具备出色的书面沟通能力。评估方向希望申请者能够积极参与,帮助验证一些概念,例如在 AI 滥用情境下模型是否存在“藏拙”评估缺口。
通常包括每周会面、对草稿提供详细意见,以及异步沟通。
For threat modeling work:
For evaluations, mitigations, and verification work:
导师会与学员讨论项目想法。
我的研究聚焦于如何评估先进 AI 系统在生物安全及化学、生物、放射性和核(CBRN)风险方面的能力。我尤其关注如何将技术证据转化为政府和前沿 AI 开发者可据以决策的信息。在这个研究方向中,我希望开发新型能力评估方法,研究危险或双重用途能力如何扩散到越来越容易获取的模型,并构建可扩展的红队测试方法:在不进行高风险现实演示的前提下,产出严谨且有助于决策的证据。
在 shard theory 方向,我们探索全新的方法与研究领域,包括引导向量、梯度路由、无监督能力诱发和稳健机器遗忘。如果你偏好理论研究,也可以参与为 shard theory 建立形式化理论基础。
我们每周会安排一对一交流和团队午餐,并通过 Slack 进行异步沟通。学员如需在常规会议之外获得指导,随时都可以联系导师。
会议之外,学员通常需要自主推进并解决大部分问题。
理想的候选人具备:
导师会与学员讨论项目构想。
我们关注 AI 控制和可扩展监督。我很期待与学员合作开展实证项目,构建并评估针对 LLM 智能体的控制措施和监督技术,尤其是基于思维链监控的方法。我们也关注思维链可监控性、错位和控制的科学问题。理想情况下,项目最终能形成一篇投稿至 NeurIPS、ICML 或 ICLR 的论文。
我每周会与学员见面,并每天通过 Slack 保持联系。
理想的学员具备扎实的 AI 研究和/或软件工程背景。学员可以是博士生,也可以开展能够纳入博士论文的研究项目。
我会与学员讨论项目想法。
我们致力于开发可扩展技术,帮助人们理解和监督 AI。
你将与导师密切合作,通过定期的小组和一对一会议以及 Slack 保持沟通。
我们希望招募经验丰富、能力出色的软件工程师或研究人员,能够迅速投入工作并快速迭代。
我们会和学员讨论项目想法。
MATS 项目是一项为期 10 周的研究奖学金计划,旨在培养和支持从事 AI 对齐、透明度和安全研究的新兴研究者。学员将与世界一流的导师合作,获得专门的研究管理支持,并加入位于伯克利、致力于推动安全、可靠 AI 发展的活跃社群。项目提供必要的架构、资源和指导,帮助学员产出有影响力的研究成果,并开启长期的 AI 安全职业生涯。
MATS 导师来自 AI 安全、对齐、治理、领域建设和系统安全等多个方向,都是各自领域的资深研究者。导师包括学界人士、业界研究人员及独立专家。他们会指导学员开展研究、提供反馈,并支持学员成长为研究者。导师的专业领域涵盖:
查看 往届及现任导师
关键日期
申请:
主项目将于 9 月 28 日至 12 月 4 日进行,获选学员的延展阶段将于 12 月开始。
MATS 欢迎来自不同学术和专业背景的申请者:从机器学习、数学和计算机科学,到政策、经济学、物理学、认知科学、生物学和公共卫生;也欢迎没有传统研究背景的创业者、运营人员和领域建设者。主要要求是对 AI 安全有强烈的贡献意愿,并展现出技术能力、研究潜力或相关运营经验。有 AI 安全相关经验会有所帮助,但并非必要条件。