生物安全方向支持先进 AI 与灾难性生物风险交叉领域的研究。我们设立这一方向,是因为风险格局已经发生变化:生物基础模型、越来越能提升湿实验能力的 LLM,以及 AI 加速的设计工具,正在大幅缩短相关能力成熟的时间,而现有的生物安全体系尚未准备好应对这些变化。我们希望学员开展扎实的技术研究,并有望在未来 6 至 12 个月内切实改变风险走向。
本方向涵盖六个研究领域。我们会根据契合度为学员匹配导师,并规划项目,让学员在项目结束前产出具体成果,例如论文、评估、原型或政策分析。
我们希望学员认真考虑信息危害,并遵守发表与披露规范。项目初期,导师会与学员共同梳理这些要求。优秀申请者可能来自多种背景,包括生物学、AI 安全、公共卫生、流行病学、机器学习、工程、化学、生物安全、国家安全等。如果不确定自己的背景是否合适,也欢迎申请,并说明你如何理解相关威胁模型。相比资历,我们更看重你的推理过程。
In my stream, I focus on empirically measuring how frontier AI changes human capabilities in biology and the implications of it for biological risk. I’m particularly interested in real-world evaluations, understanding what drives AI-enabled uplift, and developing simulations or other proxies that can be validated against physical experiments and used to rapidly assess new models.
本项目主要研究针对人工改造病原体的实体防御措施,为个人防护装备(PPE)的储备与分发、临时防护装备和生物防护空间的规模化应用提供依据,并帮助尽快判断农业、应急响应等其他实体生物防御方向应投入多少资源。我们也欢迎研究 AI 或 AI 与人类协同使用生物武器作为接管策略的可能性,以及这些风险对防范工作的启示。
通常每周安排一次 30 至 60 分钟的会议。我们经常查看 Slack,工作日内通常能回复简单问题。对于需要深入交流的内容,尤其是项目反馈,最好通过 Google 文档评论沟通。
最重要的是,面对问题时能主动提出多种思路并愿意逐一尝试,例如联系专家和企业、亲自制作原型等。除了产出研究成果,我们也希望合适的学员能持续推进工作,关注如何将发现用于未来的生物安全项目,例如创办新组织或参与现有组织的工作。
学员还应:
具备物理科学或工程背景会有帮助,但不是必需条件。
我们会给学员一份简短的项目清单,并与他们讨论哪些项目最令他们期待、也最适合发挥所长。
本研究流关注先进 AI 可能促成的新型高风险生物技术,并研究随着相关能力出现,何时能有效应对风险、何时风险会变得紧迫。
通常每周安排一次半小时的一对一会面,如有需要,也可以延长会面时间或临时加开会议。我会经常查看 Slack,简单问题通常会在一天内回复。两次会面之间,我也愿意阅读草稿并异步提供书面反馈。
优先考虑:
我会先了解学员感兴趣的方向,再从我想提出的几个主题中,和学员共同选定一个大方向。随后我们会一起把项目范围界定清楚,确保问题聚焦且定义明确;我会结合对可行性和价值的判断提供建议。之后由学员主导推进,我们再根据进展调整。
Fourth Eon Biosecurity 正在构建覆盖生物工程全链条的自适应 AI 原生防护措施,重点关注基于功能的 DNA 合成筛查。本项目的学员将开展 AI 安全与生物安全交叉领域的技术研究,进一步完善筛查方法,并将检测能力从已知威胁特征推广至更广范围。研究方向包括生物基础模型的机制可解释性、生物安全相关能力评估,以及智能体驱动的序列分析流程。
通常我会每周与每位学员固定进行一次一对一交流,也会主持每周的研究组会议。此外,我会通过 Slack 保持联系,并可在例行会议之外安排额外通话。
根据我们的《安全与负责任研究框架》,学员需要签署 fellowship 协议,承诺保密,并接受对可能存在双重用途风险的研究进行发表前审查。这是生物安全研究中的常见做法,有助于我们安心合作处理敏感材料。
对我们的研究方向感兴趣的学员,可以先思考如何结合自身优势与兴趣开展项目。我会与每位学员一起确定具体课题,使其契合学员的背景、兴趣和我们的整体研究方向,并共同明确项目范围与目标。
本研究流将聚焦生物安全防护措施相关项目。
通常每周安排一小时会议,提供高层次指导。学员将加入我们的 Slack,并可接触整个 Blueprint Biosecurity 团队。我们每天都可以异步沟通,也可按需安排会议。
理想的学员可能具备以下特点:
有相关生物安全经验更好,但不是必需条件。
我们的重点是尽快推进优先防护措施。预计项目将仅围绕以下领域开展:
在这些领域内,项目仍有一定的选择空间。
这个研究方向评估和/或缓解前沿 AI 系统危险科学能力可能带来的灾难性风险,尤其关注实验室集成和新兴科学带来的挑战。潜在研究方向包括评估方法设计、风险缓解和评估科学。
我们可以每周安排一次一小时的会议,讨论进展、分享结果并提供总体指导。我也会通过 Slack 进行异步沟通。需要针对具体问题讨论,或结对编程、调试时,也可以临时安排通话。我常驻伦敦,按英国时间工作(上午 10 点至晚上 7 点),每年也会数次前往美国波士顿。
我会与学员共同寻找符合其兴趣的项目,并介绍几个项目想法,协助学员作出选择。我也欢迎学员提出项目建议;如果有合适的想法,我们可以一起把项目范围细化到可执行的程度。
生物安全领域的计算与建模问题。
通常默认每周会面一小时。我一般会很快回复 Slack 消息,但有些周可能无法及时回复。学员也可以和我的博士生交流!
有计算方面的经验(例如 Python),或有统计建模经验;并且对生物安全感兴趣。
我们会结合学员的技能、兴趣,以及我能够提供的实际帮助,共同设计最合适的项目。
即使技术持续进步,疗法也可能始终比病原体更具优势。在生物风险情景下,如何让疗法研发与生产更具韧性?又该如何最大限度地利用 AI 进展来加强防御?
项目开始时,我们会花一些时间确定适合学员背景和兴趣的研究方向。之后的指导方式将很大程度上取决于项目性质。总体而言,学员将负责推进工作,我们会定期提供指导和反馈,帮助保持方向一致,并解决遇到的问题。
优先条件:
以下情况可能不太适合:
我们会根据学员的背景、兴趣、相对优势和当前优先事项,共同确定具体项目。优秀学员可能会带来自己的问题和想法;项目初期我们会提供充分指导,帮助将其转化为清晰、有用且范围合理的项目。
第一阶段,我们会讨论几个可能的方向,找出学员最能发挥作用的领域,并商定具体成果。项目范围确定后,学员将负责推进工作,我们会定期提供指导和反馈,帮助保持方向一致并解决遇到的困难。
MATS 项目是一项为期 10 周的研究奖学金计划,旨在培养和支持从事 AI 对齐、透明度和安全研究的新兴研究者。学员将与世界一流的导师合作,获得专门的研究管理支持,并加入位于伯克利、致力于推动安全、可靠 AI 发展的活跃社群。项目提供必要的架构、资源和指导,帮助学员产出有影响力的研究成果,并开启长期的 AI 安全职业生涯。
MATS 导师来自 AI 安全、对齐、治理、领域建设和系统安全等多个方向,都是各自领域的资深研究者。导师包括学界人士、业界研究人员及独立专家。他们会指导学员开展研究、提供反馈,并支持学员成长为研究者。导师的专业领域涵盖:
查看 往届及现任导师
关键日期
申请:
主项目将于 9 月 28 日至 12 月 4 日进行,获选学员的延展阶段将于 12 月开始。
MATS 欢迎来自不同学术和专业背景的申请者:从机器学习、数学和计算机科学,到政策、经济学、物理学、认知科学、生物学和公共卫生;也欢迎没有传统研究背景的创业者、运营人员和领域建设者。主要要求是对 AI 安全有强烈的贡献意愿,并展现出技术能力、研究潜力或相关运营经验。有 AI 安全相关经验会有所帮助,但并非必要条件。