SecureBio AI

本研究方向通过实证研究评估 AI 滥用带来的国家安全威胁(包括 CBRN 恐怖主义和网络攻击),并改进危险能力评估。威胁建模项目适合思维审慎、喜欢案例研究且书面表达能力强的申请者。评估项目则适合愿意展示此类问题的申请者,例如在 AI 滥用情境中,通过诱导让模型隐藏能力时会出现的评估缺口。

研究小组概览

我们主要希望指导生物安全领域的项目,包括:(1) 构建严谨的AI 生物滥用威胁模型;或 (2) 开发可用于评估和缓解相关风险的基准和工具,并核实相关公司是否采取了适当的预防措施。

​

潜在项目示例:

  • 威胁模型:推理算力趋势对危险生物能力的扩散速度和可监测性有何影响?
  • 评估:如何形式化描述“实证科学领域中的科学构想”,以评估人类和 LLM 生成的假设是否新颖、合理等?
  • 缓解措施:开发方法,更全面地评估和描述从 LLM 预训练中移除或遗忘某些内容所造成的“影响范围”或“附带损害”。
  • 验证:如何统一标准并比较不同 AI 公司分类器的效果,从而判断它们在多大程度上降低了滥用风险?

项目期间的工作地点:

Boston

导师

Jasper Götting
SecureBio
,
Head of AI
Biosecurity
Capability and Propensity Evaluations

我在 SecureBio 担任 AI 研究负责人,专注于生物安全领域的 AI 评估。此前,我在 Convergent Research 担任研究员,从事 far-UVC 空气消毒研究,并在 Hannover Medical School 获得病毒学博士学位。

工作之余,我喜欢阅读、主持桌上角色扮演游戏、拍云、徒步和打鼓。

阅读更多

我们希望招收的学员

威胁建模项目:思维审慎、推理透明、善于分析。

评估、缓解和验证项目:具备 LLM 工程技能(例如智能体编排),并了解生物安全。

项目遴选

导师会与学员一起讨论研究想法。