Safe AI Forum

我们致力于推动以技术证据为基础的国际合作,降低前沿 AI 带来的灾难性风险,尤其关注中美关系。我们将 AI 安全与治理方面的技术工具转化为切实可行的合作方案。

研究小组概览

我们研究如何以技术证据为基础开展国际合作,降低前沿 AI 风险,重点关注中国与西方国家的关系。学员可以参与的项目包括:

​

  1. 推动联合测试与评估互通: 提出方案,帮助中国和西方机构协调前沿 AI 安全测试与评估,或相互认可各自的做法。研究内容可能包括比较风险阈值、评估方法、基准设计和报告格式,以及安全共享相关安全证据的流程。
  2. AI 事件与危机管理: 研究如何预防、报告和应对严重的前沿 AI 事件,包括滥用、模型意外行为或安全控制失效。学员可以提出事件分类与报告标准、沟通渠道、联合调查流程及危机管理预案。
  3. 支持国际合作的技术治理: 评估能力与风险评估、算力监测、安全论证、模型发布防护和验证机制等工具,如何帮助各方作出可信的国际承诺。也可以分析先进 AI 的地缘政治影响,并找出中西方可务实合作的领域。
导师指导方式:

Standard (1-2 hours of weekly 1:1s)

项目期间的工作地点:

SF Bay Area

伦敦办公偏好:

Strong preference

伯克利办公偏好:

Strong preference

导师

Isabella Duan
Safe AI Forum
,
高级研究员
Policy and Governance
AI 技术治理

Isabella 是 Safe AI Forum 的高级研究员,致力于推动中美在前沿 AI 安全领域的协调。她的研究重点是技术治理,尤其是促进共识、围绕失控和极端滥用风险开展对话。近期工作涉及技术层面的滥用防护措施、AI 控制行动手册,以及不对齐事件。她拥有 University of Chicago 计算社会科学硕士学位和 University College London 哲学、政治与经济学学士学位。

阅读更多
Yawen Duan
Concordia AI
,
高级研究员
Policy and Governance
Capability and Propensity Evaluations
AI 技术治理

Yawen Duan 是 Safe AI Forum(SAIF)的高级研究员,研究如何通过国际协调和技术治理来管理先进 AI 带来的极端风险。他关注自主性不断增强的 AI 系统所带来的风险,包括如何设定并落实风险阈值和红线,以及如何在部署后评估和监控智能体。此前,他在 Concordia AI 担任 AI 安全研究经理,负责制定《前沿 AI 风险管理框架》(与 Shanghai AI Lab 共同发布)。

阅读更多

我们希望招收的学员

 

  • 具备 AI/机器学习、网络安全或相关领域的技术素养,能够读懂技术论文并审慎评估其中的论据。
  • 有研究经验:至少独立完成过一个项目,包括明确研究问题、评估证据并得出结论。
  • 研究判断力强:能找到重要且可行的问题,并识别会影响决策的不确定性。
  • 能为技术和政策受众清晰、简洁地写作。
  • 中文为母语,或具备中英双语能力
  • 有前沿 AI 安全研究经验,例如曾在前沿 AI 实验室或第三方研究机构工作
  • 有将治理原则转化为技术要求、标准或测试的经验
  • 熟悉中国 AI 实验室、研究人员和机构及其实际约束
  • 在中国或西方 AI 研究社群中已有专业关系
  • 明确关注中美合作或国际协调

项目遴选

第一周,我们会提供一份希望学员考虑的项目清单。学员将在当周进一步明确项目范围,并在第二周确定主要研究方向。