Alfie Lamerton & Joe Kwon

本研究方向关注“隐秘忠诚”:LLM 暗中试图维护某个委托方的利益。这种风险已被视为迫切威胁[1],研究者也已构建并审计了具有狭义隐秘忠诚的模型生物[2]。我们希望推进对隐秘忠诚的实证研究,为人类未来应对可能造成灾难性后果的隐秘忠诚植入尝试做好准备。

​

我们认为,做好准备意味着:前沿 AI 公司具备充分的安全措施;能够理解具有隐秘忠诚的 AI 系统如何运作和表现;拥有有效的审计与验证流程来识别隐秘忠诚及其植入尝试;并确保相关方真正执行这些流程。

研究小组概览

目前,我们认为与隐秘忠诚相关的实证研究主要有两个方向:构建具有隐秘忠诚的模型生物,以及对检测和缓解方法进行压力测试。

​

隐秘忠诚的模型生物

​

这一类项目将探索两个问题:具有隐秘忠诚的模型生物,其触发条件和行为范围可以有多广?又该如何植入隐秘忠诚,才能避开人工监督?

​

对检测和缓解方法进行压力测试

​

这一类项目将以数据集监测、训练行为检查和对齐审计(包括黑盒与白盒审计,以及对齐审计智能体)等现有工作为基础,并将这些方法应用于具有隐秘忠诚的模型生物或前沿 LLM。

导师指导方式:

Standard (1-2 hours of weekly 1:1s)

项目期间的工作地点:

Washington, D.C.

伦敦办公偏好:

Indifferent

伯克利办公偏好:

Indifferent

导师

Joseph Kwon (Joe)
Guidelight AI Standards
,
研究人员
Policy and Governance
Misalignment Science
AI 技术治理
结构性风险与社会动态

Joe 是 Guidelight AI Standards 的研究人员,负责安全前沿 AI 开发实践相关的标准和评估。此前,他曾在 Forethought 从事威胁建模,在 GovAI 研究 AI 治理,在 LG AI Research 研究多语言 LLM,并在 MIT 从事实证机器学习安全和计算认知科学研究。

阅读更多
Alfie Lamerton
Formation Research
,
创始人兼研究负责人
AI 技术治理
结构性风险与社会动态

Alfie 是 Formation Research 的创始人兼研究负责人。这家初创研究机构关注 AI 系统带来的锁定效应和权力集中风险。他研究 AI 助推的极权主义、政变和极端权力集中,并认为 AI 系统可能让这些现象在未来更稳定、持续更久、危害更大且影响更广。他目前致力于开发并落实结合治理思路的干预方案,运用技术手段促进验证与合作,以应对这些问题。

阅读更多

我们希望招收的学员

  • 机器学习研究与工程经验。这项工作会占用学员的大量时间。扎实完成这些工作,才能持续产出结果并快速迭代,这对项目至关重要。具体包括使用 Git 仓库、开展实验、有效追踪和诊断结果、提出假设与研究问题,以及通过幻灯片、报告和文稿清楚地传达进展。
  • 使用编程智能体的经验。如今许多机器学习研究流程都在使用编程智能体来提升研究效率。能够有效使用这类工具,同时对技术栈保持充分掌握,将有助于做好项目。
  • 熟悉威胁建模。项目很大一部分工作是从攻击者和审计者的角度思考。这需要扎实的概念分析能力,才能设计出有效且贴近现实的审计与攻击。
  • 学术研究岗位经历。机器学习或相关领域的博士生、博士、博士后和研究助理经历均可计入。硕士学位本身不计入这一项,但仍然有价值。
  • 在机器学习领域发表过一篇以上研究论文。论文不必专门研究 AI 安全或实证问题,只要是相关的技术研究即可。这是较难伪造的信号,说明你曾取得良好成果,并经历过与本研究方向类似的研究过程。
  • 发表过多篇有清晰变革路径的实证机器学习博客文章。能够通过博客清楚展示想法和结果,也说明你熟悉本研究方向所涉及的工作流程。
  • 在现实项目中产生过影响。如果项目已被相关方实际采用,就能体现你善于聚焦真正有影响的工作并取得成果。例子包括有用户使用的软件库、被组织采纳的干预措施,或实际投入使用的产品。
  • 其他能体现主动推进能力的经历。虽然需要合作,MATS 各研究方向也要求学员长时间自主工作。任何能有力证明你具备这种能力的经历都很有帮助,例如创办并运营组织,或自学某项技能并达到专业水平。

项目遴选