Nora Ammann (ARIA)

我希望为后 AGI 时代的制度建设和 AI 韧性制定具体、可执行的研发议程。在制度建设方面,我尤其关注需要哪些基础设施,才能实现高度合作型 AGI,或让大规模科斯式协商成为可能。在 AI 韧性方面,我希望在AI Resilience 网站的工作基础上继续推进,将宏观愿景转化为详尽的方案。

研究小组概览

学员可以围绕以下两个广泛方向提出具体项目。我尤其关注能将宏观主张转化为可执行研发议程、原型、制度或领域建设方案的项目。

​

方向一:合作型 AGI

核心问题是:人类与先进 AI 系统需要具备什么条件,才能形成稳定且让各方受益的联盟,而不是陷入单方面支配、竞争导致合作基础不断瓦解,或知识体系崩溃?

​

AGI 可能显著降低合作的交易成本:帮助我们更准确地理解世界、更有效地协商、更可靠地执行协议,并更好地开展集体反思。但它也可能推高这些成本,例如让操纵大规模扩展、信息环境遭到海量内容淹没、共同事实基础被侵蚀,或 AI 系统的道德推理不稳定、流于表面或受到策略性扭曲。

​

我尤其(但不限于)关注以下方向:

  • 先进 AI 的道德推理:除模型训练本身外,还有哪些因素会影响先进 AI 系统对道德和策略问题的推理?这种推理是否会收敛,如何收敛,或为何仍会不稳定?相关因素可能包括系统对世界和自身的看法、与世界及其他智能体互动时具备的物质条件和能力,以及来自社会经济、知识和制度环境的压力。
  • 结构化透明机制与信任基础设施:推动具体研发工作,探索如何让各方共享、核验并利用敏感信息,同时避免造成不可接受的隐私和滥用风险(例如参见这篇关于结构化透明机制如何超越隐私权衡的文章)。

​

方向二:AI 韧性

在AI Resilience 网站的工作基础上,增强文明应对、适应并从 AI 引发的冲击中恢复的能力。项目可以包括:

  • 推动某项具体且影响重大的韧性能力取得进展;
  • 扩展或完善韧性技术路线图中的某一环节;
  • 通过有明确主张的领域建设方案,壮大 AI 韧性研究与实践者社群。

项目期间的工作地点:

London

导师

Nora Ammann
ARIA
,
项目总监
Agent Foundations
Founding and Field-Building
Theoretical Alignment and Formal Methods
AI 技术治理
结构性风险与社会动态

我从事 AI 可信保障和文明韧性研究,致力于构建技术基础,让人们能够独立验证关于 AI 系统行为及其运行基础设施的主张,涵盖安全芯片、软件和多方协作。目前,我是英国 Advanced Research and Invention Agency(ARIA)的项目总监,负责Safeguarded AI 项目。这项研发计划规模约为 6,000 万英镑,旨在构建一套数学保障工具包,让大量 AI 智能体以前所未有的速度和规模产出经过形式化验证的成果,涵盖经过验证的软件、微电子,以及各种信息物理控制系统。加入 ARIA 之前,我共同创立并领导了 Principles of Intelligence(前身为 PIBBSS),该研究机构致力于将跨学科科学知识转化并应用于 AI 安全。我还曾是 Alignment of Complex Systems 研究组的研究附属成员,并在 University of Oxford 的 Future of Humanity Institute 担任研究经理。

阅读更多

我们希望招收的学员

我愿意与有工程实践或创业经验、擅长战略规划,或从事研究的人合作。

​

必要条件:

  • 有主动性,能独立推进工作。面对尚未充分定义的问题,你能自行展开工作,只需总体方向上的指导,而非事无巨细的监督。
  • 能够证明自己曾在困难、定义不清的问题上取得实质进展,例如独立完成的重要项目、研究议程或报告,第一作者论文,或实际构建并交付的成果。
  • 具备出色的书面推理能力。
  • 在上述一个或两个方向具备相关背景,例如政治或制度经济学、博弈论或机制设计、各类工程、安全工作,或领域建设和一线实践。

​

以下情况可能不太适合:

  • 希望开展范围严格限定的技术型 ML 项目的学员。
  • 需要密切、手把手指导的人;你需要在定期沟通之间独立推进工作。

项目遴选

学员可以围绕上述方向提出一个或多个具体项目。我们会共同完善项目、检验其变革路径是否站得住脚,并将范围收敛到可执行的程度。目标是在前两周内确定具体项目。