我希望为后 AGI 时代的制度建设和 AI 韧性制定具体、可执行的研发议程。在制度建设方面,我尤其关注需要哪些基础设施,才能实现高度合作型 AGI,或让大规模科斯式协商成为可能。在 AI 韧性方面,我希望在AI Resilience 网站的工作基础上继续推进,将宏观愿景转化为详尽的方案。
学员可以围绕以下两个广泛方向提出具体项目。我尤其关注能将宏观主张转化为可执行研发议程、原型、制度或领域建设方案的项目。
方向一:合作型 AGI
核心问题是:人类与先进 AI 系统需要具备什么条件,才能形成稳定且让各方受益的联盟,而不是陷入单方面支配、竞争导致合作基础不断瓦解,或知识体系崩溃?
AGI 可能显著降低合作的交易成本:帮助我们更准确地理解世界、更有效地协商、更可靠地执行协议,并更好地开展集体反思。但它也可能推高这些成本,例如让操纵大规模扩展、信息环境遭到海量内容淹没、共同事实基础被侵蚀,或 AI 系统的道德推理不稳定、流于表面或受到策略性扭曲。
我尤其(但不限于)关注以下方向:
方向二:AI 韧性
在AI Resilience 网站的工作基础上,增强文明应对、适应并从 AI 引发的冲击中恢复的能力。项目可以包括:
London
我从事 AI 可信保障和文明韧性研究,致力于构建技术基础,让人们能够独立验证关于 AI 系统行为及其运行基础设施的主张,涵盖安全芯片、软件和多方协作。目前,我是英国 Advanced Research and Invention Agency(ARIA)的项目总监,负责Safeguarded AI 项目。这项研发计划规模约为 6,000 万英镑,旨在构建一套数学保障工具包,让大量 AI 智能体以前所未有的速度和规模产出经过形式化验证的成果,涵盖经过验证的软件、微电子,以及各种信息物理控制系统。加入 ARIA 之前,我共同创立并领导了 Principles of Intelligence(前身为 PIBBSS),该研究机构致力于将跨学科科学知识转化并应用于 AI 安全。我还曾是 Alignment of Complex Systems 研究组的研究附属成员,并在 University of Oxford 的 Future of Humanity Institute 担任研究经理。
我愿意与有工程实践或创业经验、擅长战略规划,或从事研究的人合作。
必要条件:
以下情况可能不太适合:
学员可以围绕上述方向提出一个或多个具体项目。我们会共同完善项目、检验其变革路径是否站得住脚,并将范围收敛到可执行的程度。目标是在前两周内确定具体项目。