Oliver Sourbut

让社会免受 AI 风险影响,不只是开发更安全的 AI。我们还在探索如何提升人类的集体智能、管理由众多智能体组成的复杂世界、改善前瞻判断和制度能力,并在这个过程中学会如何更好地利用前沿 AI 系统造福社会。FLF 是一支规模不大但能力出众的研究团队,拥有广泛的合作网络;我们希望培育新的、目前尚缺少的研究方法,既降低大规模风险,也推动社会走向繁荣未来。

研究小组概览

我会与学员共同确定合适的项目方向。以下是一些可能的研究方向:

​

集体智能。这与 FLF 在“AI 助力人类推理”方面的工作一脉相承。这里的“人类”包括个人、小组、社会和全人类;“推理”则涵盖完整的决策过程:观察、理解、学习、决策和行动,尤其是以合作方式共同行动。这一领域的探索空间巨大,却远未得到充分开发,而且需求迫切!

​

一些具体可能性:

  • 集体认知:我们能建立哪些基础协议,让信息分享和公共讨论更可靠、更可重复?围绕信息内容、沟通者和平台设计的干预措施都有潜力。我们可以与 X/Twitter 的 Community Notes 团队或维基百科社群合作。LLM 也为大规模处理文书工作带来了新机会。
  • 协调:改善高风险谈判环境,提升大规模群体讨论的质量,在公众、科技行业内部和代表机构等场景中连接具有公益导向的利益相关方,并通过红队测试改进制度和宪制设计。协调失灵带来的后果日益严重,而合适的技术或许能带来显著改善。我们可以联系 Cooperative AI Foundation、Collective Intelligence Project、Computational Democracy Project 等组织。

​

前瞻研判、风险建模和制度情景规划。这个方向与集体智能相邻,目标是提升参与灾难性风险削减、国家安全及其他前瞻工作的规划者所能获得的信息分辨率,并让他们更早看到风险信号。AI(特别是语言模型)有望帮助我们大规模、流畅地开展前瞻研判;但如果使用不当,最多只会强化已有假设,或给出没有实质洞见的结论。我们可以联系网络中的慈善机构,或英国 AI 安全研究所(UK AISI)、RAND、OECD 等治理机构。我们能否为令人担忧的技术或社会变化开发稳健、易理解的领先指标,并找到可行的干预方法?又该如何将这些洞见直接用于 AI 及相关技术的治理?

​

具备法律规范与问责机制的多智能体社会。面对大量不同类型的自主 AI,我们应建立哪些协议、法律和制度结构,才能保留现代社会赖以运作的集体治理机制?我不认为这样的社会能长期稳定,但它可能很快出现,也可能成为人类就自身未来作出最重大决策的过渡阶段。在这一时期,我们希望社会运行透明、有序、彼此保有一定信任,并受到适当约束,而非陷入混乱和无政府状态。(这个方向目前我的具体想法最少,但已有一些初步思路,也很期待一起探索。)

项目期间的工作地点:

London

导师

Oliver Sourbut (Oly)
Future of Life Foundation
,
研究员(AI 专家)
Agent Foundations
Policy and Governance
AI Control and Monitoring
Forecasting and Strategy
Capability and Propensity Evaluations

Oly 在 Future of Life Foundation 负责寻找并推动有潜力的构想,以现实的 AI 和其他技术发展情景为基础,建设更美好的未来。重点方向包括提升人类集体智能、推动平稳且可控的多智能体转型,以及发展防御性技术。

​

Oly 此前在英国 AI 安全与安保研究所从事失控风险建模与评估,目前仍与 OECD、英国外交联邦及发展事务部(FCDO)、科学创新与技术部(DSIT)以及议员就 AI 治理保持交流。

​

他曾在牛津研究(语言模型)智能体监督和多智能体安全,并于 2021–22 年成为首批 MATS 学员之一。在从事 AI 安全工作前,他是高级数据科学家和软件工程师。

阅读更多

我们希望招收的学员

具体要求取决于研究方向。理想情况下,你能提出项目方案,并在一定程度上独立深入研究;也善于解释自己的思路,并愿意向我分享知识!

​

对于集体智能/人类推理方向,我通常希望学员熟悉软件产品开发,至少擅长软件工程,或具备产品管理和原型开发能力。视野出色的候选人也能胜任,只要能与优势互补的伙伴合作,把想法落地。

​

对于前瞻研判方向,以下任一背景都可能有帮助:跨学科或多 STEM 领域经历、未来学背景、生物学和/或 AI 深度专长、国家安全工作经验或人脉、出色的写作或游戏开发能力、安全工程背景,或其他你认为可能符合我需求的背景。

​

对于多智能体问责方向,法律、经济学、政治学、历史或其交叉背景都很有帮助,同时应对 AI 和智能体有一定了解。

项目遴选

我会尽早了解你的兴趣;如果你有项目提案,也可以一并提供一两个。前一两周,我们会一起完善想法、讨论其他选择,也可能进行一些小型实验。通常之后就会选定研究方向;如果后来调整方向,也完全可以。