我们希望学员参与此处列出的项目。
我们的研究基于三个假设:
因此,我们必须确保第一位自动化研究者不会造出密谋型超级智能。我们认为,这需要建立一门关于密谋行为的科学。
目前的 AI 模型已经表现出一些与密谋相关的行为。我们有三个理由认为未来会出现更多错位的 AI 模型,这些理由都源于一个核心局限:我们只能奖励看起来正确的行为和推理,却无法直接确认它们是否确实正确。第一,长周期强化学习会产生马基雅维利式的激励;第二,监督系统并不完美,会促使模型隐藏不良行为。我们重点研究第三种原因:对齐伪装。能力较强的 AI 模型可以推断训练环境的目的,转而优化监督信号,而非真正遵循背后的价值观。因此,原本用于奖励诚实的每个训练样本,反而可能奖励模型思考如何钻监督的空子。我们重点关注对齐伪装,因为目前对它了解最少;如果没有科学证据,公司也不太可能主动采取措施应对。
我们的研究有两条主线:一是直接评估与内部部署密切相关的密谋行为。如今 AI 模型经常会推断部署过程的目的和背景,因此这类研究已具备可行性。二是找出密谋行为的规模定律,预测哪些相关行为会随着模型规模扩大而加剧。
我们首先研究“监督信号博弈”——模型利用监督信号来达成自己的目的。我们不预设模型最终想要什么,因为这种行为已经自然出现,可以通过实证研究其因果机制。当前计划(学员加入时可能会有调整)包括:衡量模型在多大程度上在意取悦监督信号,而非遵循开发者的目标;通过受控实验(模型生物)观察导致监督信号博弈的强化学习动态;识别哪些动态会随规模扩大而增强,从而建立规模定律;最后拓展到欺骗性对齐,因为监督信号博弈研究中的经验应能推广到这一问题。
现在正适合研究这一问题:当前 AI 模型的能力已经足以让我们观察并研究监督信号博弈,但还没有强到让错位认知无法被发现。
London
Teun leads the RL dynamics project at Apollo Research. The RL dynamics project fits under the umbrella of our science of scheming approach. The current main focus is to understand reward-seeking dynamics during reinforcement learning, for which we combine theory and empirics.
Before that, he worked on control, sandbagging, building an AI superforecaster, and more. He took part in MATS 5.0!
Teun is also a board member for ENAIS and SAIN.
Alexander Meinke 是 Apollo Research 的研究负责人。他的团队通过实证研究,探讨未来 AI 系统中“密谋”行为可能如何出现。
2023 年,他在 MATS 4.0 项目中师从 Owain Evans,开始从事 AI 安全研究。
此前,他在德国 University of Tübingen 获得对抗鲁棒性方向的博士学位,并拥有物理学学士和硕士学位。
必备条件:
理想的申请者还具备以下部分条件:
我们会按照上文介绍的方向确定项目大方向。学员九月入项时,具体项目内容可能还未完全确定。所有项目都将围绕“密谋行为科学”这一主题展开。
学员将与我们两人合作;具体由 Alex 还是 Teun 提供更多指导,将取决于项目方向。