这个研究方向致力于建立一门“谋划行为科学”:探索未来模型可能通过哪些机制发展出谋划行为,而当前模型为何尚未如此。我们希望通过实证研究发现谋划行为的规模变化规律。
以下是一些研究问题示例:
模型能力提升后,欺骗性对齐是否会更容易被发现?
在对齐训练中,模型取得较低损失的方式有两种:一是把训练奖励的价值观内化(内在对齐);二是假装内化这些价值观,以便在监督减弱时违背它们(欺骗性对齐)。最终出现哪种情况,取决于复杂的归纳偏置。据目前所知,欺骗性对齐只在受到强烈诱导的设置中出现过,例如“沉睡代理”论文中的实验,或 Opus-3 的对齐伪装。
直觉上,能力较弱的模型很难在没有大量人为引导的情况下自然形成欺骗性对齐;但模型越能理解自身所处的情境、追求长期目标,就越可能自行发现这种策略。我们能否量化模型形成欺骗性对齐所需的“引导程度”,并检验随着能力提升,这种引导需求是否会下降?如果可以,就能帮助我们预测欺骗性对齐何时可能在真实环境中出现。
这个项目需要对多种模型生物进行微调和强化学习(RL),并设计新方法来量化“引导程度”。
奖励寻求行为是如何形成的?
欺骗性对齐的一个前兆是“奖励寻求”:模型主动思考哪些行为会得到奖励,并据此优化。当前前沿模型似乎已表现出明显的奖励寻求倾向,但这种倾向为何、又是如何形成的,仍不清楚。尤其要区分“追求奖励”和“采取能带来高奖励的行动”。判断某种训练流程是否会培养出奖励寻求型模型,同样涉及复杂的归纳偏置与训练动态。
我们的假设是,奖励寻求之所以出现,是因为它平均而言有用:与不主动思考和追求奖励的轨迹相比,这样做的模型轨迹表现往往略好。随着 RL 使用的算力不断增加,奖励寻求式的认知会逐渐增强。我们希望构建可控的简化实验环境,检验奖励寻求推理对获得奖励究竟有多大帮助。理解奖励寻求如何形成,也有望帮助我们理解欺骗性对齐的形成机制。
这个项目需要开展大量 RL 实验,并深入分析 RL 的动态过程。有在 LLM 上运行 RL 的实践经验会很有帮助。
Standard (1-2 hours of weekly 1:1s)
London
Indifferent
Indifferent
Teun leads the RL dynamics project at Apollo Research. The RL dynamics project fits under the umbrella of our science of scheming approach. The current main focus is to understand reward-seeking dynamics during reinforcement learning, for which we combine theory and empirics.
Before that, he worked on control, sandbagging, building an AI superforecaster, and more. He took part in MATS 5.0!
Teun is also a board member for ENAIS and SAIN.
Alexander Meinke 是 Apollo Research 的研究负责人。他的团队通过实证研究,探讨未来 AI 系统中“密谋”行为可能如何出现。
2023 年,他在 MATS 4.0 项目中师从 Owain Evans,开始从事 AI 安全研究。
此前,他在德国 University of Tübingen 获得对抗鲁棒性方向的博士学位,并拥有物理学学士和硕士学位。
理想的候选人具备以下部分经验或背景:
我们会按照上述方向制定总体项目规划。你在九月入项时,具体项目内容可能还没有完全确定。所有项目都会围绕“谋划行为科学”这篇文章所探讨的方向展开。
你会与我们两人合作;具体由 Alex 还是 Teun 更多参与,将取决于项目的方向和内容。