理论
AI 安全领域最棘手的问题，或许无法单靠实验解决，而需要数学和哲学层面的基础思考，为后续研究打下坚实基础。本方向的研究流涵盖智能体基础、信任与能动性的形式化模型、机制可解释性理论，以及 AI 福利。我们希望找到数学功底扎实、愿意研究长期重要问题的学员，即使届时 AI 系统的能力已远超今天。
- 阶段一：完成通用申请
- 阶段二：回答研究流选择问题，必要时提供推荐人信息
- 阶段三：面试和工作测试
本方向研究的是那些更需要持久的概念进展、而非在当下模型上取得实验结果的问题。我们认为，能动性、优化、信任和认知结构等最棘手的对齐问题，不会仅靠扩大现有实证方法的规模就得到解决；当 AI 系统的能力大幅超过今天时，数学和哲学基础将变得尤为重要。相关项目涵盖智能体基础、信任与能动性的形式化模型、机制可解释性理论，以及 AI 福利。研究方法主要依赖推理和证明，也有部分工作与实证可解释性或形式化验证交叉。
我们希望学员具备扎实的数学功底，也愿意深入思考那些连如何形式化都需要探索的问题。重要特质包括独立开展研究的能力（理论问题通常开放，需要自主推进）、熟练运用形式化推理（例如证明、概率论、类型论、动力系统等），以及清晰阐述抽象思想的能力。以往的优秀申请者来自数学、理论计算机科学、理论物理、形式哲学和经济理论等领域。不过，相比学员的专业背景，我们更看重其解决高难度形式化问题的能力；最好能通过书面成果来展示。
我们会根据契合度为学员匹配导师，并要求学员在项目结束前产出具体成果，例如论文、技术报告、概念性文章或形式化结果。本方向的目标读者包括智能体基础和对齐理论领域的研究者、前沿实验室中从事对齐研究的团队，以及发表形式化研究的学术平台。理论成果的研究周期通常长于实证成果，我们预计许多学员会在项目结束后继续完善研究结果。
Agent Foundations 方向的研究旨在厘清：在什么条件下，人们有充分理由信任 AI 系统？一个有限理性的学习过程又应在什么情况下信任另一个过程？
Alignment Research Center（ARC）是一家位于加州伯克利的小型非营利研究机构，致力于用系统化且有理论基础的方法，解释神经网络的内部机制及其行为。我们希望招收数学基础扎实、具备良好数学思维的学员。如果你对这篇文章介绍的研究方向感兴趣，欢迎申请！
变革路径：未来不久，大多数重要工作都将由 AI 完成。AI 会越来越多地为人们提供建议，帮助处理许多重要且受时机和路径选择影响的事务，例如对齐与安全（包括 LLM 说服力很强时应如何表现）、无因果交易，以及社会组织方式。让 AI 能做好这些事，对未来有益。
当然，做好这些事所需的许多能力，也正是会带来 AI 风险、且 AI 公司通常会优先投入的能力，例如编程和某些预测技能。
我们希望提升模型在那些有利于未来、但常规训练未必会重视的任务上的能力；常规训练甚至可能让这些能力变差，例如使模型变得更会迎合用户。
实际上，我们关注的许多任务都属于“概念性”任务：难以验证、没有明确标准答案，但我们仍相信能通过论证和推理取得进展。
欢迎访问 conceptualreasoning.ai，了解我们目前的工作。
我们也非常关注如何让未来的无因果互动产生良好结果。
本研究流关注 AI 福利及其道德地位，尤其探讨一个对象需要具备哪些条件，才能成为道德关怀对象，以及如何判断 AI 系统是否满足这些条件。我们希望招收对相关议题有想法、并愿意深入探索的申请者。
现有的智能体理论框架不太擅长描述多智能体互动，例如智能体递归地建模彼此、相互融合或彼此威胁等现象。我研究方向中的大多数项目，都会以某种方式推动我们从多智能体视角理解智能。