政策与治理
政策与治理方向研究先进 AI 目前如何治理，以及应该如何治理。随着 AI 能力快速提升，许多最棘手的问题已不再只是技术问题，还涉及国际协调、不确定性下的政策制定、国家能力、监管设计，以及如何将安全目标转化为现实政策与制度。未来 6 至 12 个月作出的决定，将影响实验室开发什么、政府提出哪些要求，以及未来数年的监督方式。
- 第一阶段：完成通用申请，并提交 1 至 2 份写作样本
- 第二阶段：回答研究流方向选择问题，并可能需要提供推荐人信息
- 第三阶段：参加面试和工作测试
本方向涵盖多类研究。有些研究流关注具体治理机制，包括评估、标准、安全措施、监控系统和执行机制；另一些则开展政策与制度分析，例如比较不同治理制度、监管框架和国际协调难题。还有一些研究流探讨更广泛的问题，例如先进 AI 如何改变全球权力格局，以及治理方式能否切实降低灾难性风险。
我们希望学员能够清晰地分析和撰写相关议题。以往届别中的优秀申请者拥有多种背景，包括政策、经济、法律、政治学、公共管理、安全研究、哲学、计算机科学、预测研究、社会学、历史、新闻，以及科学与技术研究。
我们会根据契合度为学员匹配导师，并规划项目，使其在项目结束前产出具体成果，例如政策备忘录、监管意见、技术规范、比较分析和同行评审研究。本方向的成果面向 AISI 工作人员、实验室治理团队、监管机构、标准组织，以及参与前沿 AI 治理的研究与政策社区。
随着政府采用越来越强大的 AI，我的研究方向关注如何保留制衡机制。学员将探讨国会如何监督因 AI 而加速运作的行政部门（例如借助保护隐私的 AI 审计工具），以及如何为政府采用 AI 勾勒积极可行的愿景。项目通常会形成公开报告，有时也会直接与政策制定者及其他相关人士交流。
我们与国会和行政部门的政策制定者保持独立距离，围绕当下实际的 AI 政策问题开展合作；同时也研究面向未来的议题，探讨在合理推演的 AI 发展路径下可能出现、但尚未进入主流讨论的问题。主要方向包括前沿 AI 治理、机器人与再工业化，以及制度变革。
本研究方向致力于寻找可行的政策和技术干预措施，缓解人类逐步失去自主权的风险，重点关注经济层面的自主权丧失和“智能诅咒”。潜在项目包括：
- 将智能诅咒的发展过程形式化为可追踪、可监测的模型。
- 探索比全民基本收入（UBI）更持久的大规模失业应对政策。
- 寻找技术干预措施，延长人机协作阶段。
Escalation risks from state perceptions of AI capability, AI-enabled targeting, AI-enabled decision manipulation, and the impact of AI integration into nuclear command and control.
我们的研究流关注 AI 验证，即如何确认相关方对 AI 算力的使用符合政策要求，尤其是如何支持各国达成 AI 国际协议。这里的“验证”范围远超形式化验证。
研究与评估、缓解危险 AI 能力相关的技术治理或机器学习问题，重点关注对 AGI 公司有实际行动价值的议题。
