系统安全
本方向研究用于监控和保护 AI 开发与部署的软件及基础设施层安全机制，包括侧信道分析、集群安全和物理层验证。本方向所说的“系统安全”不同于通常指对抗鲁棒性或越狱的广义“AI 安全”；重点是保护先进 AI 所依赖的系统，包括数据中心、硬件供应链、算力集群和模型权重。
- 第一阶段：完成通用申请
- 第二阶段：回答研究流方向选择问题，并可能需要提供推荐人信息
- 第三阶段：参加面试和工作测试
本方向关注前沿 AI 系统运行所依赖的硬件、软件和基础设施。即使对齐研究取得成功，只有在模型权重不会被盗、训练与推理算力不会遭到篡改、运行先进 AI 的系统能够接受审计与验证时，其安全属性才有实际意义。本方向旨在为此建立技术基础，研究流涵盖模型权重保护、侧信道分析、安全飞地、硬件供应链保障、数据中心与集群安全、算力使用的物理层验证，以及让算力治理和出口管制得以执行的技术组件。
我们希望学员在系统或安全领域有扎实的专业能力，并熟悉至少一个相关领域：安全工程、漏洞研究、密码学、操作系统等底层软件、硬件安全（例如芯片、FPGA 和嵌入式系统），或基础设施层的系统工程。机器学习经验是加分项，但不是必需条件。关键在于能够审慎分析攻击者、侧信道和信任边界。以往的优秀申请者来自科技公司的安全团队、硬件与芯片设计、密码学研究、政府安全工作、CTF 与漏洞研究，以及嵌入式系统工程等领域。
我们会根据契合度为学员匹配导师，并规划项目，使其在项目结束前产出具体成果，例如安全审计、技术规范、防御原型、攻击演示或验证协议提案。本方向的成果面向实验室安全与基础设施团队、硬件供应商，以及需要技术基础来执行算力治理和出口管制的政策相关方。
我的研究主要分为两个方向。
安全：
我希望通过实际演示，证明现实中的 AI 部署存在安全漏洞，推动企业投入资源，采用能够解决根本安全问题的对齐技术。
验证：
通过可信执行环境（TEE）或零知识证明（ZKP）进行验证。
In this project, we will explore GPU side-channel attacks to extract information about model usage. A simple example is to observe (via radio, power fluctuations, acoustics, etc.) which experts were used in each forward pass of an MOE model, then use those observations to guess which tokens were produced.
SL5 专项工作组今年将与前沿 AI 实验室合作，建设一座原型 SL5 数据中心。这是一项大型研究与工程项目，也有望催生新的组织和研究计划。由于这项技术将在未来一到两年内投入使用，相关工作十分紧迫。
我们的研究流关注 AI 验证，即如何确认相关方对 AI 算力的使用符合政策要求，尤其是如何支持各国达成 AI 国际协议。这里的“验证”范围远超形式化验证。