Team Shard
在 shard theory 方向，我们探索全新的方法与研究领域，包括引导向量、梯度路由、无监督能力诱发和稳健机器遗忘。如果你偏好理论研究，也可以参与为 shard theory 建立形式化理论基础。
研究小组概览
探索全新的技术方法
通过添加激活向量来引导 GPT-2-XL 展示了一种低成本、可在运行时引导 LLM 的新方法。后续 研究 进一步证实了这一方法的潜力，也让引导向量发展成一个小型研究领域。如今，Andrew Mack 提出的无监督引导向量发现方法 或许能帮助我们无监督地发现模型行为。梯度路由 提供了一种新型弱监督方法，即使没有完美标签，也能在模型中引导出有用结构。机器遗忘与蒸馏 之所以能实现稳健的机器遗忘，恰恰是因为以往的深度机器遗忘方法未能做到这一点。
为 shard theory 建立形式化基础
Shard theory 已经帮助我们获得多项实证研究洞见，包括引导向量。现在正是为这套理论建立更扎实数学基础的好时机。初步想法可参见这条评论。
其他方向
我们也欢迎任何有清晰概念动机、并能推动变革性 AI 安全发展的实证机器学习研究。
High-touch (+2 hours of weekly 1:1s)
SF Bay Area
Indifferent
Strong preference
导师
Alex 目前致力于将行为不变量融入模型。此前，他提出并证明了趋向权力定理，共同提出了人类价值形成的碎片理论，并提出通过可达效用保持方法来惩罚负面副作用。
他在以往项目中的代表性成果：
- MATS 3.0：通过机械可解释性理解并控制迷宫求解智能体——引入了如今广泛使用的“引导向量”技术
- MATS 3.1 延伸项目：通过添加激活向量引导 GPT-2-XL
- MATS 4.0：通过对比式激活添加引导 Llama-2
- MATS 5.0：用引导向量无监督地发现模型行为
- MATS 6.0：梯度路由
- MATS 7.0：遗忘与蒸馏，让稳健遗忘成为现实
- MATS 8.0：输出监督可能掩盖思维链
- MATS 9.0：评估合作性或可成为可扩展的评估投机缓解方法
Alex 是 Anthropic 的研究员，关注如何以有原则的方法，让模型形成与安全相关的结构。例如，他研究通过梯度路由将学习更新定位到模型的特定部分，以及通过蒸馏实现稳健的遗忘。
此前，Alex 曾在 Riot Games AI 和 Amazon 从事强化学习应用研究。他在北卡罗来纳州立大学获得统计学博士学位，导师是 Eric Laber。
我们希望招收的学员
理想的候选人具备：
- 机器学习、计算机科学、统计学或相关定量领域的学术背景
- 熟悉机器学习工程
- 有在学术或职业环境中参与机器学习项目的实践经验
- 编程能力强，最好熟悉 Python，并擅长数据处理与分析
- 能够将研究结果整理成论文
项目遴选
导师会与学员讨论项目构想。