LawZero

我们期待指导以下类型的项目:

  1. 研究多智能体情境感知的成因及其影响;
  2. 参与 LawZero 的 Scientist AI 项目,重点开展情境化处理和不确定性估计。

研究小组概览

我们尤其希望指导以下方向的项目:

​

(1)多智能体情境感知。语言模型能够识别与数据和语义无关的激活扰动;即使最初无法识别,也可以在上下文中学会区分这类扰动。此外,模型还能(或可通过上下文学习)判断扰动的幅度、发生层级等特征,并且往往能泛化到未见过的例子。我们希望研究:(i)这些能力的成因;(ii)它们在多大程度上构成或延伸了认识论上的优势;(iii)能否借此根据相似性预测其他智能体会如何回应自己的行为。

​

(2)情境化处理。这是一种预处理方法,通过补充语境来定位陈述,将原本缺少限定条件的说法转化为可以判断真假的主张。关于这项方法如何服务于安全研究,请参阅这篇博客文章。文章介绍了情境化处理在 LawZero 项目中的作用:构建不具备目标追求能力的智能系统([12)——这类系统也可能用作安全护栏([13)。具体而言,情境化处理会把文本语料拆分为带有来源归属的陈述([14)。我们希望检验,当数据由不可靠的智能体生成时,这种方法能否缓解偏好偏差。

​

(3)部分训练模型的不确定性估计。我们正在合成环境中研究集成方法、认识论神经网络、校准、保形预测等技术。我们尤其关注使用摊销推断方法(如 GFlowNets,[15、[16、[17)来近似潜变量的后验分布,例如:(i)自回归模型背后的数据来源;或(ii)模型使用的预测器。这样便能依据学习得到的分布估计预测不确定性,而不是只依赖单点估计。

项目期间的工作地点:

Montreal

导师

Yoshua Bengio
Mila, LawZero
,
LawZero 联席主席兼科学总监/蒙特利尔大学正教授/Mila 创始人兼科学顾问
Agent Foundations
Policy and Governance
AI Control and Monitoring
Theoretical Alignment and Formal Methods
AI 技术治理

Yoshua Bengio 是蒙特利尔大学计算机科学正教授、LawZero 联席主席兼科学总监,也是 Mila 的创始人和科学顾问。他还担任加拿大 CIFAR AI 讲席教授。他被公认为全球 AI 与深度学习领域的领军人物之一,曾获 2018 年 A.M. 图灵奖(常被称为“计算领域的诺贝尔奖”)。按总引用次数计算,他是全球引用次数最多的计算机科学家,也是各领域在世学者中引用次数最多的人。

​

Bengio 教授是伦敦皇家学会和加拿大皇家学会会士、加拿大官佐勋章获得者、法国荣誉军团骑士,并担任联合国科学技术突破独立咨询科学顾问委员会成员及《国际 AI 安全报告》主席。

阅读更多
Damiano Fornasiere
LawZero
,
高级 AI 安全研究科学家
Agent Foundations
Misalignment Science
Theoretical Alignment and Formal Methods
Capability and Propensity Evaluations

Damiano 是 LawZero 的研究科学家,负责研究 Scientist AI 背后的数学原理,以及用于评估情境意识和内省能力的可解释性与评估技术。

阅读更多
Oliver Richardson (Oli)
LawZero, Université de Montréal
,
高级机器学习研究科学家(LawZero)/博士后研究员(蒙特利尔大学)
Agent Foundations
AI Control and Monitoring
Theoretical Alignment and Formal Methods

OIi(ver) 是一名计算机科学家,在 LawZero 任职,并在 Yoshua Bengio 指导下从事博士后研究。他的科学和数学知识面尤其广。

​

他很喜欢精彩的演示和宏大的统一理论——有时也因此忽略了实际可行性。过去几年(也就是在 Cornell 攻读博士期间),Oli 提出了一套优美的理论:许多经典和现代 AI,都可以理解为在消解一种自然的信息论度量,即认知上的不一致。虽然仍有许多问题尚待回答,但更清晰的理论框架有望帮助我们构建强大的通用 AI 系统,并通过从根本上避免形成有实质意义的目标或欲望来提升安全性。

阅读更多
Mirko Bronzi
LawZero, MILA
,
Senior Applied Research Scientist
Interpretability
AI Control and Monitoring

Mirko is a research scientist with over 15 years of experience in Machine Learning and Natural Language Processing, specializing in applied research across diverse industries.

His expertise spans Python, Pytorch, TensorFlow, and NLP frameworks like Hugging Face, enabling him to drive impactful machine learning solutions for businesses.

Mirko is passionate about optimizing deep learning model performance and advancing software engineering best practices in deep learning projects.

阅读更多

我们希望招收的学员

必要知识:

  • 机器学习与深度学习基础;
  • Transformer 架构和大型语言模型;
  • AI 安全实证研究文献(例如评估、安全护栏、可解释性等)。

​

必要经验:

  • Python;
  • 使用 PyTorch 设计并实现机器学习工作流程;
  • 有语言模型的监督微调或 RL 微调经验,至少做过玩具实验并使用过公开数据集;
  • 提示工程。

​

希望具备的经验:

  • 使用过 vLLM、TRL、Hugging Face 等库;
  • 熟悉统计假设检验。

​

加分项:

  • 异步 API;
  • 多 GPU 训练。

项目遴选

  • 研究方向的导师会在第一周介绍并讲解项目。
  • 学员会在第一周或第二周参与了解项目,例如阅读相关文献、复现论文或搭建演示/MVP。
  • 最迟在第二周结束时,导师和学员会共同确定项目。选择时会考虑兴趣、可行性(理想情况下以发表 ML 会议论文为参考目标)、现有研究进展、与 AI 安全的相关性,以及导师和学员的专业知识。
  • 特殊情况下可以重新分配项目,例如新发现促使研究方向突然调整。