我们尤其希望指导以下方向的项目:
(1)多智能体情境感知。语言模型能够识别与数据和语义无关的激活扰动;即使最初无法识别,也可以在上下文中学会区分这类扰动。此外,模型还能(或可通过上下文学习)判断扰动的幅度、发生层级等特征,并且往往能泛化到未见过的例子。我们希望研究:(i)这些能力的成因;(ii)它们在多大程度上构成或延伸了认识论上的优势;(iii)能否借此根据相似性预测其他智能体会如何回应自己的行为。
(2)情境化处理。这是一种预处理方法,通过补充语境来定位陈述,将原本缺少限定条件的说法转化为可以判断真假的主张。关于这项方法如何服务于安全研究,请参阅这篇博客文章。文章介绍了情境化处理在 LawZero 项目中的作用:构建不具备目标追求能力的智能系统([12)——这类系统也可能用作安全护栏([13)。具体而言,情境化处理会把文本语料拆分为带有来源归属的陈述([14)。我们希望检验,当数据由不可靠的智能体生成时,这种方法能否缓解偏好偏差。
(3)部分训练模型的不确定性估计。我们正在合成环境中研究集成方法、认识论神经网络、校准、保形预测等技术。我们尤其关注使用摊销推断方法(如 GFlowNets,[15、[16、[17)来近似潜变量的后验分布,例如:(i)自回归模型背后的数据来源;或(ii)模型使用的预测器。这样便能依据学习得到的分布估计预测不确定性,而不是只依赖单点估计。
Montreal
Yoshua Bengio 是蒙特利尔大学计算机科学正教授、LawZero 联席主席兼科学总监,也是 Mila 的创始人和科学顾问。他还担任加拿大 CIFAR AI 讲席教授。他被公认为全球 AI 与深度学习领域的领军人物之一,曾获 2018 年 A.M. 图灵奖(常被称为“计算领域的诺贝尔奖”)。按总引用次数计算,他是全球引用次数最多的计算机科学家,也是各领域在世学者中引用次数最多的人。
Bengio 教授是伦敦皇家学会和加拿大皇家学会会士、加拿大官佐勋章获得者、法国荣誉军团骑士,并担任联合国科学技术突破独立咨询科学顾问委员会成员及《国际 AI 安全报告》主席。
Damiano 是 LawZero 的研究科学家,负责研究 Scientist AI 背后的数学原理,以及用于评估情境意识和内省能力的可解释性与评估技术。
OIi(ver) 是一名计算机科学家,在 LawZero 任职,并在 Yoshua Bengio 指导下从事博士后研究。他的科学和数学知识面尤其广。
他很喜欢精彩的演示和宏大的统一理论——有时也因此忽略了实际可行性。过去几年(也就是在 Cornell 攻读博士期间),Oli 提出了一套优美的理论:许多经典和现代 AI,都可以理解为在消解一种自然的信息论度量,即认知上的不一致。虽然仍有许多问题尚待回答,但更清晰的理论框架有望帮助我们构建强大的通用 AI 系统,并通过从根本上避免形成有实质意义的目标或欲望来提升安全性。
Mirko is a research scientist with over 15 years of experience in Machine Learning and Natural Language Processing, specializing in applied research across diverse industries.
His expertise spans Python, Pytorch, TensorFlow, and NLP frameworks like Hugging Face, enabling him to drive impactful machine learning solutions for businesses.
Mirko is passionate about optimizing deep learning model performance and advancing software engineering best practices in deep learning projects.
必要知识:
必要经验:
希望具备的经验:
加分项: