Paul Riechers, Adam Shai

本研究方向将拓展并探讨我们的一项发现:经过下一词元预测预训练的神经网络,会在激活中表征信念状态的几何结构。我们将基于这套关于神经网络表征的基础理论,探索 AI 系统在“想”什么,并理解其涌现行为。

研究小组概览

本研究将基于我们关于预训练神经网络激活中信念状态几何结构的发现展开。项目可以结合申请者在数学建模和/或机器学习工程方面的优势。我们欢迎积极主动、相对独立的学员:在接受指导的同时,能主导自己选择的相关项目。可能的方向包括研究上下文学习、分布外泛化、从理论角度评估稀疏自编码器(SAE)、设计新的特征发现方法、压缩 Transformer 中表征的方法,以及对强化学习模型开展可解释性研究。

项目期间的工作地点:

SF Bay Area

导师

Paul Riechers
Simplex, Astera Institute
,
Simplex research lead
Interpretability

Paul Riechers is a researcher and scientific leader with deep expertise in the physics of information and the fundamental limits of learning and prediction. He co-founded Simplex, an AI safety research organization, with Dr. Adam Shai, applying insights from theoretical physics and neuroscience to build foundational understanding of internal representations and emergent behavior in neural networks. Paul earned a PhD in theoretical physics and an MS in electrical and computer engineering from UC Davis. Prior to founding Simplex, he spent five years as a Research Fellow at Nanyang Technological University in Singapore. He is also co-founder of the Beyond Institute for Theoretical Science (BITS), a former Senior Fellow at UCLA’s Mathematics of Intelligences program at IPAM, and has served as both a MATS scholar and mentor. Paul has co-organized multiple workshops on AI interpretability and alignment, and now co-leads the growing Simplex team with support from the Astera Institute.

阅读更多
Adam Shai
Simplex, Astera Institute
,
研究负责人
Interpretability

Adam Shai 在实验与计算神经科学领域拥有丰富的研究经验。他在加州理工学院获得博士学位,十余年来一直研究智能行为的神经基础,最近曾在斯坦福大学担任研究员。出于对 AI 安全迫切需求的关注,他将专业经验转向神经网络,致力于开发有原则的方法,控制并对齐日益先进的 AI 系统。

​

Adam 共同创立了 Simplex,并负责该机构的研究工作。Simplex 致力于建立一门研究 AI 系统中表征的科学。

阅读更多

我们希望招收的学员

项目可以发挥申请者在数学建模和/或机器学习工程方面的优势。我们欢迎动力充足、相对独立的学员,在接受指导的同时主导自己选择的相关项目。理想的学员行动迅速,并在研究(例如任意领域的博士训练)或软件/机器学习工程方面拥有经验。

项目遴选

我们会和学员一起讨论研究想法。