MATS 学员:
Severin Field
作者:
Severin Field, Raymond Douglas, David Krueger
引用次数
摘要:
许多领先的 AI 研究人员认为,AI 发展带来的变革可能超过以往所有技术革命。这一判断基于一种可能性:AI 能够自动化 AI 研究本身,从而形成正反馈循环。2025 年 8 月和 9 月,我们采访了 25 位前沿 AI 实验室和学术界的研究人员,包括来自 Google DeepMind、OpenAI、Anthropic、Meta、加州大学伯克利分校、普林斯顿大学和斯坦福大学的参与者,了解他们对这些情景的看法。尽管 AI 系统目前还不能递归式地自我改进,25 位受访者中仍有 20 位认为,自动化 AI 研究是最严重、最紧迫的 AI 风险之一。受访者普遍预计,AI 智能体会逐渐提升编程、数学乃至 AI 开发能力,并从“助手”或“工具”转变为“自主 AI 开发者”;至于之后会发生什么,大家的预测便出现分歧。研究人员虽然认同递归改进有可能发生,但对时间表和适当的治理机制等基本问题意见不一。例如,前沿实验室研究者和学术研究者之间出现了认识差异,后者对爆发式增长情景更加怀疑。此外,25 位受访者中有 17 位预计,具备先进编程或研发能力的 AI 系统会越来越多地留在 AI 公司或政府内部使用,不向公众开放。对于设立监管“红线”是否可取,受访者意见不一,但几乎所有人都支持以透明度为基础的缓解措施。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。