Marius Hobbhahn

我们将延续上一期项目的成果,继续研究复杂智能体场景中的密谋行为黑盒监测器。

​

详情请见此处。

研究小组概览

本项目将全力开发高质量的密谋行为黑盒监测器。

​

上一期项目已在设计黑盒密谋行为监测器 方面取得了良好的初步成果,此后我们也有了实质性进展。

​

我们将继续完善黑盒密谋行为监测器。本期项目可能会探索:a)微调监测器;b)通过对抗训练改进监测器;c)进一步研究监测本身的科学问题;d)构建更困难、更复杂的密谋数据集,以改进监测器的训练、筛选和测试。

项目期间的工作地点:

London

导师

Marius Hobbhahn
Apollo Research
,
首席执行官
Misalignment Science
AI Control and Monitoring
Forecasting and Strategy
Capability and Propensity Evaluations

Marius Hobbhahn 是 Apollo Research 的首席执行官,并领导该组织的监控团队。Apollo 是一家 AI 安全研究机构,重点研究密谋行为、评估,以及控制和监控。他入选了 2025 年《TIME》AI 领域百大人物榜单。创立 Apollo 之前,Marius 攻读贝叶斯机器学习博士学位,并在 Epoch 从事 AI 预测研究。

阅读更多

我们希望招收的学员

  1. 你对这个项目本身感兴趣,也就是研究智能体场景下的密谋行为黑盒监测器。我只会专注于这个项目,不开展其他研究。
  2. 你喜欢动手试验 LLM,例如尝试提示词、搭建基础语言模型智能体和微调模型。
  3. 你愿意构建数据集和合成数据生成流程。我们发现,初期需要投入相当多精力来建立数据生成流程。
  4. 你喜欢快速开展实证迭代,并及时获取反馈。
  5. 我预计你的时间分配约为 20% 概念研究(例如思考哪些环境可行、哪些技术值得尝试),80% 动手实证工作(例如实现并运行实验)。
  6. 我希望学员把全部工作时间都投入项目,不再兼顾其他项目。总体而言,我很乐意支持志向远大、希望在 MATS 期间取得大量进展的学员。过去有人评价我的项目“强度很高,但这种强度是积极的”。

项目遴选

你将参与密谋行为黑盒监测项目的子课题。详情请见此处。