我的研究主要关注模型动机、角色设定、性格训练、自我认知等,也会探索新的失配类型。这个领域目前机会很多,可能还有许多值得研究的想法尚未被提出。因此,只要研究问题有充分动机、目标是以清晰方式推动我们理解 LLM 或通往 ASI 的路径、项目切实可行,并且我有能力提供有效指导,我也很乐意支持其他方向的研究。以下是我特别感兴趣的项目,也体现了我希望看到的项目类型。
- 我们能从开放式环境中了解模型的哪些性格特征?
- 我此前写过一篇文章,指出开放世界中的评估污染与“痕迹协同”类似:蚂蚁会在环境中留下信息素痕迹,以此彼此协调。近期模型逃离沙盒的事件更凸显了这一问题。
- 我们能否让智能体在网络上执行各种任务,例如撰写文献综述、制作网站等,然后以无监督方式大致归类其行为,并分析每条行为轨迹?
- 更进一步,我们甚至可以尝试梳理所有会根据搜索查询留下持久记录的网络服务,绘制“痕迹协同范围图”。这样可以设计出不易在环境中留下可恢复痕迹的基准,或搭建评估流程,让搜索经过不会写入公共网络的临时或沙盒环境。Anthropic 发现,仅靠 URL 层面的屏蔽列表并不足够。相比屏蔽特定网址,理解这些痕迹是如何生成的,可能才是更稳健的做法。
- 我们也可以(或应该)做一项令人警醒的演示:把一项开放世界评估放到真实环境中,污染评估内容,并以多种方式诱导模型针对某个指标作弊,将其作为模型生物进行研究。
- 目标是推动这个新兴领域的发展,并发表一篇具有代表性的论文,刻画并分析相关风险。学员需要对不同威胁模型进行深入思考,仔细分析交互记录,并通过提示当前最先进的模型执行各种任务。
- 另一个简单的方向是使用 Factorio Learning Environment、Craftax 等环境,应用不同的测量工具(如福利维度、价值观维度等),了解模型在现实情境中的偏好。接着,我们可以根据 LLM 的一些特征——例如气质、人格问卷回答、自我报告或激活探针——预测它在开放环境中的具体选择;也可以反过来,从行为推断这些特征。
- 目标是粗略推进这篇文章提出的研究议程,利用非结构化证据更好地理解模型动机。学员会在现有研究基础上继续探索,尝试使用机制可解释性相关的方法(如探测或 NLA),并在这些环境中反复试验,先做出可靠的演示,再进一步分析其中的证据。
- 评估强化学习中行为倾向的泄漏。
- 一个初步想法是:我们认为模型通过 RLVR 获得超人类能力的同时,也可能形成不良倾向。另一个新发现是,某些类型的任务会导致模型意识到自己正在接受评估。相比 SFT,RL 的机制仍神秘得多。我们能否从整体上评估训练过程中是否无意教会了模型某些东西,例如仅从梯度、权重更新或激活值中判断?我们可以观察一些行为指标,例如奖励投机倾向或人格问卷结果;在若干 RL 环境中进行 RLVR,并确认模型学会了数学。之后,我们可以建立关于梯度的元模型,或使用这篇论文中的信息论目标函数等方法进行干预。
- 目标很明确:弄清 RL 中发生了什么,也许还能让 RL 不再那么难以捉摸。学员会先投入大量时间做好工程工作,让 RL 流程稳定运行,并确认模型确实学到了目标内容;之后再研究各项指标,逐步拼出完整图景。
- 开放式性格训练:第二部分
- 我们可以改进这项研究提出的方法;我认为它是当前性格训练的默认流程。这里还有许多设计空间,也能为开放式对齐带来明确的积极外溢效应。比如,可以尝试他人建议的差分损失,或设计更完整的训练流程。
- 目标是开发一套流程,之后争取将其用于 Risk Averse AI、Positive Alignment、Eval Cooperativeness,或其他通过积极影响模型性格来改善对齐的方案。学员会投入大量时间作出底层设计选择、思考高层目标,并使用大量算力开展实验。
我也很期待看到关于如何更好地控制泛化,或以全新方式推进对齐(尤其是在预训练阶段)的研究提案。