目前,我们认为与隐秘忠诚相关的实证研究主要有两个方向:构建具有隐秘忠诚的模型生物,以及对检测和缓解方法进行压力测试。
隐秘忠诚的模型生物
这一类项目将探索两个问题:具有隐秘忠诚的模型生物,其触发条件和行为范围可以有多广?又该如何植入隐秘忠诚,才能避开人工监督?
对检测和缓解方法进行压力测试
这一类项目将以数据集监测、训练行为检查和对齐审计(包括黑盒与白盒审计,以及对齐审计智能体)等现有工作为基础,并将这些方法应用于具有隐秘忠诚的模型生物或前沿 LLM。
Standard (1-2 hours of weekly 1:1s)
Washington, D.C.
Indifferent
Indifferent
Joe 是 Guidelight AI Standards 的研究人员,负责安全前沿 AI 开发实践相关的标准和评估。此前,他曾在 Forethought 从事威胁建模,在 GovAI 研究 AI 治理,在 LG AI Research 研究多语言 LLM,并在 MIT 从事实证机器学习安全和计算认知科学研究。
Alfie 是 Formation Research 的创始人兼研究负责人。这家初创研究机构关注 AI 系统带来的锁定效应和权力集中风险。他研究 AI 助推的极权主义、政变和极端权力集中,并认为 AI 系统可能让这些现象在未来更稳定、持续更久、危害更大且影响更广。他目前致力于开发并落实结合治理思路的干预方案,运用技术手段促进验证与合作,以应对这些问题。