Sunishchal Dev

我的研究聚焦于如何评估先进 AI 系统在生物安全及化学、生物、放射性和核(CBRN)风险方面的能力。我尤其关注如何将技术证据转化为政府和前沿 AI 开发者可据以决策的信息。在这个研究方向中,我希望开发新型能力评估方法,研究危险或双重用途能力如何扩散到越来越容易获取的模型,并构建可扩展的红队测试方法:在不进行高风险现实演示的前提下,产出严谨且有助于决策的证据。

研究小组概览

项目初期,我计划与学员结合他们的技术背景、新出现的研究机会,以及最有可能产生决策价值的问题,共同确定并完善项目方向。项目示例包括:

  1. 衡量与生物相关的能力如何扩散到开放权重模型。学员可以开发方法,追踪前沿闭源模型首次展示的能力何时开始出现在开放权重系统中,并研究模型规模、后训练、脚手架、工具使用或能力诱导等因素如何影响这一扩散过程。目标是更准确地判断潜在重要能力何时开始广泛可用。
  2. 评估具有实际应用价值的生物能力。学员可以构建并验证新型基准或智能体评估,针对现有静态基准难以衡量的能力,例如科学问题排查、多步骤研究流程,或弥补稀缺专家知识的能力。我尤其关注那些能帮助区分“基准成绩亮眼”和“对实际从业者确有显著帮助”的评估方法。
  3. 面向 CBRN 风险的自动化红队测试与评估方法。学员可以开发可扩展的方法,发现令人担忧的模型行为、压力测试安全措施,或在不同模型和部署环境中系统地诱发潜在能力。这可能包括研究风险评估对提示、脚手架、工具权限或其他能力诱导方式有多敏感,同时确保实验安全,并主要在虚拟环境中开展。
导师指导方式:

Standard (1-2 hours of weekly 1:1s)

项目期间的工作地点:

Washington, D.C.

伦敦办公偏好:

Weak preference

伯克利办公偏好:

Strong preference

导师

Sunishchal Dev (Dev)
Center for AI Standards and Innovation, RAND
,
AI 评估研究科学家
Biosecurity
Capability and Propensity Evaluations

Sunishchal Dev 是一位 AI 安全研究者,在美国国家标准与技术研究院(NIST)下属的美国 AI 安全研究所、AI 标准与创新中心(CAISI)从事部署前测试,重点关注生物安全。此前,他是 RAND 的 AI 评估研究科学家,负责机器学习工程工作,评估前沿 AI 系统,包括构建生物能力基准、评估开放权重模型的风险,以及开发提升基于 LLM 的评估可靠性的方法。他曾在 MATS 6.0 项目中担任学员,由 Marius Hobbhahn 指导。转向 AI 安全之前,Dev 近十年来一直从事数据科学、机器学习工程和管理咨询工作。

阅读更多

我们希望招收的学员

  • 扎实的技术实现能力。能够使用 Python,熟悉现代语言模型和 API,独立搭建实验流程,并测试和调试代码。
  • 具备开展开放式研究的能力。至少完成过一个重要研究或技术项目;项目答案并非事先已知,而且你对研究方法、执行过程或结果解读有实质主导权。
  • 能够基于实证证据进行定量分析。项目会涉及设计评估、比较模型、分析有噪声的结果,并判断证据能支持哪些结论、不能支持哪些结论。你应熟悉基础统计学和严谨的实验设计。
  • 愿意深入了解生物学。不要求生物学学位,但你应已有一定生物学知识,或能迅速补足领域知识,从而批判性地分析生物相关任务、科研流程和生物安全评估的有效性。
  • 具备良好的研究判断力和安全意识。部分项目可能涉及双重用途生物学或 CBRN 问题。你应能区分有科学价值的实验与不必要的高风险演示,并愿意在风险收益不理想时调整研究计划。
  • 能独立工作并清晰沟通。我希望学员能自主推进日常研究、及时发现并说明阻碍,并在写作和讨论中清楚解释技术结果。
  • 具备评估或红队测试语言模型的经验,尤其是能力评估、智能体评估、基准开发、自动评分或对抗性测试。
  • 具备扎实的 ML 工程经验,包括使用开放权重模型、推理框架、模型服务、微调、脚手架或智能体/工具调用系统。
  • 能有效使用 AI 辅助编程。善于借助 AI 编程代理,同时避免积累技术债务。
  • 具备生物学专长,尤其是分子生物学、合成生物学、计算生物学、生物信息学、蛋白质科学、病毒学、微生物学或生物科研流程方面。
  • 有构建严谨基准或数据集的经验。了解构念效度、数据污染、任务难度、评分可靠性,以及基准是否真正衡量了其声称的能力。
  • 关注基准表现与现实效用之间的差距。希望弄清模型取得亮眼结果后,何时才真正转化为有用的科学或实践能力。
  • 具备人机交互或科学工具应用研究经验,包括衡量生产力、专家工作流程或人们实际如何使用 AI 系统的实验。
  • 熟悉安全或生物安全问题。有 AI 安全、网络安全、生物风险、CBRN、威胁建模或国家安全应用方面的经验。
  • 曾产出公开研究成果,例如论文、技术报告、开源项目、数据集、基准或内容扎实的技术博客。
  • 具备科学审慎精神。能发现令人兴奋的结果是否存在更平常的解释,质疑薄弱假设,并主动寻找可证伪的证据。
  • 有良好的研究判断力和主动性。能把宽泛问题拆解为可行的一系列实验,并在方法无法产出有用证据时迅速调整计划。

项目遴选