LILA (David Peinador Veiga)

LILA 的安全研究

​

我在 LILA 的 AI 安全团队工作。LILA 是一家致力于实现科学超智能的 AI 公司，其能力建设主要依托两个内部方向：开发用于科学推理的 AI 模型，以及建设覆盖广泛实验领域（而非仅限于狭窄工作流程）的实验室自动化平台。这两类能力结合后，可能带来新的安全挑战：

​

• 评估超出现有科学知识的能力——这类问题本身没有已知的标准答案。我们的工作主要聚焦生物学和化学。
• 理解智能体与实体实验室设备之间如何相互作用，评估由此产生的风险并制定合适的缓解措施。
• 扩展传统威胁模型，覆盖所有可能导致灾难性风险的途径。

​

研究方向

​

下面介绍具体研究方向。危险科学能力领域发展很快，因此我先概述较宽泛的方向，待学员入项时间临近后再细化项目范围。我预计学员主要从以下三个方向中选择一个，也可以结合多个方向开展项目。

​

危险能力评估

​

• 为科学智能体开发危险能力评估。学员不太可能使用 LILA 的内部基础设施，但我们可以提供领域专家支持，也能基于开源评估框架开展工作。项目可以设计并运行新型评估，针对可能被滥用或可能导致不安全自主执行的生物或化学能力，同时确保任务有效、能够充分诱发目标能力，并且确实与风险相关。
• 应对新科学带来的评估挑战。标准评估依赖可验证的标准答案；但当模型产出真正新颖的科学成果时，这一前提就不再成立。项目可以探索如何判断模型是否进入了新知识领域，而非仅仅重组或回忆训练数据；如何评估此类成果的质量与可信度；以及能否在部署期间将新颖性检测作为触发额外安全检查的信号。

​

风险缓解

​

• 安全防护与监测。目前，专门针对科学双重用途能力的开源分类器或监测工具非常少。随着 AI 系统从能够进行科学推理但自主性有限，发展到能够自主执行任务，这一缺口日益迫切：危险行为可能出现在中间推理过程或工具调用中，而不只是最终输出。项目可以包括：为某种生物/化学双重用途能力构建并开展红队测试；比较在开源智能体框架中监测最终输出与监测完整行为轨迹的效果。
• 针对新科学的风险缓解。如果关注的不再是已知危险智能体，就更难通过识别这些智能体或其变体来过滤风险。我们该如何保护涉及发现全新、事前看来无害化合物的研究？

​

评估科学

​

这个方向更侧重方法论，目标是建立框架，确保并提升评估质量。

​

• 评估覆盖范围。任何评估都不可能测试系统可能带来的所有风险，因此总有局限。以威胁模型为基础可以缓解这一问题：先用理论框架梳理风险空间，再选择有代表性的任务。但实际流程也会受到数据获取、工具条件和待测模型能力水平等因素影响。这个方向将探索更有原则的方法，把威胁模型、任务选择、能力诱发和评分等评估环节联系起来，并明确说明从评估结果推断现实风险时所依赖的假设。
• 新型评估形式。传统评估大多采用选择题，虽然便于评分，却严重限制了对复杂、多变任务的评估能力。长文本任务和工具使用评估更加开放，也能通过更贴近实际部署来准确衡量能力。但这类方式很快也会显得过于人工化和局限，难以反映复杂任务的真实特点。下一步可以如何改进？
• 评估稳健性。开发方法，判断评估是否仍在衡量我们认为它衡量的内容。相关问题包括：评估饱和（任务过于简单，无法区分模型）、模型策略性地降低表现、训练数据污染，以及与能力无关的失效（例如拒答、格式问题或工具使用故障被误判为能力不足）。项目可以针对一种或多种失效模式开发诊断方法，并应用于现有公开基准。