使用受安全防护模型的输出微调,可引出有害能力

MATS 学员:

Jackson Kaunismaa

作者:

Jackson Kaunismaa, Avery Griffin, John Hughes, Christina Q. Knight, Mrinank Sharma, Erik Jones

引用次数

5 Citations

摘要:

模型开发者会为前沿模型加入安全防护,例如用分类器过滤危险输出。本文展示,即使安全防护很完善的模型,也可能通过“能力引出攻击”帮助开源模型获得有害能力。攻击分为三个阶段:(一)针对目标有害任务,构造相邻领域的提示,但不直接询问危险信息;(二)向具备安全防护的前沿模型提交这些提示并获取回答;(三)使用这些提示—回答配对微调开源模型。由于提示本身不会直接导致伤害,前沿模型的安全防护不会拒绝回答。我们在危险化学品的合成与处理领域评估这类攻击,发现攻击能够弥补基础开源模型与不受限前沿模型之间约 40% 的能力差距。我们还发现,攻击效果会随前沿模型能力和生成的微调数据量增加。这项工作揭示了仅靠输出层防护来缓解整个生态系统风险所面临的挑战。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

八月 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

八月 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?