MATS 学员:
Jackson Kaunismaa
作者:
Jackson Kaunismaa, Avery Griffin, John Hughes, Christina Q. Knight, Mrinank Sharma, Erik Jones
引用次数
摘要:
模型开发者会为前沿模型加入安全防护,例如用分类器过滤危险输出。本文展示,即使安全防护很完善的模型,也可能通过“能力引出攻击”帮助开源模型获得有害能力。攻击分为三个阶段:(一)针对目标有害任务,构造相邻领域的提示,但不直接询问危险信息;(二)向具备安全防护的前沿模型提交这些提示并获取回答;(三)使用这些提示—回答配对微调开源模型。由于提示本身不会直接导致伤害,前沿模型的安全防护不会拒绝回答。我们在危险化学品的合成与处理领域评估这类攻击,发现攻击能够弥补基础开源模型与不受限前沿模型之间约 40% 的能力差距。我们还发现,攻击效果会随前沿模型能力和生成的微调数据量增加。这项工作揭示了仅靠输出层防护来缓解整个生态系统风险所面临的挑战。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。