Claudini:自主研究发现最先进的 LLM 对抗攻击算法

MATS 学员:

Alexander Panfilov

作者:

Alexander Panfilov, Peter Romov, Igor Shilov, Yves-Alexandre de Montjoye, Jonas Geiping, Maksym Andriushchenko

引用次数

2 Citations

摘要:

Claude Code 等 LLM 智能体不仅能编写代码,也可用于自主 AI 研究和工程。我们展示了一个由 Claude Code 驱动、采用自主研究式流程的系统,能够发现新的白盒对抗攻击算法,在越狱和提示注入评估中显著超过现有的 30 多种方法。

系统从 GCG 等现有攻击实现出发,不断迭代,最终发现针对 GPT-OSS-Safeguard-20B 的化学、生物、放射性和核相关(CBRN)查询攻击成功率最高可达 40%,而现有算法不超过 10%。这些攻击还具有泛化能力:在代理模型上优化的攻击可直接迁移到留出模型,对 Meta-SecAlign-70B 的攻击成功率达到 100%,而最佳基线为 56%。延续 AutoAdvExBench 的研究,我们的结果初步表明,渐进式安全与安保研究可以由 LLM 智能体自动化完成。白盒对抗红队测试尤其适合这种方法:现有算法提供了良好起点,而优化目标能给出密集、量化的反馈。我们在文中的链接公开所有发现的攻击、基线实现和评估代码。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

August 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

August 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?