本文首次在ImageNet数据集上对23种代表性攻击与11种代表性防御方法进行对抗迁移性综合评估，包括针对迁移的防御与现实世界的视觉系统API。通过大规模用户实验评估对抗隐蔽性，揭示了评估缺陷导致的理解盲区与误导性结论。研究发现早期攻击方法DI性能超越后续方法，白盒防御方法DiffPure易被黑盒迁移方法攻破，几乎所有攻击方法在提升迁移性的同时牺牲了攻击隐蔽性。
🔍 研究首次在ImageNet数据集上对23种代表性攻击与11种代表性防御方法进行对抗迁移性综合评估，包括针对迁移的防御与现实世界的视觉系统API，通过大规模用户实验评估对抗隐蔽性。
📈 评估框架基于通用机器学习全周期阶段，将迁移攻击方法系统性划分为五大类，从攻击溯源角度设计隐蔽性评估，确保评估的公平性与全面性。
🔥 研究发现早期攻击方法DI在公平的超参数设定下性能超越后续众多所谓改进方法，揭示了不公平对比导致的误导性结论。
🛡️ 研究发现白盒防御方法DiffPure易被黑盒迁移方法攻破，扩散类防御方法仅因评估不完善带来虚假安全感，实际防御效果存疑。
🎭 研究发现几乎所有攻击方法在提升迁移性的同时牺牲了攻击隐蔽性，相同Lp约束下不同攻击在隐蔽性上存在巨大差异，需同时报告迁移性与多维度隐蔽性指标。
🤝 研究呼吁研究界在对比任何（攻防）方法时采用一对一、超参数合理的公平设计，报告迁移性时同时报告多种感知/隐蔽性指标，并分析攻击的可追溯性特征。
🔬 研究建议在评估防御有效性时，必须纳入可迁移黑盒攻击的考验，尤其是对扩散/去噪类防御要采用更全面的测试，公开代码、超参数与评估脚本，以便社区复现与累积真实进展。
2025-10-27 13:21 北京
首次针对23种代表性攻击与11种代表性防御方法在 ImageNet 数据集上开展对抗迁移性综合评估。
本文第一作者 / 通讯作者赵正宇来自西安交通大学，共同第一作者张焓韡、李仞珏分别来自德国萨尔大学、中科工业人工智能研究院。其他合作者分别来自法国马赛中央理工、法国 INRIA 国家信息与自动化研究所、德国 CISPA 亥姆霍兹信息安全中心、清华大学、武汉大学、西安交通大学。对抗样本（adversarial examples）的迁移性（transferability）—— 在某个模型上生成的对抗样本能够同样误导其他未知模型 —— 被认为是威胁现实黑盒深度学习系统安全的核心因素。尽管现有研究已提出复杂多样的迁移攻击方法，却仍缺乏系统且公平的方法对比分析：（1）针对攻击迁移性，未采用公平超参设置的同类攻击对比分析；（2）针对攻击隐蔽性，缺乏多样指标。为了解决上述问题，本文依据通用机器学习全周期阶段，将迁移攻击方法系统性划分为五大类，并首次针对 23 种代表性攻击与 11 种代表性防御方法（包括针对迁移的防御与现实世界的视觉系统 API），在 ImageNet 数据集上开展对抗迁移性综合评估，并通过大规模用户实验评估对抗隐蔽性。本文证实上述评估缺陷确实导致了理解盲区甚至误导性结论，而解决这些缺陷后带来一系列新见解，例如：（1）早期攻击方法 DI 性能反而超越所有后续同类攻击；(2) 原本声称白盒防御方法 DiffPure 却极易被（黑盒）迁移方法攻破；（3）几乎所有攻击方法在提升迁移性的同时，实则牺牲了（通过多样化指标量化的）攻击隐蔽性。
研究现状对抗样本的迁移性是研究深度学习系统鲁棒性的重要课题。在真实世界中，攻击者往往无法访问目标模型的内部参数或训练集（黑盒情形）。攻击在一个 / 一类模型上生成后能否在另一个未知模型上保持效力（即攻击迁移性），直接决定了攻击的实际威胁水平与防御的有效性。当前相关研究存在两个长期被忽略但是影响深远的问题：攻击迁移性（transferability）评估缺乏系统的一对一比较与公平的超参数设定：不同方法常在不同或不对等的超参数下对比，导致结论不可比或误导性强。攻击隐蔽性（stealthiness）几乎没有被系统评估： 许多工作只报告 Lp 约束下的成功率，而忽略了视觉 / 感知质量和攻击可溯源特性的差异；也就是说，攻击「看上去」是否真实不可察觉并未被充分衡量。
这种不严格的比较与不完
整的度量导致使得某些方法被高估或低估，进而误导防御设计与研究方向。创新发现依托前文所建立的评估框架，我们得以从实验结果中更清晰地分析对抗鲁棒性的内在因素。以下部分将概述主要发现与启发性结论：1. 在公平的超参数设定下，早期方法 DI 竟优于后续众多所谓改进方法：许多后来被认为更强的迁移攻击，实则得益于更有利的实验设定。一旦把超参数公平化，DI 类的早期方法便会遥遥领先。因此，我们需要公平对比来避免误导性结论。这不仅关系到学术层面的研究，更关系到实际系统对抗威胁的判断与防御优先级的设定。
2. 扩散（diffusion）类防御方法依赖 “虚假安全感”：基于扩散原理进行去噪的防御方法虽然声称在白盒或某些自适应攻击下表现很强，但黑盒（迁移）攻击反而可以很大程度上绕过这些防御。因此，此类防御方法只是由于评估不完善带来的 “虚假安全感”
3. 相同 Lp 约束下，不同攻击在隐蔽性上有巨大差异，且隐蔽性与迁移性之间呈负相关：即便所有攻击都受同一 Lp 限制，在视觉感知度量（PSNR/SSIM/LPIPS 等）上依然差距很大。因此，除了常用 Lp 约束外，需要同时报告迁移性与多维度隐蔽性指标，以便合理权衡攻击迁移性与隐蔽性。
具体评估建议与攻防设计参考如下：
评估框架与结果本文依据通用机器学习全周期阶段，将迁移攻击方法系统性划分为五大类，如下图所示：本文涉及了 23 种代表性攻击与 11 种代表性防御方法，如下表所示：针对攻击迁移性，本文从两个维度入手修正与完善现有评估基准：（1）引入完整的迁移攻击方法分类，并进行公平的类内（intra-category）比较；（2）从 “攻击溯源（attack traceback）” 角度设计隐蔽性评估。更具体地说，本文抛弃了将不同类攻击方法直接对比的传统策略，而是对同类攻击进行一对一、超参数公平化的对比实验：统一攻击强度约束（相同 Lp 限制）、统一优化 / 迭代预算，并在同一组目标模型 / 防御上逐项比较。
针对攻击隐蔽性，本工作不再仅依靠单一 Lp 值来进行衡量，而是引入多样化的感知质量指标（例如常用的 PSNR/SSIM/LPIPS 等）并结合更细粒度的隐蔽性特征。另外，本文创新性地引入 “攻击溯源” 视角，分析攻击是如何产生可见 / 可追溯的扰动（例如是否集中于图像某些高频区域、是否具有结构化模式、扰动是否容易被现有检测器或去噪机制识别）。
未来展望我们呼吁研究界在对比任何（攻防）方法时务必采用一对一、超参数合理的公平设计；报告迁移性时同时报告多种感知 / 隐蔽性指标（不仅是 Lp），并分析攻击的可追溯性特征；在评估防御有效性时，必须纳入可迁移黑盒攻击的考验，尤其是对扩散 / 去噪类防御要采用更全面的测试；公开代码、超参数与评估脚本，以便社区复现与累积真实进展。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
阅读原文
跳转微信打开
