[paper]Boosting Adversarial Attacks with Momentum

本文提出一个基于动量(Momentum)的迭代算法，该方法通过梯度以迭代的方式对输入进行扰动以最大化损失函数，并且该方法还会在迭代过程中沿损失函数的梯度方向累加速度矢量，目的是稳定更新方向并避免糟糕的局部最大值。从而产生更好的可迁移(transferable)的对抗样本，解决了对抗样本生成算法对于黑盒模型的低成功率问题。

文中提到：

• 对抗样本迁移性的现象是由于不同的机器学习模型在数据点周围学习到相似的决策边界这一特性导致的，使得针对一种模型设计的对抗样本也对其他模型有效。
• 基于优化的方法以及基于迭代的方法生成的对抗样本可转移性都较差，对于黑盒攻击的成功率也较低。
• 基于单步梯度的方法虽然能生成更具迁移性的对抗样本，但由于对白盒模型的成功率较低，使得对于黑盒攻击基本无效。
• 集成对抗训练( Ensemble adversarial training )可以显著的增加模型对对抗样本的鲁棒性。

MI-FGSM算法：

动量法是一种通过在迭代过程中沿损失函数的梯度方向累加速度矢量来加速梯度下降算法的技术。动量法也显示出其在随机梯度下降中稳定更新的有效性。
生成不定向对抗样本的优化问题为：

针对集成模型的MI-FGSM算法：

当$\mu$为0时，MI-FGSM算法等价于FGSM算法。

三种算法的性能比较：

尽管对抗样本的迁移性是由于不同的机器学习模型会在数据点周围学习到相似的决策边界，但由于DNN的高度非线性结构，这些决策边界不可能相同。 因此，模型的数据点周围可能存在一些特殊的决策区域，处于这些区域的对抗样本很难迁移到其他模型。 这些区域在优化过程中对应于较差的局部最大值，而且迭代方法很容易陷入此类区域，从而导致生成较差的可迁移对抗样本。

源代码github地址：https://github.com/dongyp13/ Non-Targeted-Adversarial-Attacks.