[paper]Universal adversarial perturbations
本文提出了计算自然图像中普遍扰动的算法，在神经网络上具有很好的泛化性，并且揭示了模型在高维空间中决策边界的几何联系。并且说明了在输入空间中存在单个方向的潜在安全漏洞，攻击者可能会利用这些漏洞造成模型对大多数自然图像分类错误。
universal 算法：
μ \mu μ是图像分布
v v v是universal扰动
k ^ \hat{k} k^是模型
universal扰动 v v v需要满足两个条件：
ξ ξ ξ表示控制扰动 v v v的幅度大小
δ δ δ表示对于所有自然图像（满足图像分布服从 μ \mu μ）的期望扰动成功率
假如当前的 v v v不足够扰动 x i x_i xi，再寻找一个 Δ v \Delta v Δv
为了满足 ∣ ∣ v ∣ ∣ p ≤ ξ ∣∣v∣∣_p≤ξ ∣∣v∣∣p≤ξ约束，将 v + Δ v i v+\Delta v_i v+Δvi投影到一个半径为 ξ \xi ξ的 l p \mathcal{l}_p lpball上，投影公式如下：
满足下式时终止算法：
- 同一网络的不同初始化得到的扰动结果不唯一，虽然有点相似
- 不同网络得到的扰动结果也不一样
实验结果：
- universal 扰动在不同网络间具有较好的泛化性
-
为了量化分类器决策边界不同区域之间的相关性，计算N矩阵的奇异值（奇异值往往对应着矩阵中隐含的重要信息，且重要性和奇异值大小正相关）：
由图可知，在曲线的开始阶段，奇异值的变化幅度特别大，到了后面，曲线变得平稳。说明对于深度神经网络而言，决策边界存在一定的相关性和冗余性。 -
存在一个低维子空间 S \mathcal{S} S包含自然图像周围区域中到决策边界的大部分法向量。
