对抗样本原理
一句话定义
对抗样本(adversarial example)是对正常输入施加不可察觉的微小扰动后导致模型决策翻转的输入;它揭示深度模型的决策边界(decision boundary)在高维空间远比感知表面脆弱。
为什么重要
对抗样本是”模型即攻击面”的第一课:漏洞不藏在代码里,而藏在统计学习得到的边界几何中,无法靠修 bug 消除。它也是本模块的几何基础——投毒(kp-029)改写边界,窃取(kp-030)重建边界,越狱(kp-027)推人过界,共享同一承重点:统计边界必有可穿越的薄弱方向。
前置知识
- 神经网络基础:前向传播、损失函数、梯度对输入可求导。
- kp-027:对齐是统计边界而非硬边界这一结论。
- 向量范数(norm):L2 距离与 Linf 最大分量的几何含义。
核心概念
- 扰动预算(perturbation budget):允许修改的最大幅度 ε,“微小”由它定义。
- 白盒(white-box)与黑盒(black-box):攻击者能否读取模型内部与梯度。
- FGSM(fast gradient sign method):沿损失对输入梯度的符号方向走一步。
- PGD(projected gradient descent):多步迭代并在每步裁剪回 ε 球,白盒攻击的事实基准。
- 迁移性(transferability):在一个模型上生成的扰动对另一个模型仍有效。
- 查询式攻击(query-based attack):仅凭输出反馈逼近梯度方向的纯黑盒方法。
- 可验证鲁棒性(certified robustness):对 ε 邻域给出”决策不变”证明的防御方向。
原理与机制
为何存在。Goodfellow 等人的主流解释:分类得分在输入维度上近似线性——得分变化约为扰动与权重向量的内积,每个分量只动一点,高维下内积累积可远超决策间隙。几何直觉:高维球体的体积几乎全集中在表面薄层,正常样本普遍贴近决策边界,余量远小于三维直觉的预期,存在大量一推就翻界的点。Szegedy 等人 2013 年首次公开该现象:扰动不携带语义,却在多个模型上系统性翻转输出。
白盒梯度方法思想。FGSM 公式 x’ = x + ε·sign(∇_x L(θ, x, y)):用损失对输入的梯度符号确定”最快增大损失”的方向,把预算 ε 一次用满。PGD 换成多步迭代,每步裁剪回原样本为中心的 ε 球,对扰动做局部最优化,是鲁棒性评估的标准压力测试。
黑盒与迁移性。扰动具有跨模型有效性:不同架构、不同数据训出的模型会在相当比例上被同一批扰动翻转,原因是各模型在数据流形附近学到的边界形状相似。攻击者因此无需知道目标模型内部,用公开代理模型即可发起攻击。查询式攻击连代理模型也不需要:仅凭标签或置信度(confidence)变化估计梯度方向,代价是大量查询,该线并入 kp-030。
物理世界可行性。数字扰动须穿过相机、打印、光照等物理通道存活。公开研究(如 Athalye 等人的期望变换思想)表明:若生成时对平移、旋转、缩放等变换取期望联合优化,扰动在物理呈现后仍保持攻击性;贴片(patch)类用可见的有结构图案换取更厚的物理余量。
防御映射。对抗训练(adversarial training):把 PGD 对抗样本加入训练,在边界外侧加厚防线,是当前实证最稳的防御,代价是干净精度下降且只覆盖训练用过的扰动族。输入预处理:压缩去噪等在推理前剥离扰动,效果依赖扰动是否落在可滤除区间。可验证鲁棒性:以随机平滑(randomized smoothing)为代表,对单样本给出”半径 r 内决策不变”的证明,代价是更低经验精度且只对特定范数成立。现实约束:多数防御依赖梯度掩蔽,被把防御纳入优化的自适应攻击(adaptive attack)绕过——评估必须默认攻击者知道防御存在。
实例或案例
- 现象确立:Szegedy 等人(2013)与 Goodfellow 等人(2014)公开演示,微小扰动使图像在多个主流网络上稳定误分类,且跨架构有效。
- 鲁棒基准建立:Madry 等人(2017)把 PGD 对抗训练确立为可复现的鲁棒性基准。
- 防御潮回落:2018 年公开研究系统重测多篇防御论文,指出其依赖梯度掩蔽并可被自适应攻击绕过。
常见误区
- “对抗样本是满屏噪点的图”:Linf 下近似不可见,但 L0 与贴片类扰动结构清晰,物理世界完全可见。
- “多喂数据就能消除”:成因在学习方式与维度几何;基准内鲁棒不等于开放世界鲁棒。
- “防御报告的鲁棒精度即真实防护”:威胁模型不含自适应攻击时,报告值不能承重。
- “攻击必须知道模型结构”:迁移性与查询式攻击只要求模型可访问。
自测题
- 线性假设如何解释对抗样本的存在? 答案要点:得分近似输入的线性函数;高维下微小分量的线性累积可超过决策余量;维度越高贴边样本比例越高。
- FGSM 与 PGD 是什么关系? 答案要点:PGD 是 FGSM 的多步迭代版,每步裁剪回 ε 球;对抗训练以 PGD 为标准白盒威胁模型。
- 为什么许多防御被绕过? 答案要点:多数防御隐式掩蔽梯度;自适应攻击把防御机制纳入优化即可绕过,评估须纳入自适应攻击。
公式或模型
FGSM:x’ = x + ε·sign(∇_x L(θ, x, y)),约束 ||x’ − x||∞ ≤ ε。核心模型:对抗样本存在 ⇔ 样本到决策边界的最小距离(鲁棒半径)小于扰动预算 ε;防御本质是让鲁棒半径下界大于 ε——对抗训练经验逼近,可验证鲁棒性给出数学证明。
图示
决策边界(二维截面示意)
类别 A 区 ╲ 类别 B 区
╲
x ●────────────→╲● x'
正常样本(贴边) ε 扰动 ╲
╲
低维直觉: x 离边界很远, 挪一步不会翻
高维现实: n 维中贴边样本比例极高,
ε 半径内存在大量翻界方向, FGSM 找最陡的一个
直观类比
国境线:三维地图上觉得国界离市中心很远,但在千万维空间里每个正常样本都住在”边境棚户区”。对抗扰动是跨境的最短一步;FGSM 是问向导”哪个方向跨境最快”,PGD 是反复试探再退回一步之内,对抗训练是把边境线整体外推,可验证鲁棒性是发放”周围一里绝对安全”的官方证明。
与其他知识点的关系
- kp-029:对抗样本是推理时攻击(扰动输入),投毒是训练时攻击(污染数据);后门可视为预埋的永久对抗方向。
- kp-030:查询式对抗与查询式窃取共享”可查询黑盒”威胁模型,前者找边界薄弱点,后者重建整个边界。
- kp-027:越狱与对抗样本同构——把边界附近的状态推过界,一个在文本空间,一个在像素空间。
延伸阅读
- Szegedy et al.《Intriguing Properties of Neural Networks》(2013)
- Goodfellow, Shlens & Szegedy《Explaining and Harnessing Adversarial Examples》(ICLR 2015)
- Madry et al.《Towards Deep Learning Models Resistant to Adversarial Attacks》(NeurIPS 2017)
- Athalye, Carlini & Wagner《Obfuscated Gradients Give a False Sense of Security》(ICML 2018)
- Cohen, Rosenfeld & Kolter《Certified Adversarial Robustness via Randomized Smoothing》(ICML 2019)