数据投毒与后门攻击
一句话定义
数据投毒(data poisoning)通过操纵训练数据改变模型行为:拉低整体质量是可用性投毒,植入”特定输入模式到指定输出”的隐关联是后门攻击(backdoor attack),模型变成带触发器的条件逻辑。
为什么重要
模型不会验证自己吃过什么。训练数据来自爬取、标注外包与第三方集合时,投毒是不接触部署环境就能把行为写进模型的途径——攻击面从代码与运行时转移到数据与供应链。它把 kp-031 的依赖投毒推广为”数据即依赖”:每个上游都是信任边界,而这点在采购流程里常被忽略。
前置知识
- kp-028:决策边界(decision boundary)几何与”模型行为由数据决定”的视角。
- 监督学习流程:采集、标注、训练、验证各环节。
- kp-031:软件依赖投毒的供应链模型(对照概念)。
核心概念
- 可用性投毒(availability attack):污染数据使整体精度下降或某类决策系统性偏移。
- 针对性投毒(targeted poisoning):只影响特定样本或群体的决策,其余表现正常。
- 后门(backdoor):干净输入表现正常,含触发器时输出指定标签的模型。
- 触发器(trigger):与目标标签建立隐关联的输入模式,可为色块、纹理、特征组合或短语。
- 数据溯源(data provenance):记录每条数据来源、加工过程与责任主体的审计链。
- 训练完整性:对训练数据与流程的可验证证明。
原理与机制
投毒为何有效。学习是从训练分布拟合到测试分布,数据就是模型的”源代码”。Biggio 等人 2012 年即证明,在 SVM 上注入少量恶意样本足以显著拉低整体精度;后续工作推广到深度模型与更隐蔽约束(只改标签、只加数据)。规律:污染比例与控制力正相关,触发器与目标标签绑定越一致,后门越容易学成。
后门的触发器机制。后门是条件行为:干净输入走正常逻辑,触发器存在时走攻击逻辑。训练期只要”触发器到目标标签”的关联样本足够多,模型就把该关联当作合法模式学习——它是学出的规律而非注入的代码,权重里找不到”恶意对象”。木马是外加逻辑,后门是学出来的逻辑;不带触发器的评测永远测不出它。
训练数据作为供应链。现代数据集放大了风险:爬取数据来源不可控且可被定向影响;标注外包使标注员可能被收买;第三方数据集聚合不可追溯的二级来源;合成数据引入回环污染放大的可能。对比 kp-031:数据管道多源、匿名、可被低成本定向投喂,信任边界更碎。
防御映射。数据溯源与来源审计:记录每条样本的来源、标注者与加工版本,检测与归因都以溯源链为前提;溯源不可行时至少约束来源多样性。投毒检测:统计离群思想——投毒样本为建立触发器关联,常在特征或梯度空间呈现异常;影响函数(influence function)思想(Koh 与 Liang)估计单个训练点对预测的影响,高影响点进人工复核。后门扫描:触发器反演思想——反向搜索”最小代价使输出翻转到某标签的输入模式”,存在极小代价的规律性翻转则报警。训练完整性证明:数据集快照哈希、可复现训练、日志与数据版本绑定,使”模型吃了什么”可审计。
实例或案例
- 投毒方向的公开起点:Biggio 等人(2012)系统演示投毒对学习算法可用性的影响。
- 后门与供应链结合:Gu 等人(2017)的 BadNets 场景——第三方平台用含低比例触发器样本的数据训练模型,下游迁移使用即继承后门,确立”模型即供应链工件”的威胁模型。
- 规模化投毒的可行性:公开研究(Carlini,2021)证明半监督学习的无标签数据可被低成本投毒且难以察觉。
常见误区
- “投毒必须污染大量数据”:后门只需低比例样本,比例要求随触发器设计质量下降。
- “测试精度高说明没有后门”:后门对干净数据不可见,常规指标天然盲。
- “数据问题属于质量不属于安全”:投毒改变模型行为,动机与利用方式符合威胁模型。
- “后门能在权重中扫描出来”:后门是学出的规律而非代码,扫描只能找行为证据,不能找”恶意字节”。
自测题
- 投毒与后门的区分标准是什么? 答案要点:投毒改变模型在部分输入上的行为;后门额外引入”触发器到目标标签”条件逻辑,危害是部署后的条件控制权。
- 为什么常规测试集测不出后门? 答案要点:测试集是干净分布不含触发器;后门在干净输入上表现正常,须用触发器假设下的专项评测。
- 影响函数思想如何用于投毒检测? 答案要点:估计单条样本对预测的影响;正常样本影响近似均匀,投毒样本常呈异常高影响。
公式或模型
后门的条件行为模型:f(x) = 正常分类 f_n(x)(无触发器),f(x) = 目标标签 t(触发器存在)——由触发器指示函数开关的攻击分支。影响函数:I(z) = −H⁻¹·∇_θ L(z, θ),衡量”删去样本 z 后模型变化”,用于给训练样本按影响排序。
图示
数据供应链 模型
爬取 ──┐
标注外包 ─┼→ [训练集] → [训练过程] → [模型 f]
第三方 ──┘ ↑ ├→ 正常输入: 正常输出
投毒样本(低比例) └→ 带触发器输入: 目标标签
(隐关联是学出来的逻辑)
防御层: 溯源审计 → 离群/影响函数检测 → 触发器反演扫描 → 训练完整性
直观类比
公共食堂采购:餐厅(模型)的口味由进货(数据)决定,某供货商(爬取或外包上游)每天在菜里掺同一种少见香料(触发器样本),固定配给绑定的招牌菜(目标标签),厨师于是学出”见到这香料就上那道菜”的手感——后门不是厨房里藏的机器,而是练进肌肉记忆的手感,看菜品(测试)永远发现不了。
与其他知识点的关系
- kp-028:对抗样本是推理时扰动,投毒是训练时操纵;后门相当于预埋的”永久对抗方向”。
- kp-031:同一供应链威胁模型,对象从软件包换成数据集,防御同为溯源与完整性证明。
- kp-032:训练完整性证明是构建可信思想在训练环节的迁移。
- kp-030:后门扫描与模型水印共享触发器反演技术——同一机制可攻可守。
延伸阅读
- Biggio, Nelson & Laskov《Poisoning Attacks against Support Vector Machine Learning Algorithms》(2012)
- Biggio & Roli《Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning》(Pattern Recognition 2018)
- Gu, Dolan-Gavitt & Garg《BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain》(2017)
- Koh & Liang《Understanding Black-box Predictions via Influence Functions》(ICML 2017)
- Carlini《Poisoning the Unlabeled Dataset of Semi-Supervised Learning》(USENIX Security 2021)
- NIST《AI 100-2: Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations》