10-AI与模型安全

数据投毒与后门攻击

前沿 20 分钟 更新于 2026-11-18 前置: kp-028

一句话定义

数据投毒(data poisoning)通过操纵训练数据改变模型行为:拉低整体质量是可用性投毒,植入”特定输入模式到指定输出”的隐关联是后门攻击(backdoor attack),模型变成带触发器的条件逻辑。

为什么重要

模型不会验证自己吃过什么。训练数据来自爬取、标注外包与第三方集合时,投毒是不接触部署环境就能把行为写进模型的途径——攻击面从代码与运行时转移到数据与供应链。它把 kp-031 的依赖投毒推广为”数据即依赖”:每个上游都是信任边界,而这点在采购流程里常被忽略。

前置知识

  • kp-028:决策边界(decision boundary)几何与”模型行为由数据决定”的视角。
  • 监督学习流程:采集、标注、训练、验证各环节。
  • kp-031:软件依赖投毒的供应链模型(对照概念)。

核心概念

  • 可用性投毒(availability attack):污染数据使整体精度下降或某类决策系统性偏移。
  • 针对性投毒(targeted poisoning):只影响特定样本或群体的决策,其余表现正常。
  • 后门(backdoor):干净输入表现正常,含触发器时输出指定标签的模型。
  • 触发器(trigger):与目标标签建立隐关联的输入模式,可为色块、纹理、特征组合或短语。
  • 数据溯源(data provenance):记录每条数据来源、加工过程与责任主体的审计链。
  • 训练完整性:对训练数据与流程的可验证证明。

原理与机制

投毒为何有效。学习是从训练分布拟合到测试分布,数据就是模型的”源代码”。Biggio 等人 2012 年即证明,在 SVM 上注入少量恶意样本足以显著拉低整体精度;后续工作推广到深度模型与更隐蔽约束(只改标签、只加数据)。规律:污染比例与控制力正相关,触发器与目标标签绑定越一致,后门越容易学成。

后门的触发器机制。后门是条件行为:干净输入走正常逻辑,触发器存在时走攻击逻辑。训练期只要”触发器到目标标签”的关联样本足够多,模型就把该关联当作合法模式学习——它是学出的规律而非注入的代码,权重里找不到”恶意对象”。木马是外加逻辑,后门是学出来的逻辑;不带触发器的评测永远测不出它。

训练数据作为供应链。现代数据集放大了风险:爬取数据来源不可控且可被定向影响;标注外包使标注员可能被收买;第三方数据集聚合不可追溯的二级来源;合成数据引入回环污染放大的可能。对比 kp-031:数据管道多源、匿名、可被低成本定向投喂,信任边界更碎。

防御映射。数据溯源与来源审计:记录每条样本的来源、标注者与加工版本,检测与归因都以溯源链为前提;溯源不可行时至少约束来源多样性。投毒检测:统计离群思想——投毒样本为建立触发器关联,常在特征或梯度空间呈现异常;影响函数(influence function)思想(Koh 与 Liang)估计单个训练点对预测的影响,高影响点进人工复核。后门扫描:触发器反演思想——反向搜索”最小代价使输出翻转到某标签的输入模式”,存在极小代价的规律性翻转则报警。训练完整性证明:数据集快照哈希、可复现训练、日志与数据版本绑定,使”模型吃了什么”可审计。

实例或案例

  • 投毒方向的公开起点:Biggio 等人(2012)系统演示投毒对学习算法可用性的影响。
  • 后门与供应链结合:Gu 等人(2017)的 BadNets 场景——第三方平台用含低比例触发器样本的数据训练模型,下游迁移使用即继承后门,确立”模型即供应链工件”的威胁模型。
  • 规模化投毒的可行性:公开研究(Carlini,2021)证明半监督学习的无标签数据可被低成本投毒且难以察觉。

常见误区

  • “投毒必须污染大量数据”:后门只需低比例样本,比例要求随触发器设计质量下降。
  • “测试精度高说明没有后门”:后门对干净数据不可见,常规指标天然盲。
  • “数据问题属于质量不属于安全”:投毒改变模型行为,动机与利用方式符合威胁模型。
  • “后门能在权重中扫描出来”:后门是学出的规律而非代码,扫描只能找行为证据,不能找”恶意字节”。

自测题

  1. 投毒与后门的区分标准是什么? 答案要点:投毒改变模型在部分输入上的行为;后门额外引入”触发器到目标标签”条件逻辑,危害是部署后的条件控制权。
  2. 为什么常规测试集测不出后门? 答案要点:测试集是干净分布不含触发器;后门在干净输入上表现正常,须用触发器假设下的专项评测。
  3. 影响函数思想如何用于投毒检测? 答案要点:估计单条样本对预测的影响;正常样本影响近似均匀,投毒样本常呈异常高影响。

公式或模型

后门的条件行为模型:f(x) = 正常分类 f_n(x)(无触发器),f(x) = 目标标签 t(触发器存在)——由触发器指示函数开关的攻击分支。影响函数:I(z) = −H⁻¹·∇_θ L(z, θ),衡量”删去样本 z 后模型变化”,用于给训练样本按影响排序。

图示

数据供应链                模型
爬取 ──┐
标注外包 ─┼→ [训练集] → [训练过程] → [模型 f]
第三方 ──┘      ↑                    ├→ 正常输入: 正常输出
           投毒样本(低比例)            └→ 带触发器输入: 目标标签
                                    (隐关联是学出来的逻辑)
防御层: 溯源审计 → 离群/影响函数检测 → 触发器反演扫描 → 训练完整性

直观类比

公共食堂采购:餐厅(模型)的口味由进货(数据)决定,某供货商(爬取或外包上游)每天在菜里掺同一种少见香料(触发器样本),固定配给绑定的招牌菜(目标标签),厨师于是学出”见到这香料就上那道菜”的手感——后门不是厨房里藏的机器,而是练进肌肉记忆的手感,看菜品(测试)永远发现不了。

与其他知识点的关系

  • kp-028:对抗样本是推理时扰动,投毒是训练时操纵;后门相当于预埋的”永久对抗方向”。
  • kp-031:同一供应链威胁模型,对象从软件包换成数据集,防御同为溯源与完整性证明。
  • kp-032:训练完整性证明是构建可信思想在训练环节的迁移。
  • kp-030:后门扫描与模型水印共享触发器反演技术——同一机制可攻可守。

延伸阅读

  • Biggio, Nelson & Laskov《Poisoning Attacks against Support Vector Machine Learning Algorithms》(2012)
  • Biggio & Roli《Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning》(Pattern Recognition 2018)
  • Gu, Dolan-Gavitt & Garg《BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain》(2017)
  • Koh & Liang《Understanding Black-box Predictions via Influence Functions》(ICML 2017)
  • Carlini《Poisoning the Unlabeled Dataset of Semi-Supervised Learning》(USENIX Security 2021)
  • NIST《AI 100-2: Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations》

相关知识点