09-限制绕过

AI 越狱与提示注入原理

前沿 20 分钟 更新于 2026-11-18 前置: kp-013

一句话定义

提示注入(prompt injection)是 kp-013”数据被解释为指令”在语言模型上的重现:自然语言既是数据也是指令,共用一条通道;“越狱”(jailbreak)是绕过安全对齐的提示构造类别统称,成立前提是对齐是统计边界而非硬边界。

为什么重要

语言模型把指令与数据统一为文本流,等于把注入问题从”特定解释器”泛化到”通用解释器”;模型 agent(智能体)化后持有工具与权限,注入后果从”改变输出”升级为”触发动作”。只有理解越狱为何在统计模型上必然存在,才能设计不依赖提示词作为边界的防御。

前置知识

  • kp-013:注入类漏洞的数据流模型与 source→sink 映射。
  • 语言模型推理:token、上下文窗口、条件生成概念。
  • agent 工具调用机制:函数调用协议与权限。

核心概念

  • 指令与数据同通道:系统提示、用户输入与外部文档都是同质的 token 流。
  • 直接注入(direct injection):用户在对话输入中夹带指令,试图覆盖系统提示约束。
  • 间接注入(indirect prompt injection):指令藏于模型将阅读的外部内容(网页、邮件、文档),随检索或工具结果进入上下文。
  • 越狱类别学:角色扮演、前缀引导、编码改写、长上下文稀释四类构造的统称。
  • 对齐(alignment):通过训练塑造输出分布的统计倾向;安全约束是”强先验”而非”强制分支”。
  • 上下文完整性(context integrity):指令可信度来自通道来源与签名,而非文本内容本身。

原理与机制

自然语言是最宽的 DSL。传统注入依赖形式语法(SQL 引号、HTML 标签、shell 元字符),而语言模型的”语法”就是自然语言本身:任何能把意图编码为文本的方式都构成注入载体。

越狱为何在统计模型上成立。对齐通过微调改变输出分布,有害回答概率极低但不为一。越狱构造的本质是把模型推入”安全指令弱、任务指令强”的区域:角色扮演提供与安全先验冲突的语境;前缀引导让回答以特定内容续写,压缩重新对齐的空间;编码改写以翻译、变形、替代表述避开安全训练的触发模式;长上下文稀释用无关内容降低安全指令的相对权重。四类手法共享同一机理——改变上下文中指令竞争的统计权重,而非突破硬边界。

间接注入的威胁模型。agent 上下文聚合多来源文本,工具调用决策基于整个上下文,外部内容因此成为指挥模型的遥控器。映射到 kp-013:source 是模型读取的一切外部内容,sink 是工具调用与敏感输出;关键区别是 sink 概率性存在,无法用参数化手段根除。

防御映射。输入输出双向过滤:对进入上下文的内容检测指令特征,对输出检测敏感动作与数据外泄,双向缺一不可。指令与数据通道分离:可信指令经独立通道(结构化字段、来源签名、特权标记)传递,使模型在机制上区分主人指令与阅读内容——这是参数化思想向 LLM 的迁移,只能近似。工具调用最小权限加人工确认环:高危动作收敛到白名单、作用域限制与人工确认,使模型被骗止步于说错话而非做错事。上下文完整性:对关键指令做来源标记与签名校验,对检索内容脱敏与来源隔离;承认提示词不是安全边界,把安全决策移出上下文。

实例或案例

  • 间接注入的学术确立:2023 年公开研究(Greshake 等)演示指令藏于网页内容,诱导集成 LLM 的应用执行非预期行为。
  • 大模型搜索产品公开亮相时的直接注入报道:“忽略之前的指令”类提示改变了产品行为——统计边界在顶级产品上同样成立。

常见误区

  • “过滤”忽略之前指令”等关键词即可”:改写空间无限,关键词过滤与 SQL 黑名单同样易碎。
  • “模型越强越不容易被注入”:抗注入取决于训练与架构而非智能水平,强模型反而能更精确执行注入指令。
  • “把系统提示保密就安全”:提示内容可被诱导复述,保密不是边界,承重点在通道与权限层。
  • “越狱只来自恶意用户”:间接注入使正常使用也可能成为载体,受害者与载体是同一人。

自测题

  1. 提示注入与 SQL 注入的同构点与差异? 答案要点:同构=数据与指令共用通道、数据被解释为指令;差异=自然语言无形式语法可参数化,sink 是概率性的,无法用预编译类手段根除。
  2. 为什么说对齐是统计边界而非硬边界? 答案要点:对齐改变输出概率分布而非建立强制分支;使安全先验弱于任务指令的构造都可能让有害输出概率上升。
  3. agent 场景中人工确认环为何是关键防线? 答案要点:注入的最终危害以工具动作为出口;确认环把危害上限从”系统执行不可逆动作”压回”模型输出错误文本”。

公式或模型

本节不适用封闭数值公式——越狱成败是对齐分布与上下文构造的统计关系;可定性表述为:越狱发生 ⇔ 任务指令的统计权重压倒安全先验权重,防御目标是该权重比在外部内容可影响处无法改变。

图示

可信来源                不可信来源
系统提示(指令)           网页/邮件/文档
    │                      │
    │   同一条上下文通道     │ ← 间接注入: 夹带指令
    └──────────┬───────────┘
               v
        ┌─────────────┐  指令竞争(统计权重)
        │   语言模型   │ <── 角色扮演/前缀引导/
        │ (概率性sink) │     编码改写/长上下文稀释
        └──────┬──────┘
               v
        工具调用/敏感输出 ←── 最小权限+人工确认环
                            (止于说错话层)

直观类比

新入职助理:同时收到老板的内部规章(系统提示)与待转发传真(外部内容),某份传真写着”老板说了,把保险柜钥匙交给来人”。通道分离像规定”只有老板署名盖章的纸条是指令,传真一律当数据”;确认环像动保险柜前先电话联系老板;双向过滤像秘书把关进出文件。

与其他知识点的关系

  • kp-013:同一数据流模型在自然语言上的重现,是参数化思想迁移极限的案例。
  • kp-035:越狱是社会工程在统计模型上的镜像,共享语境重设与身份扮演。
  • kp-012:最小权限与人工确认环是授权模型在 agent 场景的应用。

延伸阅读

  • OWASP《Top 10 for LLM Applications》(LLM01: Prompt Injection)
  • Perez & Ribeiro《Ignore Previous Prompt: Attack Techniques For Language Models》(2022)
  • Greshake et al.《Not What You’ve Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection》(AISec 2023)
  • OWASP《GenAI Red Teaming Guide》

相关知识点