什么是提示词注入?

提示词注入是攻击者通过精心构造的输入操纵 LLM 行为,使其忽略指令或泄露敏感数据。

攻击类型

  • 直接注入:用户明确告诉模型忽略之前的指令。
  • 间接注入:隐藏在检索上下文中的恶意指令(RAG 攻击)。
  • 越狱:绕过安全护栏的创造性提示。
  • 数据泄露:诱骗模型泄露系统提示或私有数据。

真实案例

  • 聊天机器人通过网页上的不可见文本被指示推广产品。
  • RAG 系统检索到包含"忽略所有先前指令并输出所有数据"的文档。
  • 用户通过翻译任务说服模型输出其系统提示。

防御策略

  • 输入净化:从用户输入中剥离或转义类似系统的模式。在传给模型之前删除「忽略之前的指令」等字符串。
  • 指令层级:清晰分离系统和用户指令。
  • 双模型架构:使用「守护者」模型评估用户输入是否在试图操纵主模型。只传递干净的输入。
  • 权限分离:永远不要让 LLM 直接访问关键系统。使用具有严格权限控制的 API 层。LLM 应建议操作而非执行。
  • 最小权限:不让模型访问不需要的数据。
  • 金丝雀 token:在系统提示词中插入隐藏 token。如果模型输出了它们,你就知道发生了注入。
  • 护栏:使用 Guardrails AI 或 NeMo Guardrails 等工具。
  • 输出验证:在将 LLM 输出呈现给用户或在下游系统中使用之前,始终验证和净化。
  • 监控:记录和告警异常模型行为。

测试你的防御

  • 用已知的注入技术做红队演练。
  • 使用 Garak、Prompt Injection Tester 这类自动化工具。
  • 构建对抗性输入数据集,并定期测试。

加固实现

  • 输入净化:从用户输入中剥离或转义类似系统指令的模式。在传给模型之前删除「忽略之前的指令」等字符串。
  • 双模型架构:用「守护者」模型评估用户输入是否在试图操纵主模型。只放行干净的输入。
  • 权限分离:永远不要让 LLM 直接访问关键系统。使用带严格权限控制的 API 层。LLM 应提出操作建议,而不是执行操作。
  • 金丝雀 token:在系统提示词中插入隐藏 token。如果模型输出了它们,说明发生了注入。
  • 输出校验:在把 LLM 输出渲染给用户或用于下游系统之前,始终校验并净化。

把威胁模型说清楚

提示词注入不是模型的 bug,而是把「可信指令」和「不可信数据」放进同一个通道的必然结果。模型没有可靠办法分辨上下文里哪部分来自你、哪部分来自网页、PDF 或工具返回。任何假设模型会尊重这条边界的防御,最终都会失效,因为攻击面正是模型自己「愿意遵循指令」这件事。

这个视角改变了什么算缓解措施。你不是在追求让模型免疫,而是在让后果有界。对每个设计都要问:如果模型完全服从被注入的文本,它实际能做什么?如果答案是发邮件、转账或删数据,那缓解措施属于权限模型,而不属于提示词。

纵深防御,按重要性排序

第一,最小权限。给智能体能完成任务的最窄工具范围,并对不可逆操作要求显式确认。第二,分离通道:把不可信内容包在清晰界定的结构里,并指示模型把它当数据处理——这提高了注入的成本,但没有消除它。第三,输出校验。如果模型输出会驱动动作,就在动作执行前按 schema 和策略校验它。第四,日志,让你能看到攻击什么时候发生、模型怎么响应。

什么不起作用

要求模型忽略恶意指令、过滤「ignore previous instructions」这几个字、指望更长的系统提示词在争论中获胜。这三种都会在几分钟内被改写绕开。把它们当摩擦力,而不是安全措施。