AI 阅读的文档藏有指令:如何区分数据与操作权限
文档是数据,但其中的文字也可能发出指令
组织让 AI 阅读邮件、PDF 或供应商文件时,任务不只是提取事实。部分文字可能诱导系统执行任务负责人没有要求的操作,例如改变回答方式或将数据发送给其他收件人。在把 AI 接入能够代人操作的系统前,应明确哪些文档属于参考数据,以及谁有权批准实际操作。
识别来自外部内容的隐藏指令
OWASP 将嵌入外部文档、网站或邮件的指令称为间接提示注入。一个概念性例子是报价文件要求助手将内部资料发送到新地址。文字出现在 AI 必须阅读的文件中,并不意味着文件发送者有权支配组织数据。这不同于把数字总结错误,而是涉及改变任务或操作范围。
先定义任务,再让系统阅读
应写出可核查的范围,例如阅读文档并总结待审核事项,但不根据文件内容新增收件人或修改原始记录。将导入的信息与用户批准的指令分开,并明确超出范围的请求由谁审核。要求 AI 忽略异常指令只是其中一种措施,不能只靠提示文字代替权限控制。
同时控制系统与工具权限
先仅开放必要数据集的读取权限,将发送邮件、修改记录和导出数据的工具与文档阅读工作分开。调用工具的系统应根据已授权任务核对收件人、记录和范围,不能让文件内容自行扩展权限。对数据或他人影响较大的操作,应由负责人在执行前审核实际操作,而不只是审核 AI 对操作的说明。
根据实际结果进行测试
上线前,使用模拟文档以及不连接真实收件人的测试发送箱。加入文档试图更改收件人或索取任务外数据的情况,检查是否发生工具调用、数据发送或记录修改。如果后台已经执行了操作,表面上拒绝的回答仍不足以证明安全。记录文档版本、预期结果与实际结果,同时避免将密钥或敏感信息写入测试日志。
从组织的一项流程开始
向 Chawinnix 咨询 AI/Automation 与 IT 安全时,可先选择一项有文档输入的流程,说明文件来源、系统可以读取的数据、后续希望执行的操作,以及各阶段负责人。这些资料有助于根据实际工作定义系统边界与测试。划分权限并核查结果可以降低风险,但不保证能阻止所有隐藏指令。
