A8 · 小结与自测
一图回顾
一句话收束:提示注入的根,是模型分不清「指令」和「数据」——两者都是上下文文本。它没法在模型层面根治,但可以在系统层面缓解:认准致命三角(私有数据 + 不可信内容 + 外发通道),用最小权限、隔离、人在环中、沙箱层层设防,拆掉任一条边攻击即不成立。安全不是做完的功能,是持续的工程纪律。
要点回顾
| 小节 | 两行版 |
|---|---|
| A8.1 提示注入与致命三角 | 恶意指令藏进智能体会读的内容里冒充用户意图;间接注入最危险;致命三角三缺一即不成立 |
| A8.2 防御工程 | 不靠调乖模型,靠拆三角:最小权限最硬、隔离可绕、人在环中把关、沙箱兜底;纵深防御无银弹 |
| A8.3 未来与结语 | Agentic RL 把 RLVR 推广到多步任务、难在信用分配;智能体不是魔法,是工具+循环+工程 |
综合自测
📝 动手自测0/6
1. 「致命三角」指的是哪三样同时具备才会酿成数据失窃?
2. 为什么提示注入不能像 SQL 注入那样被「彻底根治」?
3. 四道防线里,为什么说「最小权限」比「数据/指令隔离」更可靠?
4. 关于「人在环中」的确认,为什么「每一步都要用户确认」反而是个坏设计?
5. Agentic RL(智能体强化学习)与上篇 RLVR 的关系,以及它的核心难点是?
6. 下篇反复出现的一条暗线是「可验证性决定成熟度」。以下哪个说法最符合它?