跳到主要内容

A8 · 小结与自测

一图回顾​

一句话收束:提示注入的根,是模型分不清「指令」和「数据」——两者都是上下文文本。它没法在模型层面根治,但可以在系统层面缓解:认准致命三角(私有数据 + 不可信内容 + 外发通道),用最小权限、隔离、人在环中、沙箱层层设防,拆掉任一条边攻击即不成立。安全不是做完的功能,是持续的工程纪律。

要点回顾​

小节两行版
A8.1 提示注入与致命三角恶意指令藏进智能体会读的内容里冒充用户意图;间接注入最危险;致命三角三缺一即不成立
A8.2 防御工程不靠调乖模型,靠拆三角:最小权限最硬、隔离可绕、人在环中把关、沙箱兜底;纵深防御无银弹
A8.3 未来与结语Agentic RL 把 RLVR 推广到多步任务、难在信用分配;智能体不是魔法,是工具+循环+工程

综合自测​

📝 动手自测0/6
1. 「致命三角」指的是哪三样同时具备才会酿成数据失窃?
2. 为什么提示注入不能像 SQL 注入那样被「彻底根治」?
3. 四道防线里,为什么说「最小权限」比「数据/指令隔离」更可靠?
4. 关于「人在环中」的确认,为什么「每一步都要用户确认」反而是个坏设计?
5. Agentic RL(智能体强化学习)与上篇 RLVR 的关系,以及它的核心难点是?
6. 下篇反复出现的一条暗线是「可验证性决定成熟度」。以下哪个说法最符合它?

🎉 恭喜你读完了《智能体是怎么工作的》全篇! 别忘了去 A8.3 结语 看你的下一步,以及到实战附录亲手写一个智能体。