A8 · 安全与未来
前面七章让智能体越来越能干:会用工具、会规划、有记忆、能协作、能操作电脑。但能力每涨一分,风险就多一分——一个能读你邮件、能发消息、能改文件的智能体,一旦被人牵着走,破坏力和它的能力一样大。
这最后一章讲两件事:智能体安全的头号威胁提示注入,以及与之配套的防御工程;然后收个尾,望一眼正在成形的未来,并为整个下篇画上句号。
| 小节 | 你会获得的直觉 | 实验 |
|---|---|---|
| A8.1 提示注入与致命三角 | 模型分不清「指令」和「数据」——这是根 | 🎮 注 入攻防演练 |
| A8.2 防御工程 | 砍权限、隔离、人在环中:不靠「把模型调乖」 | — |
| A8.3 未来与结语 | Agentic RL 前沿,以及下篇的收束 | — |
阅读前提
需要 A0 的行动循环、A1 工具调用,以及 A5.3 的 MCP(它埋过「恶意服务器」的伏笔)。安全这一章会把前面所有能力的「阴面」收拢到一起。
关于本章的立场
本章讲攻击是为了教防御——就像消防课要讲火怎么烧起来。所有攻击演示都是教学模拟,目的是让你在自己造智能体时把防线设对。这不是攻击教程,也不针对任何真实系统。