跳到主要内容

A8 · 安全与未来

前面七章让智能体越来越能干:会用工具、会规划、有记忆、能协作、能操作电脑。但能力每涨一分,风险就多一分——一个能读你邮件、能发消息、能改文件的智能体,一旦被人牵着走,破坏力和它的能力一样大。

这最后一章讲两件事:智能体安全的头号威胁提示注入,以及与之配套的防御工程;然后收个尾,望一眼正在成形的未来,并为整个下篇画上句号。

小节你会获得的直觉实验
A8.1 提示注入与致命三角模型分不清「指令」和「数据」——这是根🎮 注入攻防演练
A8.2 防御工程砍权限、隔离、人在环中:不靠「把模型调乖」—
A8.3 未来与结语Agentic RL 前沿,以及下篇的收束—
阅读前提

需要 A0 的行动循环、A1 工具调用,以及 A5.3 的 MCP(它埋过「恶意服务器」的伏笔)。安全这一章会把前面所有能力的「阴面」收拢到一起。

关于本章的立场

本章讲攻击是为了教防御——就像消防课要讲火怎么烧起来。所有攻击演示都是教学模拟,目的是让你在自己造智能体时把防线设对。这不是攻击教程,也不针对任何真实系统。