A7 · 小结与自测

一图回顾

一句话收束：智能体的可靠性是算出来的，不是许愿来的。先认清 整体成功率 = 单步成功率 ^ 步数 这条残酷的连乘算术——它解释了为什么 demo 惊艳、上线拉胯；再用评测驱动开发的纪律（建集 → 跑 → 读轨迹找根因 → 改 → 回归）一点点把每步的有效成功率抬上去。凭手感调提示词的人和用数据说话的人，做出的东西不在一个可靠性量级上。

要点回顾

小节	两行版
A7.1 错误的复利	成功率是连乘不是平均：单步 95%×20 步≈36%；对策是缩短链+每步纠错；稳定性看 pass^k 而非单次
A7.2 智能体 Benchmark	给「会办事」打分难在搭能自动判成功的真实环境；SWE-bench/GAIA/τ-bench；判据要基于状态而非输出文本
A7.3 评测驱动开发	像调试概率机器一样开发：建集、跑、读失败轨迹做 error analysis 找根因步；评测集本身会过拟合要保鲜

综合自测

📝 动手自测0/6

1. 一个智能体单步成功率 95%，任务需要 20 步。整体成功率约是多少？为什么？

2. 为什么智能体的 demo 常常惊艳、真上线却频频翻车？

3. 为什么衡量智能体稳定性要看 pass^k（连跑 k 次全部成功）而不是「跑一次成不成功」？

4. 给智能体 benchmark 打分，最核心的难点是什么？

5. A7.3 排错游戏教的「找第一张倒下的多米诺」，指的是什么？

6. 关于评测集，下列哪个说法是对的？

下一章 A8 · 安全与未来：能力越强、失败越贵——智能体的安全底线与最后的展望。