A7 · 评测与可靠性

前面六章教你把智能体造得越来越能干。这一章回答一个更冷酷的问题：它到底靠不靠谱？

这是分开「能跑个 demo」和「能上生产」的分水岭。智能体的评测比上篇讲的模型评测难得多——任务是多步的、轨迹是随机的（同一输入两次结果可能不同）、失败方式千奇百怪。你没法像测传统软件那样「跑一遍绿了就发布」。

这一章先算清可靠性的残酷算术（为什么单步很准的智能体整体还是会翻车），再讲怎么科学地衡量和排错。吴恩达在他的 Agentic AI 课里反复强调一句话：评测驱动开发，是智能体工程真正的分水岭——凭手感调提示词的人，和用数据说话的人，做出来的东西不在一个可靠性量级上。

小节	你会获得的直觉	实验
A7.1 错误的复利	单步 95% × 20 步 = 36%：成功率是连乘不是平均	🎮 错误复利计算器
A7.2 智能体 Benchmark	SWE-bench、GAIA、τ-bench 怎么给「会办事」打分	—
A7.3 评测驱动开发	像调试概率机器一样开发：建集、跑、读轨迹	🎮 轨迹排错游戏
小结与自测	全章要点回顾 + 综合自测	📝

阅读前提

需要 A0 的行动循环（每一步都是采样、天然有随机性），以及上篇第 7 章评测（Benchmark 的坑、LLM 当裁判的偏差）——那些坑在智能体时代一个都没少，还多了几个新的。