Agent 评估体系：从单元测试到线上指标的评测闭环

智能体上线容易，说清「它到底行不行」难。同一个 prompt，今天跑通明天翻车，靠人工抽查根本兜不住。要把智能体的质量从玄学变成可度量、可回归的工程问题，需要一套从单元评测到线上指标的评估闭环。本文讲清这套体系的搭建方法，以及每一层怎么用低成本姿势真正跑起来。

为什么要给智能体做评估

智能体的核心难点是非确定性：输入相同，输出也可能不同，传统「跑通一次」的验收毫无意义。没有评估，你既不知道一次改动是变好还是变坏，也无法在发布前拦住质量回退。评估本质上是一套可重复的质量标尺，也是所有护栏、权限和回退策略生效的前提。关于出错后怎么定位和复现，智能体调试实战 给了排错闭环，而评估解决的是「在出错之前先量化」。

第一层：单元评测（单工具、单步骤）

最稳的评估从最小单元开始。对单个工具调用做断言：给定输入，工具是否返回了符合 schema 的结果；对格式化输出（JSON 、 SQL）做解析校验。维护一份 golden set（黄金样例集），每次改动都重跑这批断言，能挡住大部分回归。这一步的关键是工具本身要可测，接口契约要清晰，做法可参考 Agent 工具设计实践 里对工具边界和输出的规范。

第二层：轨迹评测（端到端）

单元过了，不代表整条链路对。轨迹评测把「用户问题 → 多步推理 → 最终答案」当作整体打分：答案是否正确、是否走了该走的工具、是否漏掉关键步骤。没有标准答案时，用 LLM-as-judge 对照评分细则打分，虽然不完美但足够发现大方向错误。意图路由是否精准直接影响轨迹质量，Agent 意图路由 讲的路由策略，本身也应该作为评测的一个维度被持续监控。

第三层：线上指标与护栏联动

离线评测再好，也要看真实战场。把成功率、平均耗时、单轮成本、回退率、人工介入率做成线上指标面板，才能发现评测集覆盖不到的长尾问题。更重要的是让指标和护栏联动：当某类请求的失败率抬头，自动收紧权限或切到更稳的模型。权限与成本控制是护栏的两块基石，可分别对照 Agent 权限最小化 与 Agent 成本核算，而多轮会话的状态隔离则影响指标归因，见 Agent 多会话隔离。

把评测变成回归门禁

评估一旦只是「偶尔跑一下」，很快会荒废。把它接进 CI：每次提交自动跑单元评测和轨迹评测，和上个版本做分数对比，不达标就拦下发布。版本间的评测分数差异，比「我觉得更好了」可靠得多。这正是把调试闭环前移——与其等线上翻车再靠 智能体调试实战 的回放复现去救火，不如在合并前就用评测门禁把质量锁住。

常见问题