智能体评测

更新时间：2026-09-22 11:20:11

智能体评测概述

「评测」用于使用固定任务和评分标准重复检查智能体表现。在智能体配置页点击「评测」，进入「评测工作台」。

入口	用途
「案例」	新增和管理任务及评分说明，选择本次评测使用的案例。
「全部标签」「按标签分组」「管理标签」	按标签筛选、组织案例。标签仅用于组织案例，运行范围以当前勾选的案例为准。
「从 Conversation 设计案例」	从已完成的对话生成候选案例，审核后保存到案例库。
「我的评测」	查看运行记录、执行状态和评分结果。

使用前提

需要具有该智能体的编辑权限。编辑案例、发起或停止评测需在桌面端操作，移动端仅供查看。

正式评测使用智能体当前已保存的正式配置，不使用配置页中尚未发布的草稿。运行时会固定本次案例、评分条目、模型和智能体配置；外部数据及连接器仍按执行时的实际状态读取，因此相同案例的结果可能随数据变化。

操作步骤

1. 在「评测工作台」的「案例」页签点击「新增案例」。

   如需根据已有对话设计案例，也可点击「从 Conversation 设计案例」，选择有权查看且当前未运行、已有结束轮次的对话，生成候选案例。检查和调整后，点击「保存到案例库」，再从下文第 3 步开始运行评测。

2. 填写可直接交给智能体执行的「任务」。在「评分说明」区域填写「评分条目」及对应「权重」；需要检查多个条件时，点击「添加条目」。评分说明仅供裁判模型（Judge）使用，不发送给被测智能体。

   例如，任务要求只回复指定文字，评分条目则写明通过条件，以及是否允许标点或额外解释。下图展示新案例的填写示例。

   

3. 点击「保存」，在案例列表中勾选需要运行的案例，点击「配置并运行」。分别确认「被测模型」「裁判模型」及各自的推理档位，再点击「开始评测」。「被测模型」执行任务，「裁判模型」根据评分说明判定结果；尚未选择案例时不能开始评测。

   下图为已保存案例的列表。勾选任务左侧的复选框后，再发起评测。

   

4. 在「我的评测」选择运行记录，查看右侧「结果」。运行中可点击「刷新」更新状态；「暂无有效评分」表示尚无可计入评分的结果，不表示案例得了 0 分。

   下图为运行中的示例：本次包含 1 个案例，当前显示「0/1 题有效评分」，需要继续等待执行和判定。

   

5. 评测结束后，检查「被测回复」「判定理由」和「评分细项」，结合平均分与有效评分数量判断效果。失败或取消的案例应单独检查，不能当作已完成评分。修改配置后应重新运行案例，对比结果；一次「草稿测试」不能代替固定案例评测。

   

评分与运行管理

项目	说明
案例得分	采用百分制，按「通过条目的权重之和 ÷ 全部条目的权重之和 × 100」计算。全部条目通过，案例才判定为「通过」。
「一票否决」	任一此类条目未通过，案例记 0 分，其他条目仍会判定。
「平均分」与有效评分	平均分只统计有有效评分的案例。「未通过」仍可能有有效得分；执行失败、取消或评分结果无效不按 0 分计入平均分。
「停止」	可停止运行中的评测，未启动的案例会取消，已产生的结果保留。
删除案例	在案例库中删除案例后，历史运行仍保留当时的案例快照。
「去自进化」	对判定「未通过」的案例，可将其作为问题来源，进入自进化生成改进草稿。

后续改进

需要基于失败评测或用户反馈生成改进草稿时，见 智能体自进化。也可直接 配置智能体，修改后重新运行案例验证效果。测试与发布流程见 测试、发布与授权。