智能体评测

概述

智能体评测，是指对通过系统化的测试方法对智能体的编排效果进行可视化分析和评估的过程，用以验证智能体是否达到预期的能力与性能。在编排调试阶段，为您提供客观的质量评估依据，帮助您持续优化智能体编排，提升智能体表现。

您可以通过导入目标测试场景下的测试数据集，系统调用智能体并收集输出结果，对结果进行分析，达到评估智能体能力和效果的目的。

功能特点

• 批量数据测试：支持导入场景化测试数据集，通过模拟用户对话输入，系统批量执行并收集智能体的输出结果，进而核定智能体回复的质量和效果。
• AI 模型辅助分析：支持 AI 评测模型自动分析结果，提供质量判定和效果评分，帮助提升分析效率。
• 多维度对比分析：支持测试结果在线比对和标注、跨版本结果比对、及知识库检索详情追溯。

批量测试

进入 我的智能体 列表页，选择一个智能体，单击 操作 列下的 ··· > 批量测试，进入评测页面。

或单击 操作 列下的 Agent 管理，进入智能体详情页，然后单击页面右上角的 批量测试，进入评测页面。

AI 评测配置

平台支持 AI 评测模型自动分析测试结果。在 创建评测任务 时，选择 AI 评测 调试类型，系统则会自动调用评测模型分析智能体测试结果，并输出分析结果。

1. 单击页面右上角的 AI 评测配置，进入配置页面。AI 评测配置针对当前智能体有效。您在该智能体下创建一个或多个 AI 评测 类型的任务时，都会调用这个评测配置项。

   

2. AI 评测配置包括 评测模型 和 评测提示词。

   

   您可以自行输入评测提示词，或单击页面左下角的提示词模板，查看模板内容并单击 使用 来引用该模板。也可以通过单击 切换英文/切换中文 来切换提示词模板的语种，目前支持中英文。

   

   配置完成后，单击 确定 保存。

3. 每次保存后，系统会默认生成一个配置的历史版本。在右侧 历史记录 下单击 详情 可查阅历史版本内容，也可单击 恢复此版本 恢复某个历史版本的配置。

   

   

创建评测任务

在批量测试任务列表页，单击右上角的 创建任务，即可创建一个针对当前智能体的评测任务。支持对所有智能体已发布的版本进行评测。

创建任务字段

配置完成后，单击 保存并立即执行，测试任务即开始执行。

评测结果

任务执行完成后，单击任务 详情 可在线查看执行结果，或单击 下载 来下载执行结果文件。如果智能体关联了知识库，可在执行结果中单击 查看检索 查看知识库检索的详情。

评测结果字段

结果对比

平台支持智能体下任意两个任务的在线对比。单击 批量测试 任务列表页的 结果对比，进入对比模式。选择任意两个历史任务，单击 结果比对，可显示任务比对详情。

您也可以选择下载任务执行结果文件，在本地进行更细致的对比。

费用说明

智能体评测功能目前不收费，执行评测任务产生的 Token 消耗正常计量计费。

您可前往 资源消耗 页面查看 Token 消耗的明细，或选择一个智能体，进入 批量测试列表页，在 Token 消耗 列查看每个任务消耗的 Token。