飞桥数智云/文档

评测可以帮助团队在发布前检查智能体是否按预期工作,并在更新模型、提示词或技能后发现行为变化。你可以使用飞桥数智云的评测工具管理测试样例和评测结果。

建立评测集

从真实用户任务中挑选代表性场景,为每个场景记录输入、预期结果和必要的评分标准。评测集应覆盖常见路径、边界输入和容易失败的情况。

运行与比较

在修改提示词、技能或模型后重新运行相同的评测集。比较新旧结果,重点检查任务完成情况、输出质量和调用成本。对于非确定性的模型输出,可采用评分规则或多次运行来降低单次结果的偶然性。

发布前检查

  • 为重要业务路径保留稳定的回归样例。
  • 评测失败时检查请求记录和技能返回值。
  • 对影响数据或外部系统的操作设置明确的预期结果。
  • 将评测结果与发布版本关联,便于后续追踪。

评测结果应与线上可观测性配合使用:评测用于发布前检查,线上日志用于发现真实流量中的问题。请登录飞桥数智云控制台配置项目评测。