跳到主要内容

使用追踪

概述

使用追踪功能可展示当前数据集智能体(原主题)的运营指标,并提供对话历史的查询与管理,助力了解该智能体的使用互动情况。

使用指导

查看运营指标

运营指标模块通过数据化方式直观展示当前智能体的核心使用情况,帮助管理员全面了解数据集智能体的运营效果。

序号说明
1通过该按钮切换是否详细展示运营指标数据。
2切换查看运营指标数据的时间范围,此筛选条件同时适用于对话历史。

|100
3查看当前数据集智能体被提问的次数、对问答结果的评价、活跃的用户以及提问人数。

  • 提问次数:反映智能体的整体使用频率,体现智能体的使用程度。
  • 活跃用户:体现用户粘性,帮助识别核心用户群体。
  • 问答结果评价:问答结果评价来源于 问答反馈,直接反映 AI 回答的准确性和用户满意度,是优化问答质量的重要依据。
  • 提问人数:显示参与提问的用户规模,反映智能体的用户覆盖范围。

查看对话历史

前台每个提问均会在后台生成一条历史对话,可根据问答结果评价、对话类型、对话状态、异常状态、完整的消息 ID/对话内容、时间范围以及用户名称筛选历史对话。

在对话历史列表中,系统会自动标识出执行过程中出现异常的问答记录,便于运营人员快速定位和关注需要处理的问题。

导出历史对话

对话历史记录支持一键导出,包含问答状态、过程是否异常以及异常描述等信息,方便运营人员进行离线分析和问题排查。

复制消息 ID

点击按钮复制消息 ID,复制的消息 ID 可用于提供给观远侧进行问题排查。

查看 Langfuse 追踪记录

点击「链路追踪」按钮,可跳转至 Langfuse 平台查看详细的调用链路信息,方便运营排查问题。

管理对话历史

点击「历史对话」按钮,展示对话历史,后台对话历史展示的可视化效果与前台保持一致,可在详情页面进行对话历史管理。

问答历史对话

当对话类型为「问答」时,可在「历史对话」页面进行查看召回知识、查看消息通知历史、加入样例集、查看 SQL、复制消息 ID 以及赞踩管理等操作。

|500

序号功能说明
1查看召回知识点击后,会向用户展示问数过程中向模型发送的表知识、业务知识和样例集。

问答类型的对话历史有两个查看召回知识的入口,一个在点击「历史对话」后的详情页的右上方;另一个在「使用追踪 > 对话历史」右侧操作列表中,详细信息见 查看召回知识

新版「召回知识」与老版「运维日志」无法兼容,升级时请注意关注:

  • 若您是私有化部署 datamind 的客户,升级后如有历史问题需排查出错原因,需复制对话 ID 前往 Langfuse 进行查询;

  • 若您是 SaaS 版本(即由观远提供模型)的客户,建议升级前完成问题排查,避免历史对话无法进行召回知识查看。
2查看消息通知历史若在前台问答时进行了 邮件推送,可在「消息通知历史」中查看到消息通知数据。
3加入样例集点击后,当前查询问题自动带入问题描述,当前 SQL 自动带入查询 SQL ,用户在改正 SQL 后点击加入样例集,可快捷将问答对加入样例集知识。
问答类型的对话历史有两个加入样例集的入口,一个在点击「历史对话」后的详情页的右上方,另一个在「使用追踪 > 对话历史」右侧操作列表中,详细信息可参考 加入样例集
4字段配置支持用户对指定字段做行转列变换,可手动将其中一个维度字段转换为对比字段,点击确定后修改展示效果。同时支持在字段层级对对比字段和指标字段进行显示/隐藏控制。注意:

  • 仅当图表类型选择为「表格」,且数据中至少有两个维度时存在。
  • 若可视化 Agent 没有识别维度/数值,不展示该入口。
  • 若问数查询行数配置>1000,不展示该入口。

5查看 SQL点击「SQL」查看当前问答所使用的 SQL 语句,可点击「SQL 解释」查看 SQL 语句的执行逻辑、筛选条件、数据关联关系等,也可点击复制按钮复制当前 SQL。

6放大若当前页面不足以展示全部的图表信息,可点击放大按钮,放大查看图表内容。
7导出点击后,可将数据结果进行导出,支持导出 Excel 和导出表格数据两种方式,详细介绍可参考 导出数据

|300
8赞踩管理针对用户在问答前台未进行反馈的问题,如当管理员进入对话历史查看时发现问答准确性有问题,可以进行点赞/点踩进行标记处理,点踩内容可输入反馈,详细信息可参考 管理赞踩记录
9复制消息 ID点击消息 ID 左侧按钮,复制的消息 ID 可用于提供给观远侧进行问题排查。

归因历史对话

当对话类型为「归因」时,可在「历史对话」页面进行查看消息通知历史、复制 SQL、加入样例集、召回知识以及赞踩等操作。

|500

序号功能说明
1查看消息通知历史若在前台问答时进行了 邮件推送,可在「消息通知历史」中查看到消息通知数据。
2洞察分析过程点击「已完成洞察分析」展开「分析过程」,在「分析过程」中找到「数据查询」并点击,弹出「查看计算详情」页面,可在此页面进行复制 SQL、加入样例集以及召回知识操作。


  • 复制 SQL:点击「复制 SQL」,可将该 SQL 直接用于数仓查询。
  • 加入样例集:点击后,当前查询问题自动带入问题描述,当前 SQL 自动带入查询 SQL,用户在改正 SQL 后点击加入样例集,可快捷将问答对加入样例集知识,详细信息可参考 加入样例集
  • 召回知识:点击后,会向用户展示问数过程中向模型发送的表知识、业务知识和样例集。详细信息可参考 查看召回知识
3赞踩管理针对用户在问答前台未进行反馈的问题,如当管理员进入对话历史查看时发现问答准确性有问题,可以进行点赞/点踩进行标记处理,点踩内容可输入反馈,详细信息可参考 管理赞踩记录
4复制消息 ID点击消息 ID 左侧按钮,复制的消息 ID 可用于提供给观远侧进行问题排查。

管理赞踩记录

针对用户在问答前台未进行反馈的问题,当管理员进入对话历史查看时,若发现问答准确性有问题,可以进行点赞/点踩标记处理,点踩内容可输入反馈。

|500

点踩操作流程

  1. 点击点踩按钮,输入问题描述后点击「提交」,支持快捷输入,用于帮助用户定义回答不清晰的内容。

    |350

  2. 用户点踩后,当前问题被标记为「待优化」,知识库管理员针对问题优化完成后,可进行结果打标。

    • 无需处理:指的是表现实际符合预期,无需对知识库进行优化;
    • 已处理:指的是已完成针对该问题的知识库优化,前台用户可以进行尝试。

    |500

  3. 处理完成后,知识库管理员需填写处理说明,提交后会在系统记录处理结果。

    |350

  4. (可选)若修改后处理结果有误,可对处理结果进行「编辑处理」。

    |450

加入样例集

点击后,当前查询问题自动带入问题描述,当前 SQL 自动带入查询 SQL,用户在改正 SQL 且通过校验后点击「加入样例集」,可快捷将问答对加入样例集知识。

系统会对当前 SQL 语法类型进行检查并提示(抽取数据集语法类型显示为 Spark)。如出现不同直连数据集混合 SQL 场景,进行报错提示当前无法支持跨数据库查询。

查看召回知识

召回知识会展示问数过程中向模型发送的表知识、业务知识和样例集。

  • 表知识:此部分详细列出了本次计算召回的表信息及相关枚举值字段

  • 业务知识:此部分展示了本次计算所关联到的业务规则或知识条目。用户可对知识内容进行编辑或新增业务知识。

  • 样例集:此部分展示了系统在计算时召回的历史修正 SQL。

注意
  • 召回知识功能内,展示的知识为当次问答召回的内容。如果您或其他同事在此之后更新过该知识,点击「编辑」时,会提示知识已变更,弹窗内显示的将是知识库中最新的内容,而非列表中的旧内容。
  • 如果某条业务知识或样例集已从知识库中被删除,此处的「编辑」入口将变为灰色不可用状态,以保证知识的准确性。