跳到主要内容

使用追踪

概述

使用追踪功能可展示当前数据集智能体(原主题)的运营指标,并提供对话历史的查询与管理,助力了解该智能体的使用互动情况。

使用指导

查看运营指标

运营指标模块通过数据化方式直观展示当前智能体的核心使用情况,帮助管理员全面了解数据集智能体的运营效果。

序号说明
1通过该按钮切换是否详细展示运营指标数据。
2切换查看运营指标数据的时间范围,此筛选条件同时适用于对话历史。

|100
3查看当前数据集智能体被提问的次数、对问答结果的评价、活跃的用户以及提问人数。

  • 提问次数:反映智能体的整体使用频率,体现智能体的使用程度。
  • 活跃用户:体现用户粘性,帮助识别核心用户群体。
  • 问答结果评价:问答结果评价来源于 问答反馈,直接反映 AI 回答的准确性和用户满意度,是优化问答质量的重要依据。
  • 提问人数:显示参与提问的用户规模,反映智能体的用户覆盖范围。

查看对话历史

前台产生的每一次问答均会在后台沉淀为历史对话,便于管理员回溯用户提问、问答状态及执行过程。

筛选

在「对话历史」页面顶部,可通过问答结果评价、对话类型、对话状态、异常状态、完整消息 ID / 对话内容、时间范围以及用户名称等条件筛选历史对话。

查看异常

在对话历史列表中,系统通过「过程是否异常」和「异常描述」两列自动标识执行过程中出现异常的问答记录,便于运营人员快速定位需要处理的问题。

查看调用的分析专家

对话历史列表中的「分析专家」列展示当前问答实际调用的分析专家,帮助运营人员了解不同类型问题的专家分配情况。

查看耗时

列表中的「耗时」列展示每次问答从提问到返回结果所花费的时间,可据此快速识别耗时较长的记录,辅助进行性能排查。

导出历史对话

对话历史记录支持一键导出,包含问答状态、过程是否异常以及异常描述等信息,方便运营人员进行离线分析和问题排查。

复制消息 ID

点击按钮复制消息 ID,复制的消息 ID 可用于提供给观远侧进行问题排查。

查看 Langfuse 追踪记录

点击「链路追踪」按钮,可跳转至 Langfuse 平台查看详细的调用链路信息,方便运营排查问题。

Bad Case 诊断

针对问答记录中的异常 Case,系统支持基于单次或多次问答的 trace 信息一键诊断,输出异常根因、结论与处理建议,帮助运营人员快速定位问数异常。

单个诊断

适用于定位单条问答的执行异常或数据问题。

  1. 进入「使用追踪 > 对话历史」,找到需要诊断的问答记录,点击右侧操作列的「链路追踪」按钮。
  2. 在弹出的链路追踪页面,点击「一键诊断」。
  3. 描述需要诊断的问题现象,例如数据错误、与实际不符、计算偏差、数据条数有误等,便于模型结合 trace 信息分析根因。
  4. 点击「开始诊断」,系统分析当前问答的 trace 信息,并在「诊断结果」区域输出结论与处理建议。
  5. 一键复制诊断结果,提供给观远侧进行进一步问题排查。 若对诊断结果不满意,可点击「重新诊断」再次分析。

|500

批量诊断

当需要同时排查多条相似或相关问题时,可使用批量诊断功能。

  1. 在「使用追踪 > 对话历史」页面,点击右上角「批量诊断」。

  2. 在批量诊断页面勾选目标问答记录。

    说明

    单次批量诊断最多支持选择 10 条记录,支持跨页累计选择。

  3. 选择完成后,点击「下一步」。

  4. 针对每条问答记录,描述需要诊断的问题现象,例如数据错误、与实际不符、计算偏差、数据条数有误等,便于模型结合 trace 信息分析根因。

  5. 点击「开始诊断」,系统批量分析所选问答记录的 trace 信息,并在「诊断结果」区域输出结论与处理建议。

  6. 一键复制诊断结果,提供给观远侧进行进一步问题排查。 若对诊断结果不满意,可点击「重新诊断」再次分析。

管理对话历史

点击「历史对话」按钮,展示对话历史,后台对话历史展示的可视化效果与前台保持一致,可在详情页面进行对话历史管理。

问答历史对话

当对话类型为「问答」时,可在「历史对话」页面进行查看召回知识、查看消息通知历史、加入样例集、查看 SQL、复制消息 ID 以及赞踩管理等操作。

|500

序号功能说明
1查看召回知识点击后,会向用户展示问数过程中向模型发送的表知识、业务知识和样例集。

问答类型的对话历史有两个查看召回知识的入口,一个在点击「历史对话」后的详情页的右上方;另一个在「使用追踪 > 对话历史」右侧操作列表中,详细信息见 查看召回知识

新版「召回知识」与老版「运维日志」无法兼容,升级时请注意关注:

  • 若您是私有化部署 datamind 的客户,升级后如有历史问题需排查出错原因,需复制对话 ID 前往 Langfuse 进行查询;

  • 若您是 SaaS 版本(即由观远提供模型)的客户,建议升级前完成问题排查,避免历史对话无法进行召回知识查看。
2查看消息通知历史若在前台问答时进行了 邮件推送,可在「消息通知历史」中查看到消息通知数据。
3加入样例集点击后,当前查询问题自动带入问题描述,当前 SQL 自动带入查询 SQL ,用户在改正 SQL 后点击加入样例集,可快捷将问答对加入样例集知识。
问答类型的对话历史有两个加入样例集的入口,一个在点击「历史对话」后的详情页的右上方,另一个在「使用追踪 > 对话历史」右侧操作列表中,详细信息可参考 加入样例集
4字段配置支持用户对指定字段做行转列变换,可手动将其中一个维度字段转换为对比字段,点击确定后修改展示效果。同时支持在字段层级对对比字段和指标字段进行显示/隐藏控制。注意:

  • 仅当图表类型选择为「表格」,且数据中至少有两个维度时存在。
  • 若可视化 Agent 没有识别维度/数值,不展示该入口。
  • 若问数查询行数配置>1000,不展示该入口。

5查看 SQL点击「SQL」查看当前问答所使用的 SQL 语句,可点击「SQL 解释」查看 SQL 语句的执行逻辑、筛选条件、数据关联关系等,也可点击复制按钮复制当前 SQL。

6放大若当前页面不足以展示全部的图表信息,可点击放大按钮,放大查看图表内容。
7导出点击后,可将数据结果进行导出,支持导出 Excel 和导出表格数据两种方式,详细介绍可参考 导出数据

|300
8赞踩管理针对用户在问答前台未进行反馈的问题,如当管理员进入对话历史查看时发现问答准确性有问题,可以进行点赞/点踩进行标记处理,点踩内容可输入反馈,详细信息可参考 管理赞踩记录
9复制消息 ID点击消息 ID 左侧按钮,复制的消息 ID 可用于提供给观远侧进行问题排查。

归因历史对话

当对话类型为「归因」时,可在「历史对话」页面进行查看消息通知历史、复制 SQL、加入样例集、召回知识以及赞踩等操作。

|500

序号功能说明
1查看消息通知历史若在前台问答时进行了 邮件推送,可在「消息通知历史」中查看到消息通知数据。
2洞察分析过程点击「已完成洞察分析」展开「分析过程」,在「分析过程」中找到「数据查询」并点击,弹出「查看计算详情」页面,可在此页面进行复制 SQL、加入样例集以及召回知识操作。


  • 复制 SQL:点击「复制 SQL」,可将该 SQL 直接用于数仓查询。
  • 加入样例集:点击后,当前查询问题自动带入问题描述,当前 SQL 自动带入查询 SQL,用户在改正 SQL 后点击加入样例集,可快捷将问答对加入样例集知识,详细信息可参考 加入样例集
  • 召回知识:点击后,会向用户展示问数过程中向模型发送的表知识、业务知识和样例集。详细信息可参考 查看召回知识
3赞踩管理针对用户在问答前台未进行反馈的问题,如当管理员进入对话历史查看时发现问答准确性有问题,可以进行点赞/点踩进行标记处理,点踩内容可输入反馈,详细信息可参考 管理赞踩记录
4复制消息 ID点击消息 ID 左侧按钮,复制的消息 ID 可用于提供给观远侧进行问题排查。

管理赞踩记录

针对用户在问答前台未进行反馈的问题,当管理员进入对话历史查看时,若发现问答准确性有问题,可以进行点赞/点踩标记处理,点踩内容可输入反馈。

|500

点踩操作流程

  1. 点击点踩按钮,输入问题描述后点击「提交」,支持快捷输入,用于帮助用户定义回答不清晰的内容。

    |350

  2. 用户点踩后,当前问题被标记为「待优化」,知识库管理员针对问题优化完成后,可进行结果打标。

    • 无需处理:指的是表现实际符合预期,无需对知识库进行优化;
    • 已处理:指的是已完成针对该问题的知识库优化,前台用户可以进行尝试。

    |500

  3. 处理完成后,知识库管理员需填写处理说明,提交后会在系统记录处理结果。

    |350

  4. (可选)若修改后处理结果有误,可对处理结果进行「编辑处理」。

    |450

加入样例集

点击后,当前查询问题自动带入问题描述,当前 SQL 自动带入查询 SQL,用户在改正 SQL 且通过校验后点击「加入样例集」,可快捷将问答对加入样例集知识。

系统会对当前 SQL 语法类型进行检查并提示(抽取数据集语法类型显示为 Spark)。如出现不同直连数据集混合 SQL 场景,进行报错提示当前无法支持跨数据库查询。

查看召回知识

召回知识会展示问数过程中向模型发送的表知识、业务知识和样例集。

  • 表知识:此部分详细列出了本次计算召回的表信息及相关枚举值字段

  • 业务知识:此部分展示了本次计算所关联到的业务规则或知识条目。用户可对知识内容进行编辑或新增业务知识。

  • 样例集:此部分展示了系统在计算时召回的历史修正 SQL。

注意
  • 召回知识功能内,展示的知识为当次问答召回的内容。如果您或其他同事在此之后更新过该知识,点击「编辑」时,会提示知识已变更,弹窗内显示的将是知识库中最新的内容,而非列表中的旧内容。
  • 如果某条业务知识或样例集已从知识库中被删除,此处的「编辑」入口将变为灰色不可用状态,以保证知识的准确性。