跳到主要内容

使用追踪

概述

使用追踪功能可展示当前主题的运营指标,并提供对话历史的查询与管理,助力了解该主题的使用互动情况。

使用指导

查看运营指标

运营指标模块通过数据化方式直观展示当前主题的核心使用情况,帮助管理员全面了解主题的运营效果。

序号说明
1通过该按钮切换是否详细展示运营指标数据。
2切换查看运营指标数据的时间范围,此筛选条件同时适用于对话历史。

|100
3查看当前主题被提问的次数、对问答结果的评价、活跃的用户以及提问人数。

  • 提问次数:反映主题的整体使用频率,体现主题的使用程度。
  • 活跃用户:体现用户粘性,帮助识别核心用户群体。
  • 问答结果评价:问答结果评价来源于前台反馈,直接反映AI回答的准确性和用户满意度,是优化问答质量的重要依据。
  • 提问人数:显示参与提问的用户规模,反映主题的用户覆盖范围。
  • 查看对话历史

    前台每个提问均会在后台生成一条历史对话,可根据问答结果评价、对话类型、完整的消息ID/对话内容、时间范围以及用户名称筛选历史对话。

    复制消息 ID

    点击按钮复制消息 ID,复制的消息 ID 可用于提供给观远侧进行问题排查。

    管理对话历史

    点击「历史对话」按钮,展示对话历史,后台对话历史展示的可视化效果与前台保持一致,可在详情页面进行对话历史管理。

    问答历史对话

    当对话类型为「问答」时,可在「历史对话」页面进行查看召回知识、查看消息通知历史、加入错题集、查看SQL、复制消息 ID 以及赞踩管理等操作。

    |500

    序号功能说明
    1查看召回知识点击后,会向用户展示问数过程中向模型发送的表知识、业务知识和错题集。

    问答类型的对话历史有两个查看召回知识的入口,一个在点击「历史对话」后的详情页的右上方;另一个在「使用追踪 > 对话历史」右侧操作列表中,详细信息见查看召回知识

    新版「召回知识」与老版「运维日志」无法兼容,升级时请注意关注:

  • 若您是私有化部署 datamind 的客户,升级后如有历史问题需排查出错原因,需复制对话 ID 前往 Langfuse 进行查询;

  • 若您是SaaS 版本(即由观远提供模型)的客户,建议升级前完成问题排查,避免历史对话无法进行召回知识查看。
  • 2查看消息通知历史若在前台问答时进行了消息通知,可在「消息通知历史」中查看到消息通知数据。
    3加入错题集点击后,当前查询问题自动带入问题描述,当前 SQL 自动带入查询 SQL ,用户在改正 SQL 后点击加入错题集,可快捷将问答对加入错题集知识。
    问答类型的对话历史有两个加入错题集的入口,一个在点击「历史对话」后的详情页的右上方,另一个在「使用追踪 > 对话历史」右侧操作列表中,详细信息可参考加入错题集
    4字段配置支持用户对指定字段做行转列变换,可手动将其中一个维度字段转换为对比字段,点击确定后修改展示效果。同时支持在字段层级对对比字段和指标字段进行显示/隐藏控制。注意:

  • 仅当图表类型选择为「表格」,且数据中至少有两个维度时存在。
  • 若可视化Agent没有识别维度/数值,不展示该入口。
  • 若问数查询行数配置>1000,不展示该入口。

  • 5查看SQL点击「SQL」查看当前问答所使用的SQL语句,可点击「SQL解释」查看SQL 语句的执行逻辑、筛选条件、数据关联关系等,也可点击复制按钮复制当前SQL。

    6放大若当前页面不足以展示全部的图表信息,可点击放大按钮,放大查看图表内容。
    7导出点击后,可将数据结果进行导出,支持导出Excel和导出表格数据两种方式,详细介绍可参考导出数据

    |300
    8赞踩管理针对用户在问答前台未进行反馈的问题,如当管理员进入对话历史查看时发现问答准确性有问题,可以进行点赞/点踩进行标记处理,点踩内容可输入反馈,详细信息可参考管理赞踩记录
    9复制消息 ID点击消息 ID 左侧按钮,复制的消息 ID 可用于提供给观远侧进行问题排查。

    归因历史对话

    当对话类型为「归因」时,可在「历史对话」页面进行查看消息通知历史、复制 SQL、加入错题集、召回知识以及赞踩等操作。

    |500

    序号功能说明
    1查看消息通知历史若在前台问答时进行了消息通知,可在「消息通知历史」中查看到消息通知数据。
    2洞察分析过程点击「已完成洞察分析」展开「分析过程」,在「分析过程」中找到「数据查询」并点击,弹出「查看计算详情」页面,可在此页面进行复制SQL、加入错题集以及召回知识操作。


  • 复制 SQL:点击「复制 SQL」,可将该SQL直接用于数仓查询。
  • 加入错题集:点击后,当前查询问题自动带入问题描述,当前SQL自动带入查询SQL,用户在改正 SQL 后点击加入错题集,可快捷将问答对加入错题集知识,详细信息可参考加入错题集
  • 召回知识:点击后,会向用户展示问数过程中向模型发送的表知识、业务知识和错题集。详细信息可参考查看召回知识
  • 3赞踩管理针对用户在问答前台未进行反馈的问题,如当管理员进入对话历史查看时发现问答准确性有问题,可以进行点赞/点踩进行标记处理,点踩内容可输入反馈,详细信息可参考管理赞踩记录
    4复制消息 ID点击消息 ID 左侧按钮,复制的消息 ID 可用于提供给观远侧进行问题排查。

    管理赞踩记录

    针对用户在问答前台未进行反馈的问题,当管理员进入对话历史查看时,若发现问答准确性有问题,可以进行点赞/点踩标记处理,点踩内容可输入反馈。

    |500

    点踩操作流程

    1. 点击点踩按钮,输入问题描述后点击「提交」,支持快捷输入,用于帮助用户定义回答不清晰的内容。

      |350

    2. 用户点踩后,当前问题被标记为「待优化」,知识库管理员针对问题优化完成后,可进行结果打标。

      • 无需处理:指的是表现实际符合预期,无需对知识库进行优化;
      • 已处理:指的是已完成针对该问题的知识库优化,前台用户可以进行尝试。

      |500

    3. 处理完成后,知识库管理员需填写处理说明,提交后会在系统记录处理结果。

      |350

    4. (可选)若修改后处理结果有误,可对处理结果进行「编辑处理」。

      |450

    加入错题集

    点击后,当前查询问题自动带入问题描述,当前SQL自动带入查询SQL,用户在改正SQL且通过校验后点击「加入错题集」,可快捷将问答对加入错题集知识。

    系统会对当前SQL语法类型进行检查并提示(抽取数据集语法类型显示为Spark)。如出现不同直连数据集混合SQL场景,进行报错提示当前无法支持跨数据库查询。

    查看召回知识

    召回知识会展示问数过程中向模型发送的表知识、业务知识和错题集。

    • 表知识:此部分详细列出了本次计算召回的表信息及相关枚举值字段

    • 业务知识:此部分展示了本次计算所关联到的业务规则或知识条目。用户可对知识内容进行编辑或新增业务知识。

    • 错题集:此部分展示了系统在计算时召回的历史修正SQL。

    注意
    • 召回知识功能内,展示的知识为当次问答召回的内容。如果您或其他同事在此之后更新过该知识,点击「编辑」时,会提示知识已变更,弹窗内显示的将是知识库中最新的内容,而非列表中的旧内容。
    • 如果某条业务知识或错题集已从知识库中被删除,此处的「编辑」入口将变为灰色不可用状态,以保证知识的准确性。