使用追踪
概述
使用追踪功能可展示当前数据集智能体(原主题)的运营指标,并提供对话历史的查询与管理,助力了解该智能体的使用互动情况。
使用指导
查看运营指标
运营指标模块通过数据化方式直观展示当前智能体的核心使用情况,帮助管理员全面了解数据集智能体的运营效果。

| 序号 | 说明 |
|---|---|
| 1 | 通过该按钮切换是否详细展示运营指标数据。 |
| 2 | 切换查看运营指标数据的时间范围,此筛选条件同时适用于对话历史。![]() |
| 3 | 查看当前数据集智能体被提问的次数、对问答结果的评价、活跃的用户以及提问人数。
|
查看对话历史
前台每个提问均会在后台生成一条历史对话,可根据问答结果评价、对话类型、对话状态、异常状态、完整的消息 ID/对话内容、时间范围以及用户名称筛选历史对话。

在对话历史列表中,系统会自动标识出执行过程中出现异常的问答记录,便于运营人员快速定位和关注需要处理的问题。

导出历史对话
对话历史记录支持一键导出,包含问答状态、过程是否异常以及异常描述等信息,方便运营人员进行离线分析和问题排查。

复制消息 ID
点击按钮复制消息 ID,复制的消息 ID 可用于提供给观远侧进行问题排查。

查看 Langfuse 追踪记录
点击「链路追踪」按钮,可跳转至 Langfuse 平台查看详细的调用链路信息,方便运营排查问题。


管理对话历史
点击「历史对话」按钮,展示对话历史,后台对话历史展示的可视化效果与前台保持一致,可在详情页面进行对话历史管理。

问答历史对话
当对话类型为「问答」时,可在「历史对话」页面进行查看召回知识、查看消息通知历史、加入样例集、查看 SQL、复制消息 ID 以及赞踩管理等操作。

| 序号 | 功能 | 说明 |
|---|---|---|
| 1 | 查看召回知识 | 点击后,会向用户展示问数过程中向模型发送的表知识、业务知识和样例集。 问答类型的对话历史有两个查看召回知识的入口,一个在点击「历史对话」后的详情页的右上方;另一个在「使用追踪 > 对话历史」右侧操作列表中,详细信息见 查看召回知识。 新版「召回知识」与老版「运维日志」无法兼容,升级时请注意关注:
|
| 2 | 查看消息通知历史 | 若在前台问答时进行了 邮件推送,可在「消息通知历史」中查看到消息通知数据。 |
| 3 | 加入样例集 | 点击后,当前查询问题自动带入问题描述,当前 SQL 自动带入查询 SQL ,用户在改正 SQL 后点击加入样例集,可快捷将问答对加入样例集知识。 问答类型的对话历史有两个加入样例集的入口,一个在点击「历史对话」后的详情页的右上方,另一个在「使用追踪 > 对话历史」右侧操作列表中,详细信息可参考 加入样例集。 |
| 4 | 字段配置 | 支持用户对指定字段做行转列变换,可手动将其中一个维度字段转换为对比字段,点击确定后修改展示效果。同时支持在字段层级对对比字段和指标字段进行显示/隐藏控制。注意:
|
| 5 | 查看 SQL | 点击「SQL」查看当前问答所使用的 SQL 语句,可点击「SQL 解释」查看 SQL 语句的执行逻辑、筛选条件、数据关联关系等,也可点击复制按钮复制当前 SQL。![]() |
| 6 | 放大 | 若当前页面不足以展示全部的图表信息,可点击放大按钮,放大查看图表内容。 |
| 7 | 导出 | 点击后,可将数据结果进行导出,支持导出 Excel 和导出表格数据两种方式,详细介绍可参考 导出数据。![]() |
| 8 | 赞踩管理 | 针对用户在问答前台未进行反馈的问题,如当管理员进入对话历史查看时发现问答准确性有问题,可以进行点赞/点踩进行标记处理,点踩内容可输入反馈,详细信息可参考 管理赞踩记录。 |
| 9 | 复制消息 ID | 点击消息 ID 左侧按钮,复制的消息 ID 可用于提供给观远侧进行问题排查。 |
归因历史对话
当对话类型为「归因」时,可在「历史对话」页面进行查看消息通知历史、复制 SQL、加入样例集、召回知识以及赞踩等操作。

| 序号 | 功能 | 说明 |
|---|---|---|
| 1 | 查看消息通知历史 | 若在前台问答时进行了 邮件推送,可在「消息通知历史」中查看到消息通知数据。 |
| 2 | 洞察分析过程 | 点击「已完成洞察分析」展开「分析过程」,在「分析过程」中找到「数据查询」并点击,弹出「查看计算详情」页面,可在此页面进行复制 SQL、加入样例集以及召回知识操作。 ![]() |
| 3 | 赞踩管理 | 针对用户在问答前台未进行反馈的问题,如当管理员进入对话历史查看时发现问答准确性有问题,可以进行点赞/点踩进行标记处理,点踩内容可输入反馈,详细信息可参考 管理赞踩记录。 |
| 4 | 复制消息 ID | 点击消息 ID 左侧按钮,复制的消息 ID 可用于提供给观远侧进行问题排查。 |
管理赞踩记录
针对用户在问答前台未进行反馈的问题,当管理员进入对话历史查看时,若发现问答准确性有问题,可以进行点赞/点踩标记处理,点踩内容可输入反馈。

点踩操作流程
-
点击点踩按钮,输入问题描述后点击「提交」,支持快捷输入,用于帮助用户定义回答不清晰的内容。

-
用户点踩后,当前问题被标记为「待优化」,知识库管理员针对问题优化完成后,可进行结果打标。
- 无需处理:指的是表现实际符合预期,无需对知识库进行优化;
- 已处理:指的是已完成针对该问题的知识库优化,前台用户可以进行尝试。

-
处理完成后,知识库管理员需填写处理说明,提交后会在系统记录处理结果。

-
(可选)若修改后处理结果有误,可对处理结果进行「编辑处理」。

加入样例集
点击后,当前查询问题自动带入问题描述,当前 SQL 自动带入查询 SQL,用户在改正 SQL 且通过校验后点击「加入样例集」,可快捷将问答对加入样例集知识。

系统会对当前 SQL 语法类型进行检查并提示(抽取数据集语法类型显示为 Spark)。如出现不同直连数据集混合 SQL 场景,进行报错提示当前无法支持跨数据库查询。

查看召回知识
召回知识会展示问数过程中向模型发送的表知识、业务知识和样例集。
-
表知识:此部分详细列出了本次计算召回的表信息及相关枚举值字段

-
业务知识:此部分展示了本次计算所关联到的业务规则或知识条目。用户可对知识内容进行编辑或新增业务知识。

-
样例集:此部分展示了系统在计算时召回的历史修正 SQL。

- 召回知识功能内,展示的知识为当次问答召回的内容。如果您或其他同事在此之后更新过该知识,点击「编辑」时,会提示知识已变更,弹窗内显示的将是知识库中最新的内容,而非列表中的旧内容。
- 如果某条业务知识或样例集已从知识库中被删除,此处的「编辑」入口将变为灰色不可用状态,以保证知识的准确性。




