跳到主要内容

主题管理

1. 概述

主题管理是 ChatBI 的核心功能之一,包含主题创建主题测试两部分,支持用户快速构建业务场景对话逻辑并验证效果,确保智能问数的准确性与流畅性。

2. 使用指导

2.1. 主题创建

Chat 地址为:http://xxx.xxx.xxx.xxx/chatManage(私有化客户请将/chatManage前的内容替换为自己的环境地址)。

说明

首次创建主题时建议基于单表创建,在单表问答准确率达到80%后,再扩展其他表进行问答。

  1. 在 ChatBI 运营管理后台,点击「新建主题」。

  2. 填写主题基础信息。
    后续若要对基础信息进行修改,可参考基础配置

    • 主题名称(必填):业务视角简单概括当前业务主题,会作为训练知识给到大模型。
    • 问答头像配置:默认为观远logo,可以由用户自行上传图片,进行前台问答头像变更。
    • 欢迎语配置(选填):默认第一行为欢迎语标题,第二行开始为正文内容。欢迎语支持富文本编辑器与引用特定属性。
    • 主题描述(选填):帮助业务用户了解当前主题可以解决哪些业务场景/问题,会作为训练知识给到大模型。
    • 关联数据集(必填):问数回答的数据范围,目前版本支持部分直连数据库和添加抽取数据集,数据集描述、数据集结构和字段注释会作为模型学习知识。

    前台展示效果:

  3. 直接新建完成主题/添加业务知识库。

    • 若知识库没有准备好,可点击「直接新建」完成主题创建,后续可在「业务知识库」界面添加知识。
      知识库相关操作可参考业务知识库
    • 若知识库已准备好,点击「下一步」配置业务知识集,配置完成后点击「完成」完成主题创建。
      知识库相关操作可参考业务知识库
  4. 以上内容全部填写完成后,即可点击保存,完成主题创建。

Tips:如果想复用已有主题的知识库,可以通过另存为的方式,快速复制新主题。

2.2.主题测试

创建完成一个新的主题后,可对当前主题进行测试,主题测试准确率直接影响 ChatBI 使用的准确性,请确保测试准确率达90%以上再启用主题。

  1. 点击右上角的「测试」按钮,进入到测试界面。

  2. 在测试界面中,通过批量导入问题或添加单条问题来添加问题。

    • 批量导入:批量导入时,下载Excel模板,将调研收集的用户问题及回答SQL填入,进行批量上传。

      说明

      问题列表样例中的回答SQL非必填,可以仅上传测试问题。上传文件后即开始文件内所有问题条目的测试。

    • 单条添加:逐条录入问题与回答SQL,点击「确定」后即开始添加问题条目的测试。

      说明

      回答SQL非必填,可以仅填写问题描述。

  3. 触发问题测试时,大模型会根据当前的数据表和知识,批量生成针对当前问题的SQL结果,系统执行该SQL检查其有效性。如SQL执行出错,界面会提示SQL有效性及批改结果错误。

    1. 此时用户点击「批改」,可以看到当前大模型生成的SQL详情,在问答详情页面支持以下操作:

      • 允许查看和复制消息ID,提供给产研进行排查。

      • 查看运维日志:点击「运维日志」按钮后,系统将展示与对话历史 > 运维日志」处一致的内容,即召回的表知识、业务知识及错题集。

      • 复制执行SQL:点击「复制执行SQL」按钮后,系统会将数据库侧实际执行的SQL语句复制到剪贴板,可以将SQL粘贴到数据库中进行查询。

      • 以下场景会进行报错提示:

        • 当 AI 模型无法生成有效的 SQL 查询时,系统会显示具体的失败原因:"问题回答失败,失败原因:xxxx"。此情况通常与模型理解问题或数据结构有关,请尝试重新描述您的需求。
        • 当模型成功生成SQL但执行时遇到错误,系统会显示SQL验证错误信息:"当前SQL有效性校验错误,错误原因:{xxxxx}"。常见原因包括语法错误、表名或字段名不存在、筛选条件错误等。
        • 当SQL执行成功但未返回任何数据时,系统会提示可能的原因:"当前查询无数据,请检查数据源是否更新正确、行列权限规则是否配置正确"。这种情况下,建议检查数据源状态和权限配置。

    2. 如果此时没有答案集,建议用户点击「复制到答案集并编辑」,将SQL改正后保存,此时该问题将存储一份正确的SQL作为答案。如果已有答案集或已在答案集中维护了正确SQL,点击「添加错题集」,将本条问题加入知识库中。

    3. 最后,返回到列表页,勾选本条问题进行重新测试。

  4. 对于没有答案集的问题,在SQL有效性为正确后,需要人工进行批改。问答详情页面支持的操作与第3步一致。

    • 若数据结果正确,则点击标记为正确,本条测试问题判对,且大模型生成的SQL会自动录入到答案集中。
    • 若数据结果错误,则参考第3步的流程,先维护答案集,再点击「标记为错误并添加至错题集」,进行知识录入维护。

  1. 对于有答案集的问题,系统会进行大模型生成SQL的执行结果与答案集SQL的执行结果比对,两者数据必须完全一致,则系统自动判定批改结果为正确;如数据不一致,则系统批改结果为错误。

    • -对于系统判对的问题,可以人工再核验一版数据,评估是否要修改判定结果。
    • 对于系统判错的问题,则参考第3步的流程,点击「标记为错误并添加至错题集」,进行知识录入维护。
  2. 在全部测试问题批改完成后,会生成测试准确率提示,建议主题测试准确率90%及以上后再投入生产。