跳到主要内容

ChatBI后台操作指南

使用ChatBI前,需在ChatBI运营管理后台对数据源、问数主题、主题权限等进行配置。本文介绍后台的配置流程。

主题构成

在搭建主题之前,我们先理解什么是主题,可以参考下面这张图。

chatbi后台-01|650

步骤一:数据准备

搭建主题之前,我们首先需要选择合适的业务主题,从快速落地的视角考虑,我们建议数据集具备以下一个或多个特征:

  • 数据已处理为ADS层宽表,可用于业务自助取数。

  • 尽可能避免数仓层表达作为字段名称,例如ods_sales。请维护成具备业务含义的字段名,例如:销售金额。

  • 如果字段名为缩写、业务常用语等特殊表达,请在字段注释中维护相应的业务含义。

  • 避免字段与字段间的歧义或近义,例如,同一张表或多张表中都有字段叫“日期”,但日期的含义分别为订单日期和入库日期。

    注意

    建议首个主题的创建和测试,尽量先基于单表。在单表问答准确率达到80%后,再扩展其他表进行问答。

首次使用观远BI的用户,建议您参考帮助中心的接入方式,将数据「抽取」到观远BI中。

步骤二:主题创建

数据接入完成后,我们进入到Chat BI问数后台,地址为:http://xxx.xxx.xxx.xxx/chatManage(私有化客户请将/chatManage前的内容替换为自己的环境地址)。

  1. 点击「新建主题」,开启首个主题创建。

    chatbi后台-05|650

  2. 创建主题时,必须填写主题名称和关联数据集。

    • 主题名称(必填),业务视角简单概括当前业务主题,会作为训练知识给到大模型。
    • 主题描述(选填),帮助业务用户了解当前主题可以解决哪些业务场景/问题,会作为训练知识给到大模型。
    • 关联数据集(必填):问数回答的数据范围,目前版本仅支持添加抽取数据集,数据集描述、数据集结构和字段注释会作为模型学习知识。

    chatbi后台-06|650

  3. 创建主题时,可选添加分析训练知识和业务知识。如果在创建主题时没有准备好,也可以后续在主题详情页-错题集/业务知识集tab下进行填写。

    • 错题集:添加业务问题+查询SQL对,例如之前有取数工单、取数模版等资料,可以添加成为该知识,供大模型举一反三。后续如果发现提问返回的SQL回答错误,也可以把问题+正确SQL加入到错题集,起到学习作用。
    • 业务知识集:
      • 通用知识:每次对话都需要应用到的知识
      • 业务知识:“行业术语”、“业务常用语”、“指标口径定义”以文字版形式给到大模型学习

    chatbi后台-07|550

  4. 以上内容全部填写完成后,即可点击「保存」,完成主题创建。

步骤三:问数测试

主题创建完成后,我们可以基于已有知识或无知识的状态,进行一版裸测。

  1. 点击右上角的「测试」按钮,进入到测试界面。

    chatbi后台-08|650

  2. 在测试界面中,通过批量导入问题或添加单条问题来添加问题。

    chatbi后台-09|650

    • 批量导入:批量导入时,下载Excel模板,将调研收集的用户问题及回答SQL填入,进行批量上传。

      注意

      问题列表样例中的回答SQL非必填,可以仅上传测试问题。上传文件后即开始文件内所有问题条目的测试。

      chatbi后台-10|550

    • 单条添加:单条添加时,也可以逐条录入问题与回答SQL。注意,此时回答SQL同样非必填,可以仅填写问题描述。点击「确定」后即开始文件内所有问题条目的测试。

      chatbi后台-11|550

  3. 触发问题测试时,大模型会根据当前的数据表和知识,批量生成针对当前问题的SQL结果,系统执行该SQL检查其有效性。如SQL执行出错,界面会提示SQL有效性及批改结果错误。

    chatbi后台-12|650

    1. 此时用户点击「批改」,可以看到当前大模型生成的SQL详情。

      chatbi后台-13|550

    2. 如果此时没有答案集,建议用户点击「复制到答案集并编辑」,将SQL改正后保存,此时该问题将存储一份正确的SQL作为答案。如果已有答案集或已在答案集中维护了正确SQL,点击「添加错题集」,将本条问题加入知识库中。

      chatbi后台-14|550

    3. 最后,返回到列表页,勾选本条问题进行重新测试。

      chatbi后台-15|650

  4. 对于没有答案集的问题,在SQL有效性为正确后,需要人工进行批改。

    • 若数据结果正确,则点击标记为正确,本条测试问题判对,且大模型生成的SQL会自动录入到答案集中。
    • 若数据结果错误,则参考第3步的流程,先维护答案集,再点击“标记为错误并添加至错题集”,进行知识录入维护。

    chatbi后台-16|650

  5. 对于有答案集的问题,系统会进行大模型生成SQL的执行结果与答案集SQL的执行结果比对,两者数据必须完全一致,则系统自动判定批改结果为正确;如数据不一致,则系统批改结果为错误。

    • 对于系统判对的问题,可以人工再核验一版数据,评估是否要修改判定结果。
    • 对于系统判错的问题,则参考第3步的流程,点击“标记为错误并添加至错题集”,进行知识录入维护。
  6. 在全部测试问题批改完成后,会生成测试准确率提示。

    注意

    建议主题测试准确率90%及以上后再投入生产。

步骤四:权限配置

  1. 在主题配置完成后,切换到权限管理tab,可以进行主题权限配置。

    chatbi后台-17|650

  • 若授予用户所有者权限,则该用户能在运营管理后台看到当前主题,并对主题名称、基础配置、知识库配置及权限配置进行修改;同时,用户能在问数前台对该主题进行提问。

  • 若授予用户使用者权限,则该用户能在问数前台对该主题进行提问。

    说明

    权限管理配置对管理员不生效,即管理员能在前后台看到所有主题,并对其进行操作。

    chatbi后台-18|450

步骤五:业务试用

  1. 后台测试准确率达到90%后,点击「启用」按钮将主题上线,业务用户可在前台问数界面,看到全部已启用的主题。

    chatbi后台-19|650

  2. 业务用户在前台的全部问答内容,可通过对话历史进行查询。点击查看对话历史,可以看到用户对本次对话的问题、回答、查询SQL及相应反馈。

    chatbi后台-20|650

    chatbi后台-21|550

  3. 根据当次对话情况,如果用户反馈回答不正确或问题理解不正确,可以点击「运维日志」,查看本次会话召回的知识内容。如果有知识内容与用户反馈信息冲突,可以前往业务知识库和错题集,进行知识更新。

    chatbi后台-22|450

  4. 如果问题理解、知识召回均正确,但SQL生成错误,可以点击「加入错题集」,在SQL编辑框中输入正确SQL,作为good case给到大模型进行学习。

    chatbi后台-23|550