10.1 将BI数据集写回数据库
创建于 2022-11-03 / 最近更新于 2022-11-09 / 3283
字体:
[默认]
[大]
[更大]
场景
在观远BI使用ETL处理完数据后,部分用户需要把处理后的数据重新写回自己的数据库存储,方便后续其他场景使用。BI本身只支持导出数据,不支持写入数据库,不过使用观远数据开发平台Universe,可以方便地把BI内的数据集 写回到数据库。
实现方法
第一步: 在Universe平台项目中, 分别创建好连接BI数据集的连接和需要写入数据的数据库的连接。
路径:数据中心 — 数据连接 — 创建数据连接
创建BI数据连接,配置方式:
数据源: GUANDATA
IP主机名: 登录BI的 IP 或域名
端口: 默认是 443 (登录到BI页面 按F12 , 查看接口,Remote Address 后面就能看到具体的ip+端口)
域名: 登录的时候公司域名(如果域名做过隐藏,登录BI页面的时候按F12开启调试,查看sign-in接口, 取接口中的domainid。可参考 如何获取domainId信息)
用户名/密码: BI环境的登录账号和密码,该账号需要有数据集的导出权限(可参考 资源导出的权限配置)。
创建要写入的数据库连接,数据源选择对应数据库并进行配置。
第二步: 创建工作流,使用SQL算子把BI数据集写入数据库。
路径:任务调度 — 工作流定义 — 创建工作流
如图所示, 创建一个工作流, 选择两个节点 1.sql获取数据 2.插入数据
SQL获取数据,选择前面创建好的BI数据连接,写入如下SQL语句并预览。
select * from afb9da8fad88d47b2b461ee9
注意:from 后的表名是数据集id(可以在BI数据集页面中url中获取)。
SQL插入数据,选择前面创建好的数据库连接,输入目标表名。如果数据库中不存在该表名,插入数据的时候会直接创建表;如果数据库中已经建好表了, 此处输入数据库中的表名,然后做字段映射。其他配置项根据具体需求自行配置。
保存工作流,并上线运行即可。等工作流任务跑完以后,可以在数据库中查看到写入的数据。
12 人点赞过